RESEAUX NEURONAUX

1
RESEAUX NEURONAUX

• .

2
OBJECTIFS

• .

3
LES RESEAUX DE NEURONES

• HISTORIQUE
• LE MODELE BIOLOGIQUE
• LES MODELES INFORMATIQUES
• APPLICATIONS

4
LES TECHNIQUES D'INTELLIGENCE ARTIFICIELLE

• LES GENERATEURS DE PROGRAMME
• LES SYSTEMES EXPERTS
• LES SYSTEMES BASES SUR LA CONTRAINTES
• LA LOGIQUE FLOUE

5
HISTORIQUE1930-1950 LA GENESE

• BOUCLES DE RETROACTION
• AUTOMATES
• CYBERNETIQUE WIENER
• NEURONE FORMEL
• MAC CULLOCH ET PICH
• AUTOMATE CELLULAIRE
• VON NEUMANN
• PARADIGME DE MACHINE AUTOREPRODUISANTE
• MACHINE DE TURING

6
HISTORIQUE1950 - 1970 L'EUPHORIE

• AUTOMATES NEURONAUX
• RECONNAISSANCE DE FORMES
• NEURONES FORMELS
• ADALINE WIDROW
• PERCEPTRON ROSENBLUTT
• CALCULS ANALOGIQUES
• APPRENTISSAGE SANS RETROACTION

7
HISTORIQUE1970 - 1980 LA TRAVERSEE DU DESERT
8
HISTORIQUE1980 - ... LE RENOUVEAU

• 82/85 HOPFIELD, RETROACTION, OPTIMISATION
• 85-88
• RETROPROPAGATION,
• MACHINE DE BOLTZMANN,
• APPRENTISSAGE COMPETITIF,
• CARTES TOPOLOGIQUES
• SIMULATEURS,
• PLAN ETATIQUES (USA JAPON CEE)
• 88-91
• APPROFONDISSEMENT, APPLICATIONS, ATTENTES

9
RESEAUX NEURONAUXLES ATOUTS

• PROGRAMMATION
• PAR APPRENTISSAGE
• SANS ALGORITHME
• PARALLELISME
• CALCULS INDEPENDANT SUR CHAQUE NEURONE
• UTILISANT DES CIRCUITS SPECIALISES
• GENERALISATION
• TRAITEMENT DES EXEMPLES NOUVEAUX A PARTIR D'UNE
  GENERALISATION DES CARACTERISTIQUES DES EXEMPLES
  PRECEDANTS

10
RESEAUX NEURONAUXINCONVENIENTS

• PAS DE GARANTIE DE RESULTAT
• INSTABILITES
• QUALITE DE L'APPRENTISSAGE

11
LE NEURONE BIOLOGIQUEDIAGRAMME
CORPS CELLULAIRE
SYNAPSE
AXONE
NOYAU
DENDRITES
NEURO-TRANSMETTEURS - excitateurs - inhibiteurs
12
LE NEURONE BIOLOGIQUELES TAILLES

• DENDRITES
• 0.N MICRONS
• CORPS CELLULAIRE
• N MICRONS
• ASSURANT LA VIE DU NEURONE
• L'AXONE
• 1 millimètre-gt 1 mètre
• LA SYNAPSE
• 0.01 microns

13
LE MODELE BIOLOGIQUE

• ELECTRIQUE
• AMPLITUDE CONSTANTE
• VALEUR INFORMATION FREQUENCE
• CHIMIQUE

14
LE MODELE BIOLOGIQUESCHEMATISATION
SYNAPSE
DENDRITES
E1
CORPS
W1
S
W2
E2
AXONE
EN
WN
15
LA VISIONCHEZ L'HOMME

• RETINE CELLULES PHOTO-SENSIBLES
• LES CELLULES BATONNETS, SENSIBLES A LA LUMIERE
• LES CELLULES CONES, SENSIBLES AUX FORMES ET AUX
  COULEURS
• NERF OPTIQUE
• CORTEX VISUEL
• ORGANISE EN COLONNES

16
LA GRENOUILLE

• CELLULES D'ANALYSE DERRIERE L'OEIL
• CHAMP DE VISION
• UN OBJET MOUVANT PENETRE
• UN OBJET MOUVANT PENETRE ET S'ARRETE
• BAISSE GLOBALE ET SUBITE DE LA LUMINOSITE
• UN PETIT OBJET SOMBRE ET ARRONDIS'Y DEPLACE DE
  MANIERE ERRATIQUE.

FUITE
ATTAQUE
17
LES MAMMIFERES
CORTEX VISUEL
CELLULES GANGLIONAIRES
CELLULES SIMPLES
CELLULES COMPLEXES
CHAMP VISUEL
18
EXPERIENCES SUR LES CHATS
19
ETATS CONNEXIONS

• LA COMMUNICATION RENFORCE LA CONNEXION
• ETATS DES NEURO-TRANSMETTEURS
• LABILE, POUVANT DIFFUSER,
• STABLE, NE DIFFUSANT PAS,
• DEGENERE, NE POUVANT PLUS DIFFUSE DEFINITIVEMENT.

LABILE
STABLE
DEGENERE
20
RESEAUX DE NEURONESCOMPLEXITE
ABEILLE
interconnexions/s
SURVEILLANCE INFRA-ROUGE
SURVEILLANCE RADAR
RECONNAISSANCE DE LA PAROLE
R A P I D I T E
MOUCHE
DETECTION DE CIBLE
89
SANSUE
ROBOTIQUE
SONAR
89
interconnexions
STOCKAGE
(DARPA 89)
21
LE NEURONE FORMEL
ENTREES - binaires - entières - réelles
SORTIE - binaires - entières - réelles
E1
F
S
E2
EN
22
LE NEURONE FORMELAUTOMATES

• BOOLEEN
• MODELE DE MAC CULLOCH ET PITTS (194X)
• ENTREES, SORTIES, ET FONCTIONS BOOLEENNE
• A SEUIL
• SORTIE BINAIRE
• FONCTION DE SORTIE
• HEAVISIDE
• SIGNE

1
0
1
-1
23
LE NEURONE FORMELAUTOMATES

• LINEAIRES
• ENTREES SORTIES REELLES
• A SATURATION
• ENTREES SORTIES REELLES OU ENTIERES
• FONCTION LINEAIRE A SATURATION

Multi-linéaire
24
LE NEURONE FORMELLES AUTOMATES

• CONTINUS
• ENTREES SORTIES REELLES
• FONCTION SOMMATRICE LINEAIRE
• FONCTION DE CALCUL SIGMOIDE
• PROBABILISTES
• LES SORTIES SONT BINAIRES,
• CALCULEES PAR UNE FONCTION STOCHASTIQUE

25
APPRENTISSAGE

• SOUMETTRE LE RESEAU A UN JEUX D'ESSAIS
• REGLES MATHEMATIQUES
• REGLE DE HEBB

W
actif
actif
inactif
actif
actif
inactif
inactif
inactif
REGLE DE HEBB
26
LE PERCEPTRONMODELE DE ROSENBLATT
RETINE
ASSOCIATION
DECISION
S1
E1
F
F
E2
S2
F
F
E3
F
F
S3
F
F
SN
EN
27
PERCEPTRONMODELE D'ETUDE
RETINE
ASSOCIATION
DECISION
0/1
0/1
S1
E1
0/1
Bool
0/1
0/1
E2
0/1
S2
Bool
0/1
0/1
0/1
E3
Bool
S3
0/1
0/1
Bool
E4
0/1
SN
28
PERCEPTRONAPPRENTISSAGE

• Wi Wi k(sortie désirée - sortie obtenue)ei

W
1
0
W
0
0
SORTIE
DESIRE
W
1
1
W
0
1
29
LE PERCEPTRONCARACTERISTIQUES

• SI SOLUTION
• CONVERGEANCE
• EXISTANCE TAILLE MINIMUM POUR UN PROBLEME
• LIMITATIONS -gt ABANDON
• LES PERCEPTRONS A CHAMP LIMITE NE PEUT
  RECONNAITRE DES FORMES CONNEXES
• IMPOSSIBLE DE TRAITER LES FONCTIONS NON
  LINEAIREMENT SEPARABLES ex XOR
• TROUVE LA PREMIERE SOLUTION
• NE TROUVE PAS LA MEILLEURE

30
REGLE DE WIDROW ET HOFF

• NE PAS UTILISER DE SEUIL EN APPRENTISSAGE
• TROUVE LA MEILLEURE SOLUTION

WIDROW-HOFF
PERCEPTRON
31
RESEAU MULTI-COUCHES
COUCHE D'ENTREE
COUCHE DE SORTIE
COUCHES CACHEES INTERNES
E1
S1
F
F
F
E2
S2
F
F
F
E3
S3
F
F
F
EN
SN
F
F
F
32
LE MODELE EN COUCHES

• CLASSIFICATIONS NON SEPARABLES LINEAIREMENT
• RETRO-PROPAGATION DU GRADIANT
• EXTENSION DE LA REGLE DE WIDROW-HOFF
• FONCTION SIGMOIDE

a
-a
33
RETRO-PROPAGATIONDU GRADIENT
Y désiré

• MINIMISER

X
RESEAU
S
34
RETRO-PROPAGATIONDU GRADIENT
OU
PAS ESSAI N
i
Wil
Wki
li Oi
j
k
35
RESEAU ENTIEREMENT CONNECTE
36
LE MODELE DE HOPFIELDSTRUCTURE

• MONO-COUCHE TOTALEMENT CONNECTE
• NEURONES A DEUX ETAT (-1/1)
• FONCTION DE CALCUL SIGNE
• MEMORISE UN CERTAIN NOMBRE D'ETATS
• MEMOIRE ASSOCIATIVE
• PAR CALCUL PREALABLE
• MISE A JOUR
• ASYNCHRONE ALEATOIRE (HOPFIELD)
• ASYNCHRONE
• SYNCHRONE

37
LE MODELE DE HOPFIELDAPPRENTISSAGE

• FORCER LE RESEAU AUX VALEURS DES DIFFERENTS ETATS
  A MEMORISER.
• COMPARAISON NEURONES
• MEME ETAT gt AUGMENTER LE POID
• SINON gt DIMINUER LE POID

38
LE MODELE DE HOPFIELDUTILISATION

• INITIALISE LE RESEAU AVEC L'ETAT D'ENTREE,
• EN PRINCIPE IL CONVERGERA VERS L'ETAT STABLE LE
  PLUS PROCHE
• LE RESEAU SE COMPORTE DONC COMME UNE MEMOIRE
  ASSOCIATIVE ADRESSEE PAR SON CONTENU.

39
MODELE DE HOPFIELDDESAVANTAGES

• ETATS STABLES SUPPLEMENTAIRES
• LES RECHERCHER ALEATOIREMENT
• APPLIQUER LA REGLE INVERSE POUR LES DESTABILISER
• ORTHOGONALISATION NECESSAIRE
• OUBLI CATASTROPHIQUE
• AJOUT D'UN SEUL ETAT
• DES METHODES D'OUBLI PROGRESSIF PEUVENT CORRIGER
  CE PROBLEME.

40
MACHINE DE BOLTZMANN

• 1985 AMELIORATION DU MODELE HOPFIELD
• CORRECTIF DECROISSANT POUR EVITER LES MINIMUMS
  LOCAUX

41
MACHINE DE BOLTZMANN

• NEURONES SUPPLEMENTAIRES POUR DISTINGUER LES
  ETATS PROCHES
• N NEURONES VISIBLES
• M NEURONES CACHES.
• FONCTIONNEMENT
• LIBRE TOUS LES NEURONES EVOLUES
• FORCE SEULS LES NEURONES CACHES EVOLUENT.

42
LE MODELE DE KOHONEN

• AUTO ADAPTATIF
• TYPER ET LOCALISER LES NEURONES
• CREATION/DESTRUCTION DE NEURONES
• PROJECTION
• COMPRESSION DE DONNEES
• MEILLEURE ADAPTATION AU BRUIT
• APPLICATION
• MINIMISER LES CHEMINS
• FILTRES
• RECONNAISSANCES DE FORMES

43
APPLICATIONS
RESEAU RETRO HOPFIELD BOLZMANN
KOHONEN APPLICATIONS PROPAGATION CLASSIFI -CATION
TRAITEMENT IMAGES AIDE A LA DECISION OPTIMISAT
ION












44
CONDITIONS D'APPLICATION

• NE PAS CONNAITRE
• DE SOLUTION ALGORITHMIQUE
• DE SOLUTION ASSEZ RAPIDE
• DONNEES BRUITEES
• PROBLEMES DONT LES CONDITIONS VARIENT
• DISPOSER D'UN JEUX D'EXEMPLES

45
RECONNAISSANCE DE FORMES

• OCR CARACTERES
• NESTOR RECONNAISSANCE DE CODES POSTAUX 97,7
• OCR/90 CODES POSTAUX US (BELL)
• 6 couches 4635 neurones
• 98442 interconnexions (2578 paramètres)
• 7300 exemples
• 90 correctement classés , 9 rejetés
• 1 incorrectement classés
• EasyReader Classic (93)
• basé sur OCR NeuronEye
• 12 langue prix lt1500

46
RECONNAISSANCEDE CARACTERES

• FORMSCAN DE ITESOFT
• ANALYSE DE FORMULAIRE
• OCR RESEAUX NEURONAUX
• CORRECTION SYNTAXIQUE PAR DESCRIPTION DES CHAMPS
• CORRECTION MANUELLE
• 55 KF SUR P.C.

47
RECONNAISSANCE DE FORME

• Appledjjn AppleFrance telecom
• modem-fax avec OCR intégré
• OCR Mimetics
• CIRCUIT ASIC
• MIMETICS / INNOVATIC
• FONDEUR SGS THOMSON
• 1500 CARACTERES/SECONDE
• 40000 connexions
• 3000 frs
• 30 fois plus rapide qu'un processeur ALPHA

48
TRAITEMENT DU SIGNAL

• MAINTIENT D'UN BALANCIER

49
VISION/PAROLE

• NETTalk SYNTHESE VOCALE DE TEXTE
• 300 NEURONES
• REUSSITE 95
• GENERALISATION 80

50
PREVISION / MODELISATION

• PREVISION D'UTILISATION D'OPTIONS D'ACHATS
• 23 neurones. 90 GENERALISATION 80

51
OPTIMISATION

• RECHERCHE DU MEILLEUR ITINERAIRE

52
CONCLUSION

• AVANTAGES
• PARALLELISATION
• PAS DE PROGRAMMATION
• GENERALISATION
• MAIS
• ABSENCE DE CIRCUITS EN GRANDE DIFFUSION
• DIFFICULTE DE L'APPRENTISSAGE
• PAS FIABLE A 100
• DONC
• PEU D'APPLICATIONS HORS PROTOTYPES
• PERFORMANCES COMPARABLES A D'AUTRES SOLUTIONS