LES RESEAUX DE NEURONES

1
LES RESEAUX DE NEURONES
Rachid Ladjadj
IR 3e année
2
SOMMAIRE

• Introduction
• Pourquoi les réseaux de neurones?
• Historique
• Le neurone biologique
• Le neurone formel
• Le modèle Mc Culloch et Pitts
• Architecture des réseaux de neurones
• Réseaux bouclés et réseaux non bouclés
• Notion dapprentissage
• Apprentissage supervisé et non supervisé
• Quelques modèles de réseaux de neurones
• Le perceptron multicouche
• Le modèle de Hopefield
• Les cartes de Kohonen

3
Introduction
4
Pourquoi les réseaux de neurones?
Introduction Le neurone biologique Le neurone formel Architecture des réseaux de neurones Notion dapprentissage Quelques modèles de réseaux de neurones Exemples dapplications Conclusion

• Caractéristiques de larchitecture du cerveau
  humain
• une architecture massivement parallèle
• un mode de calcul et une mémoire distribués
• une capacité d'apprentissage
• une capacité de généralisation
• une capacité d'adaptation
• une résistance aux pannes
• une faible consommation énergétique

5
Introduction Le neurone biologique Le neurone formel Architecture des réseaux de neurones Notion dapprentissage Quelques modèles de réseaux de neurones Exemples dapplications Conclusion

• Utilisation des réseaux de neurones
• Classification
• Catégorisation
• Approximation de fonctions
• Prédiction - prévision
• Optimisation
• Mémoire adressable par le contenu

6
Historique
Introduction Le neurone biologique Le neurone formel Architecture des réseaux de neurones Notion dapprentissage Quelques modèles de réseaux de neurones Exemples dapplications Conclusion

• 1943
• Modèle de McCulloch et Pitts
• 1960
• Rosenblatt perceptron et théorème de
  convergence
• Minsky et Papert limites du perceptron
  mono-couche
• 1980
• Modèle de Hopefield
• Werbos rétropropagation dans le cadre des
  perceptrons multi-couches (popularisé en 1986 par
  Rumelhart)

7
Le neurone biologique
8
Le neurone biologique
Introduction et historique Le neurone biologique Le neurone formel Architecture des réseaux de neurones Notion dapprentissage Quelques modèles de réseaux de neurones Exemples dapplications Conclusion

• Dendrites Signaux dentrée
• Axone Signal de sortie

9
Introduction et historique Le neurone biologique Le neurone formel Architecture des réseaux de neurones Notion dapprentissage Quelques modèles de réseaux de neurones Exemples dapplications Conclusion
Synapse

• Transmission entre un axone et une dendrite
• Synapses excitatrices / synapses inhibitrices

10
Le neurone formel
11
Neurone formel le modèle Mc Culloch et Pitts
Introduction et historique Le neurone biologique Le neurone formel Architecture des réseaux de neurones Notion dapprentissage Quelques modèles de réseaux de neurones Exemples dapplications Conclusion
12
Introduction et historique Le neurone biologique Le neurone formel Architecture des réseaux de neurones Notion dapprentissage Quelques modèles de réseaux de neurones Exemples dapplications Conclusion
Interprétation mathématique
13
Introduction et historique Le neurone biologique Le neurone formel Architecture des réseaux de neurones Notion dapprentissage Quelques modèles de réseaux de neurones Exemples dapplications Conclusion
Fonctions de transfert (ou fonctions dactivation)

• (a) seuil (fonction de Heavyside)
• (b) linéaire par morceaux
• (c) sigmoïde g(x) (1 e ßx) - 1
• (d) gaussienne

14
Architecture des réseaux de neurones
15
Réseaux bouclés
Introduction et historique Le neurone biologique Le neurone formel Architecture des réseaux de neurones Notion dapprentissage Quelques modèles de réseaux de neurones Exemples dapplications Conclusion

• Les neurones ne peuvent pas être ordonnés de
  sorte quil ny ai pas de connexion vers
  larrière
• Exemple -gt réseau entièrement connecté

16
Introduction et historique Le neurone biologique Le neurone formel Architecture des réseaux de neurones Notion dapprentissage Quelques modèles de réseaux de neurones Exemples dapplications Conclusion
Réseaux non bouclés ou réseaux à couches

• Les neurones peuvent être ordonnés de sorte quil
  ny ai pas de connexion vers larrière
• Exemple -gt réseau à une couche intermédiaire

17
Introduction et historique Le neurone biologique Le neurone formel Architecture des réseaux de neurones Notion dapprentissage Quelques modèles de réseaux de neurones Exemples dapplications Conclusion

• Si Y est le vecteur des sorties et X le vecteur
  des entrées
• Y FW(X)
• FW fonction dactivation du réseau
• W vecteur des poids des liaisons
  synaptiques
• Apprentissage détermination des poids
  permettant dobtenir une sortie proche dune
  sortie Y0 voulue à partir dune entrée X

18
Notion dapprentissage
19
Introduction et historique Le neurone biologique Le neurone formel Architecture des réseaux de neurones Notion dapprentissage Quelques modèles de réseaux de neurones Exemples dapplications Conclusion

• Mise à jour des poids de connexion, en général à
  partir dun ensemble de données dentraînement
• Modification itérative des poids
• Paradigme dapprentissage modélisation de
  lenvironnement dans lequel le réseau opèrera.
• 3 paradigmes dapprentissage
• Supervisé on veut quà une entrée corresponde
  une sortie préalablement définie
• Non supervisé on veut construire un réseau dont
  on ne connaît pas a priori la sortie
  correspondant à des entrées données
• Hybride
• Règles dapprentissage gouvernent la mise à
  jour des poids du réseau
• Algorithme dapprentissage procédure dans
  laquelle les règles dapprentissage sont
  utilisées en vue de lajustement des poids

20
4 types de règles dapprentissage
Introduction et historique Le neurone biologique Le neurone formel Architecture des réseaux de neurones Notion dapprentissage Quelques modèles de réseaux de neurones Exemples dapplications Conclusion

• Correction derreur
• Apprentissage de Boltzmann
• Règle de Hebb
• Apprentissage par compétition

21
Introduction et historique Le neurone biologique Le neurone formel Architecture des réseaux de neurones Notion dapprentissage Quelques modèles de réseaux de neurones Exemples dapplications Conclusion
Correction derreur

• Si d est la sortie désirée et y la sortie
  obtenue, la modification des poids se fait en
  fonction de (d-y)
• Algorithme de retro-propagation
• Algorithme dapprentissage du perceptron
• Initialisation des poids et du seuil à de petites
  valeurs aléatories
• Présenter un vecteur dentrées x(µ) et calculer
  sa sortie
• Mettre à jour les poids en utilisant
• wj(t1) wj(t) ? (d- y) xj
• avec d la sortie désirée, w vecteur des poids

22
Quelques modèles de réseaux de neurones
23
Le Perceptron multicouches
Introduction et historique Le neurone biologique Le neurone formel Architecture des réseaux de neurones Notion dapprentissage Quelques modèles de réseaux de neurones Exemples dapplications Conclusion

• Modèle du perceptron simple
• pas de seuil
• fonction dactivation fonction signe
• Séparation de deux classes dentiers A et B -gt
  apprentissage supervisé
• Inconvénient A et B doivent être linéairement
  séparables

24
Introduction et historique Le neurone biologique Le neurone formel Architecture des réseaux de neurones Notion dapprentissage Quelques modèles de réseaux de neurones Exemples dapplications Conclusion
25
Le modèle de Hopefield
Introduction et historique Le neurone biologique Le neurone formel Architecture des réseaux de neurones Notion dapprentissage Quelques modèles de réseaux de neurones Exemples dapplications Conclusion

• Mémorisation de formes et de motifs
• Mémoire distribuée
• Mémoire associative

26
Introduction et historique Le neurone biologique Le neurone formel Architecture des réseaux de neurones Notion dapprentissage Quelques modèles de réseaux de neurones Exemples dapplications Conclusion

• N neurones binaires (1 ou -1) 2N états
  possibles pour le réseau
• Réseau entièrement connecté, connexion de poids
  Cij Cji
• État du neurone i à linstant t
• Létat du neurone i dépend de létat du réseau en
  général -gt mémoire
  distribuée
• But trouver les Cji qui vont permettre de
  mémoriser un état particulier du réseau
• Soient S1, S2 Sp p configuration du réseau à
  mémoriser on veut, a partir dune configuration
  proche de Sm, converger vers Sm -gt mémoire
  associative
• Principe de Hebb

27
Les cartes de Kohonen
Introduction et historique Le neurone biologique Le neurone formel Architecture des réseaux de neurones Notion dapprentissage Quelques modèles de réseaux de neurones Exemples dapplications Conclusion

• On veut un réseau ayant deux caractéristiques
  particulières
• Apprentissage non supervisé
• Les réponses associées à des entrées voisines
  sont voisines auto organisation
• Notion de voisinage entre les classes
  dobservation
• Algorithme
• Initialisation à chaque classe on associe un
  vecteur code dans lespace dobservation
• Etape on tire un point au hasard dans lespace
  des observations (données). On déplace ensuite la
  classe la plus proche, ainsi que tous ses voisins
  les plus proches, vers ce point.

28
Introduction et historique Le neurone biologique Le neurone formel Architecture des réseaux de neurones Notion dapprentissage Quelques modèles de réseaux de neurones Exemples dapplications Conclusion
29
Introduction et historique Le neurone biologique Le neurone formel Architecture des réseaux de neurones Notion dapprentissage Quelques modèles de réseaux de neurones Exemples dapplications Conclusion
30
Exemples dapplications
31
OCR
Introduction et historique Le neurone biologique Le neurone formel Architecture des réseaux de neurones Notion dapprentissage Quelques modèles de réseaux de neurones Exemples dapplications Conclusion
32
Introduction et historique Le neurone biologique Le neurone formel Architecture des réseaux de neurones Notion dapprentissage Quelques modèles de réseaux de neurones Exemples dapplications Conclusion

• Applications industrielles
• Reconnaissance de codes postaux (ATT, la Poste)
• Contrôle de paramètres de processus de production
  industrielle de pâte à papier (Siemens)
• Prévision de consommation deau (Générale des
  eaux)
• Logiciels daide à la décision
• Prévisions météorologiques

33
Conclusion
34
Introduction et historique Le neurone biologique Le neurone formel Architecture des réseaux de neurones Notion dapprentissage Quelques modèles de réseaux de neurones Exemples dapplications Conclusion

• Essor important ces 30 dernières années
• Approximateurs universels
• Aujourdhui utilisés dans la vie quotidienne
  (systèmes de tarifications basés sur la
  classification des types de consommation)