R

1
Réseaux de neurones artificiels le neurone
formel 

• S. Canu,
• laboratoire PSI, INSA de Rouen
• équipe  systèmes dinformation pour
  lenvironnement 
• asi.insa-rouen.fr/scanu

2
Le neurone biologique
3
Le neurone formel
4
Le neurone formel
5
Phydsiologie
6
Discrimination Linéaire







Codage -1,1, fonction de décision de type
 heaviside 
7
Géométrie illustration dans R2

8
Estimation... et rêve
9
Cas gaussien multidimensionnel
m1
m2
Le Discriminateur de Bayes est linéaire...
10
Moindres carrés
X x1 x2 X X ones(length(X),1) yi
ones(length(x1),1) -ones(length(x2),1) W
(X'X)\(X'yi) west W(12) best W(3)
11
Résistance aux  outliers 
12
Moindre carrés  stochastiques ADALINE (Widrow
Hoff 1960)
D
Algorithme itératif de gradient
13
Algorithme de gradient illustrationdans le
plan w1,w2
Minimum du coût
Lignes d iso-coût J(W) constante
w2

Direction du gradient J(W)
Le gradient est orthogonal aux lignes d iso
coût argument à la  Taylor 
w1
14
3 solutions
LE NEURONE FORMEL
15
Algorithme itératif
Stabilisation du coût (erreur relative)
nbitemax 50 k0 while ((cout gt 0)
(kltnbitemax)) KK1 ind
randperm(length(X)) for i1length(X) Dir
(sign(X(ind(i),)W)-yi(ind(i)))X(ind(i),)
W W - pasDir' end cout
sum(abs(sign(XW)-yi)) disp(k cout) end
Randomisation (ok si n grand)
Évaluation du coût n opérations
16
ADALINE, Ça marche...
17
ADALINE des fois ça ne marche pas
Solution au sens des moindres carrés
18
Le Perceptron, des fois ça ne marche pas...
...Quand les exemples ne sont pas linéairement
séparables
19
Règle du perceptron(Rosenblatt 1958)
codage
20
Règle du perceptron(Rosenblatt 1958)

• Pas de fonction coût minimisée
• preuve de convergence
• (dans le cas linéairement séparable)

21
Règle du perceptron(Rosenblatt 1958)
22
Convergence des algorithmes de gradient
23
Performances des algorithmes linéaires
Théorème (Vapnik Chervonenkis, 1974)
24
Performances des algorithmes linéaires
Théorème (Vapnik Chervonenkis, 1974)
borne
Probabilité derreur
précision
risque empirique
Asymptotiquement  jouable 
Malédiction de la dimensionnalité
25
Conclusion

• Neurone formel Modèle linéraire
• Estimation des paramètres
• directe
• rapide - n3
• itérative
• lent - apprentissage au coup par coup
• OCR n106