Title: Entrenament de xarxes neurals per backpropagation
1Entrenament de xarxes neurals per
back-propagation
- José Ignacio Latorre
- Universitat Barcelona
2Aprenentatge i xarxes
- Què és una xarxa neural?
- El problema daprendre
- Back-propagation
- Exemples
- Conclusions
3Què és una xarxa neural?
És una pobre imitació del cervell
- Intel.ligent
- aprendre a partir dexemples
- aprendre de dades pobres
- extrapolació raonable
- Sòlida
- Robust
- Versàtil
- Adaptable
- Útil
- Clasificació
- Interpolació
- Predicció
4 Realitat Ficció
5Definicions
j
wij
pesos
ti
i
activació
llindar
6Funció dactivació
1 2 3
Capa 1 Capa2
w21 w22 w23
t2
Z2(2) f ( w21 Z1(1) w21 Z1(1) w21
Z1(1) t2 )
- Funció dactivació
- Únic element no lineal !
- Quina forma ha de tenir?
7saturació
saturació
resposta lineal
8Xarxa neural
capa 1 capa 2 capa l .....
Multicapa
Feed forward
9Què és una xarxa neural?
És una funció
Output Input definició
de la funció
- Pot aprendre?
- És sòlida?
- És flexible, universal,...?
10Aprendre ?
dada 1 dada 2 resultat
Predicció Reconeixement Clustering ....
Interpolació classificació extrapolació
11 Input
dada in Exemple
dada out
?
Output
Inferència
12Aprenentatge per back-propagation
Construcció duna funció error exemple
( in(p) out(p) )
p1,...,patterns xarxe
z(1)(p) in(p)
z(n)(p) F( z(1)(p) ) error
Donat un conjunt de dades fix,
E és una funció dels paràmetres de la xarxa
13w
t
Idea modificar w i t en la direcció de
màxim decreixement d E
14? E
? E
? E ? ? w ? ? t
? w
? t
2
2
? E
? E
? E
? w a ?
? E - a
? w
? w
? w
? E
? t a ?
? t
? 0
Miracle ? Sempre trobarem el mínim absolut?
Sempre convergirem a un mínim?
15 var 1 var 2 output xarxa
16Paràmetres de la xarxa arquitectura 2-4-2-1
? .05 ?.4 entrenament
20000 Correl.lacions i error zona
daprenentatge 0.99912
.00010 zona dinterpolació
0.99907 .00013 zona
dextrapolació extrema 0,5963 .18
Estem satisfets ?
17NO
xarxa neural Funció
interpolant aprenentatge Ajust de
la funció
Hem estat fitant el sin(x) var 1
x var 2 aleatòria
output sin(x) Fitant la funció correcta
tindriam correalció 1 i error 0.
Les xarxes neurals són un producte
del marketing
18d. Horizontal cell (cat) e. Horizontal cell
(cat) f. Premotor interneuron (locust)
g. Visual amacrine cell (mechanosensory
interneuron- crayfish). h. Multipolar neuron
(fly) i. Visual monopolar neuron (fly). j.
Premotor interneuron (crayfish)..
a. Purkinge cell (human) b. Pyramidal cell
(rabbit) c. Motoneuron (cat)
k. Visual interneuron (locust)
19(No Transcript)