Entrenament de xarxes neurals per backpropagation - PowerPoint PPT Presentation

1 / 19
About This Presentation
Title:

Entrenament de xarxes neurals per backpropagation

Description:

Qu s una xarxa neural? s una pobre imitaci del cervell ... Correl.lacions i error. zona d'aprenentatge 0.99912 .00010. zona d'interpolaci 0.99907 .00013 ... – PowerPoint PPT presentation

Number of Views:44
Avg rating:3.0/5.0
Slides: 20
Provided by: sophia6
Category:

less

Transcript and Presenter's Notes

Title: Entrenament de xarxes neurals per backpropagation


1
Entrenament de xarxes neurals per
back-propagation
  • José Ignacio Latorre
  • Universitat Barcelona

2
Aprenentatge i xarxes
  • Què és una xarxa neural?
  • El problema daprendre
  • Back-propagation
  • Exemples
  • Conclusions

3
Què és una xarxa neural?
És una pobre imitació del cervell
  • Intel.ligent
  • aprendre a partir dexemples
  • aprendre de dades pobres
  • extrapolació raonable
  • Sòlida
  • Robust
  • Versàtil
  • Adaptable
  • Ágil
  • Velocitat
  • Universal
  • Útil
  • Clasificació
  • Interpolació
  • Predicció

4

Realitat Ficció
5
Definicions
j
wij
pesos

ti
i
activació
llindar
6
Funció dactivació
1 2 3
Capa 1 Capa2
w21 w22 w23
t2
Z2(2) f ( w21 Z1(1) w21 Z1(1) w21
Z1(1) t2 )
  • Funció dactivació
  • Únic element no lineal !
  • Quina forma ha de tenir?

7
saturació
saturació
resposta lineal
8
Xarxa neural
capa 1 capa 2 capa l .....
Multicapa
Feed forward
9
Què és una xarxa neural?
És una funció
Output Input definició
de la funció
  • Pot aprendre?
  • És sòlida?
  • És flexible, universal,...?

10
Aprendre ?
dada 1 dada 2 resultat
Predicció Reconeixement Clustering ....
Interpolació classificació extrapolació
11
Input
dada in Exemple
dada out
?
Output
Inferència
12
Aprenentatge per back-propagation
Construcció duna funció error exemple
( in(p) out(p) )
p1,...,patterns xarxe
z(1)(p) in(p)
z(n)(p) F( z(1)(p) ) error

Donat un conjunt de dades fix,
E és una funció dels paràmetres de la xarxa
13
w
t
Idea modificar w i t en la direcció de
màxim decreixement d E
14
? E
? E
? E ? ? w ? ? t
? w
? t
2
2
? E
? E
? E
? w a ?
? E - a
? w
? w
? w
? E
? t a ?
? t
? 0
Miracle ? Sempre trobarem el mínim absolut?
Sempre convergirem a un mínim?
15
var 1 var 2 output xarxa
16
Paràmetres de la xarxa arquitectura 2-4-2-1
? .05 ?.4 entrenament
20000 Correl.lacions i error zona
daprenentatge 0.99912
.00010 zona dinterpolació
0.99907 .00013 zona
dextrapolació extrema 0,5963 .18
Estem satisfets ?
17
NO
xarxa neural Funció
interpolant aprenentatge Ajust de
la funció
Hem estat fitant el sin(x) var 1
x var 2 aleatòria
output sin(x) Fitant la funció correcta
tindriam correalció 1 i error 0.
Les xarxes neurals són un producte
del marketing
18
d. Horizontal cell (cat) e. Horizontal cell
(cat) f. Premotor interneuron (locust)
g. Visual amacrine cell (mechanosensory
interneuron- crayfish). h. Multipolar neuron
(fly) i. Visual monopolar neuron (fly). j.
Premotor interneuron (crayfish)..
a. Purkinge cell (human) b. Pyramidal cell
(rabbit) c. Motoneuron (cat)
k. Visual interneuron (locust)
19
(No Transcript)
Write a Comment
User Comments (0)
About PowerShow.com