Modelli simulativi per le Scienze Cognitive

1
Modelli simulativiper le Scienze Cognitive
Paolo Bouquet (Università di Trento) Marco
Casarotti (Università di Padova)
2
Apprendimento senza supervisione
auto-organizzazione
Sia data una rete con un singolo strato di pesi
ed una unità di output y lineare. Si utilizzi la
regola di Hebb dove lattivazione dellunica
unità di output è la somma pesata degli input x.
Quindi, non cè alcun output imposto
dallesterno. Se una componente del vettore di
input attiva y, la sinapsi sarà rafforzata, e la
volta successiva ancora di più (auto-amplificazion
e). Quindi, questa semplice rete imparerà a
rispondere maggiormente ai pattern che presentano
le componenti più frequenti.
3
Normalizzazione dei pesi
Poichè i pesi cresceranno allinfinito, dobbiamo
normalizzare il vettore dei pesi La rete
converge verso la soluzione in cui loutput
esprime la direzione di massima varianza della
distribuzione degli input. Quindi, i pattern che
si collocano lungo questa direzione (pattern più
rappresentativi della distribuzione) attivano
una risposta maggiore. Attenzione a causa della
normalizzazione, la regola non è locale! (bisogna
conoscere tutti i pesi)
4
La regola di Oja estrazione di N componenti
principali
Limita la crescita dei pesi sinaptici senza
richiedere la normalizzazione, introducendo nella
regola di Hebb un fattore di dimenticanza, che
dipende dal corrente del peso Se la
distribuzione dei pattern di input è centrata
sullo zero, loutput rappresenta la prima
componente principale della distribuzione. Con N
unità di output, allattivazione dellunità
presinaptica si sottrae lattivazione pesata di
tutte le unità di output collegate allunità di
input La rete estrae in questo caso N
componenti principali.
5
La regola di Sanger
La componente da sottrarre è calcolato su tutte
le unità precedenti (rispetto ad i). Quindi la
sommatoria su k va da 1 a i invece che da 1 a
N. In questo modo le N componenti principali
vengono estratte in ordine. Ciascuna unità viene
forzata a sviluppare un vettore di pesi
ortogonale ai vettori delle unità precedenti e
contemporaneamente a massimizzare la varianza
residua. Vantaggi più facile linterpretazione
delloutput. Svantaggi introduce delle
distorsioni se N è grande.
6
Reti competitive
Sono reti ricorrenti con connessioni intrastrato
nello strato di output. Ogni neurone di output
possiede una connessione rientrante
(auto-connessione) eccitatoria e connessioni
inibitorie con tutti gli altri neuroni di output.
Dato un certo input I, lunità di output k con
valore dattivazione maggiore aumenterà
ulteriormente la propria attivazione attraverso
la connessioni auto-eccitatoria ed inibirà in
misura sempre maggiore gli altri neuroni (questo
riduce a sua volta leffetto inibitorio degli
altri neuroni su k). Questo si ripete fino al
raggiungimento di uno stato stabile
(rilassamento).
Quando una sola unità di output k rimane attiva
al rilassamento si parla di rete
winner-takes-all (il vincitore prende tutto).
7
Apprendimento competitivo
Dato un training set i cui vettori hanno tutti
lunghezza 1 (ovvero sono normalizzati).
Possiamo rappresentare ogni vettore come una
freccia orientata verso la superficie di una
(iper)sfera avente raggio unitario.
Se i vettori dei pesi in arrivo alle unità di
ouptut di uno strato competitivo sono
normalizzati, allora questi vettori possono
essere rappresentati sulla stessa sfera.
8
Per codificare il training set, è necessario che
i vettori dei pesi nella rete vengano allineati
con qualsiasi raggruppamento (cluster) presente
nel training set e che ogni cluster sia
rappresentato da almeno un neurone. Quindi,
quando un vettore viene presentato alla rete, ci
sarà un nodo o gruppo di nodi che risponde in
modo massimale (e selettivo) a quellinput. Per
ottenere questo, i vettori di pesi devono essere
ruotati intorno alla sfera in modo che si
allineino con il training set. Questo si può
ottenere in modo graduale ed efficiente muovendo
il vettore di pesi che è più vicino (distanza
angolare) al vettore di input corrente verso quel
vettore di input stesso. Il neurone k con il
vettore di pesi più vicino è quello che riceve la
maggiore eccitazione di input (in quanto è il
prodotto interno tra pesi e vettore di input).
Per allineare il vettore di pesi del neurone k,
si possono modificare i pesi secondo la regola
9
Per decidere qual è il neurone con la maggiore
eccitazione si utilizza la dinamica competitiva.
Se la rete è di tipo winner-take-all, il nodo
vincitore avrà un valore di 1 e tutti gli altri
saranno a 0. Ad equilibrio sarà sufficiente
utilizzare come regola di apprendimento per tutta
la rete quindi la modifica dei pesi si avrà
solo per il vincitore (in cui y1), mentre per
tutti gli altri neuroni non ci sarà alcun
cambiamento nei pesi (y0). Algortimo 1.
Presentare un vettore di input e calcolare
lattivazione iniziale di tutti i neuroni di
output 2. Aggiornare le attivazioni fino ad
equilibrio (o per un numero fisso di passi) 3.
Modificare i pesi secondo la regola sopra