3%20%20Redes%20Recurrentes%20y%20Aut

1
3 Redes Recurrentes y Autónomas

• El modelo de Hopfield discreto
• Introducido en 1982 por el físico
  norteamericano John Hopfield
• Neural Networks and Physical Systems
  with Emergent Collective Computational Abilities
  
• Unidad de proceso bipolar
• pesos sinápticos w1,w2 ,,wn,
• umbral o sesgo, ?
• potencial sináptico h w1 x1 w2 x2
  wn xn

2
El modelo de Hopfield discreto
w1
x1
w2
x2
y
w3
x3
1
h
?
-1
3
El modelo de Hopfield discreto
Arquitectura (Topología)
Dinámica de la Computación
w12
w31
w23
Función de Energía Computacional
4
El modelo de Hopfield discreto

• Qué se pretende con esta dinámica de la
  computación?
• Dejarán de cambiar de estado alguna vez las
  unidades de proceso cuando se actualizan? Es
  decir, se estabilizará la red en algún momento.
• Cómo son las configuraciones de la red
  cuando se estabiliza?
• Para qué se puede utilizar esta red
  neuronal?

5
Qué se pretende?

• Se pretende alcanzar concordancia entre los
  estados de las unidades de proceso según las
  conexiones sinápticas
• wij gt 0 sisj 1
  (concordancia)
• wij lt 0 sisj ?1
  (discordancia)

wijsisj sea máximo
Maximizar
6
Qué se pretende?

• La correlación entre la unidad de proceso i y la
  unidad j es igual a la correlación entre la
  unidad de proceso j y la i, por lo tanto
• wij wji
  (simetría de los pesos)

• Como cada conexión se ha contado dos veces,

Maximizar
7
Qué se pretende?

• La correlación entre la unidad de proceso i y
  ella misma siempre vale 1, es decir, sisj 1.
  Por lo tanto, como
• wijsisj wij ,
• dicho producto es constante (no depende de las
  variables de estado). Por ello, se puede tomar
• wii 0
  (sin autoconexiones)

8
Qué se persigue?

• Qué papel juega entonces el umbral?

Como señal externa (con valor ?1) que llega a la
unidad de proceso (con peso ?i ) de manera que
si ?i gt 0
trata de desactivarla
si ?i lt 0 trata de activarla
Es decir, persigue que ?i (?1)si sea máximo
Maximizar
Minimizar
9
Evolución en el modelo de Hopfield discreto y
secuencial (asíncrono)
Teorema Si en la iteración k1 actualizamos
el estado de la unidad de proceso r según la
regla de actualización anterior, manteniendo
iguales los estados de las unidades de procesos
restantes, entonces la función de energía
decrece, es decir,
Demostración
10
Evolución en el modelo de Hopfield discreto y
secuencial (asíncrono)
Como los pesos son simétricos
11
Evolución en el modelo de Hopfield discreto y
secuencial (asíncrono)
Si sólo actualizamos la unidad de proceso r
entonces ?si(k)0 para todo i?r,
? 0 pues
0
entonces sr(k1)1 y ?sr(k ) ? 0,
si
entonces sr(k1)-1 y ?sr(k ) ? 0,
si
o porque
12
Evolución en el modelo de Hopfield discreto y
secuencial
Corolario La red recurrente bipolar alcanza un
estado estable en un número finito de pasos
utilizando la regla de actualización secuencial y
dicho estado corresponde a un mínimo local de la
función de energía.
Ejemplo Biestable

• Función de energía E(k) s1 s2
• Si la red parte de la configuración (1,1) y
  actualizamos la primera unidad de proceso, como
  el potencial sináptico es ?1 entonces se
  desactiva
• Alcanza la configuración (?1,1). La red se
  estabiliza en dicha configuración.
• El otro mínimo local corresponde a la
  configuración (1,-1)

w12-1
w21-1
13
Evolución en el modelo de Hopfield discreto y
paralelo (sincronizado)
Teorema 2. Si la matriz de pesos sinápticos es
simétrica y semidefinida positiva, con todos los
elementos de la matriz diagonal nulos, entonces
la función de energía decrece, o permanece igual,
en cada actualización simultánea de las unidades
de proceso
Demostración
Corolario La red recurrente bipolar alcanza un
estado estable en un número finito de pasos
utilizando la regla de actualización paralela.
14
El modelo de Hopfield continuo

• Estado discreto si ? -1, 1
• Tiempo (actualización) discreto, k 1,2,3,

x1
1
x2
h
?
-1
x3

• Estado continuo si ? -1, 1
• Tiempo (actualización) continuo, t ? (0,?

15
El modelo de Hopfield continuo

• Estado discreto si ? -1, 1
• Tiempo (actualización) discreto, k 1,2,3,

• Estado continuo si ? -1, 1
• Tiempo (actualización) continuo, t ? (0,?

16
El modelo de Hopfield continuo
Dinámica de la computación
Función de energía computacional
17
Evolución en el modelo de Hopfield continuo
Teorema 3 (de convergencia) En una red recurrente
continua guiada por la regla de actualización
anterior la función de energía computacional
disminuye, o por lo menos no cambia, en cada
actualización y alcanza un estado estable en un
mínimo local de dicha función.
Demostración
? 0
? 0

18
Evolución en el modelo de Hopfield continuo
pues
La red queda atrapada en los mínimos locales de
la función de energía
19
Problemas de Optimización
w12-1
w12 1(-1) -1 w21 (-1)1 -1 w11 w22
0.
w21-1
Función de energía E(k) s1(k)s2(k).
Configuraciones posibles (1,1), (1,-1),
(-1,1) y (-1,-1) Estados estables (1,-1) y
(-1,1)
(-1,1) estable
(1,1) h1 (-1)1 -1
(-1,1)
(-1,1) estable
20
Problemas de las N Torres
?
?
?
?
?
?
?
?
21
Problemas de las N Torres
22
Problemas de las N Torres
Función de energía
sij
23
Problemas de las N Torres
E
wij,rj
wij,ik
?ij
24
Problemas de las N Torres
25
Problema del recubrimiento minimal de los
vértices de un grafo (servicios de vigilancia
por vídeo)
Dado un grafo G(V,E), se trata de encontrar un
subconjunto X?V de forma que cada arista de E
tenga al menos un vértice en dicho conjunto X, y
con mínima cardinalidad
N vértices
Arquitectura de la red N unidades de
proceso
26
Problema del recubrimiento minimal de los
vértices de un grafo (servicios de vigilancia
por vídeo)
El objetivo es Minimizar
Sujeto a
Al menos una de las dos unidades de proceso tiene
que estar activa
aij vale cero si no existe la arista (i,j) y
vale uno si existe
27
Problema del recubrimiento minimal de los
vértices de un grafo (servicios de vigilancia
por vídeo)
El objetivo es Minimizar
28
Problema del recubrimiento minimal de los
vértices de un grafo (servicios de vigilancia
por vídeo)

,


Como el peso sináptico wij es negativo favorece
que una unidad esté activada y la otra
desactivada (si ya hemos puesto una cámara de
vídeo en un vértice no hay que poner otra en el
otro vértice pues la calle queda vigilada)
29
El problema de la bipartición de un grafo
Arquitectura 2N unidades de proceso

Minimizar


Sujeto a
vale 1 si si sj vale 0 si si ? sj
Minimizar
30
El problema de la bipartición de un grafo
Minimizar



31
El problema del viajante de comercio
Arquitectura N unidades de proceso

Minimizar


Sujeto a