Redes Neuronales Artificiales

1
Redes Neuronales Artificiales
2
Neurona
3
Recursos disponibles en computadoras y cerebro
humano
4
Redes Neuronales Artificiales
Consisten en unidades de procesamiento
densa-mente interconectadas , llamadas neuronas
por su similaridad funcional con las neuronas
biológi-cas. Las unidades de procesamiento
reciben, pro-cesan y transmiten señales, tal como
las neuronas biológicas.
5
Composición de las redes neuronales artificiales

• Los nueve componentes principales del
  funcionamiento de las Redes Neuronales
  Artificiales son
• Un conjunto de unidades de procesamiento
  (neuronas)
• Un estado de activación (variable de estado)
• Una función de salida para cada unidad
• Un conjunto de conexiones (patrón de
  conectividad)
• Un conjunto de reglas de propagación para
  propagar las señales de salida a través de la
  RNA.
• Una regla de combinación
• Una regla de activación
• Una regla de modificación
• Un ambiente en el cual opera la RNA.

6
1. Conjunto de unidades de procesamiento

• Tres tipos de unidades
• Unidades de entradas, reciben señales del
  ambiente
• Unidades de salida, transmiten las señales fuera
  de la RNA
• Unidades ocultas, sólo reciben señales de
  unidades que pertenecen a la RNA.

7
2. Estado de activación
Magnitud de la variable de estado de la unidad
(por ej. 1 o 0) Los valores de activación pueden
ser discretos o contínuos, y limitados o
ilimitados.
8
3. Función de salida
La señal de salida de una unidad varía con su
activi-dad, de acuerdo con una función de salida,
general-mente una función de saturación no lineal.
9
Diferentes funciones de salida
10
4. Conjunto de conexiones
Las unidades de procesamiento están
interconectadas. Con cada conexión se asocia un
peso conocido como peso de conexión o peso
sináptico. La magnitud de cada peso representa la
eficiencia con la cual la señal de salida de una
unidad es transmitida a la otra. Según el signo
del peso las señales entrantes pueden ser
excitatorias (), inhibitorias(-), o nulas (0).
11
5. Conjunto de reglas de propagación
Una entrada en una unidad puede ser una versión
en escala de la señal de salida recibida, pero
también puede ser más compleja si, por ej., el
peso sináptico es modulado por alguna señal de
salida.
12
6. Regla de combinación
Necesaria para generar la entrada neta de las
señales de salida pesadas o moduladas provistas
por la regla de propagación.. En el caso de una
simple suma de estas señales, la regla de
combinación es del tipo simple en cualquier otro
caso se nombrará como del tipo complejo.
13
7. Regla de activación
Necesaria para combinar la señal de entrada con
el estado actual. La regla de activación puede
ser una ecuación diferencial con respecto al
tiempo, en el caso contínuo, o una ecuación
diferencia en el caso discreto. Además la regla
de activación puede ser determinística o
estocástica. En este último caso, se incluye una
fuente de ruido para producir cierta
incertidumbre sobre el estado presente de la
unidad.
14
8. Regla de modificación
La modificación del funcionamiento de una RNA en
función del tiempo requiere la modificación de
patrones de conectividad con el tiempo, usando
alguna regla de modificación.
15
9. Ambiente
Provee las señales a las unidades de entrada. Las
señales de entrada pueden ser discretas o
contínuas, constantes o dependientes del tiempo,
y determinís-ticas o estocásticas.
16
Notación para la red neuronal(R N)
17
Unidad neuronal
18
Unidades con función escalón para la función
activación
Pueden actuar como puertas lógicas, dados los
adecuados umbrales (t) y pesos (W).
19
Red hacia adelante de dos capas
20
Perceptrones
21
Perceptrones algoritmo de aprendizaje

• Wij nuevo Wij viejo ?Wij
• ? 2???j??i si ??j ? o?j
• ?Wij ?
• ? 0 en cualquier otro caso
• ó ?Wij ?(1 - ??j o?j ) ??j ??i
• ó ?Wij ?(??j - o?j ) ??i
• ? Velocidad de aprendizaje
• j Salida esperada de j
• ?i Entrada desde i
• o Salida obtenida de j

22
Separación lineal en perceptrones
23
Separación lineal en tres dimensiones
Representación de la función minoría
24
Red de Hopfield

• Asume lo siguiente
• Las variables de estado son binarias o
  graduadas.
• Las funciones de salida usadas son tipo hard
  limiter o sigmoidea.
• Las unidades de procesamiento estan ordenadas en
  una capa todas las unidades realizan entrada y
  salida. Las conexiones dentro de la capa son
  recíprocas y simétricas las conexiones recibidas
  de entradas externas son unidireccionales.
• La regla de propagación es del tipo simple.
• La regla de activación es discreta (red
  Hopf.binaria), o contínua (red de Hopfield
  graduada). Las reglas de propag. y de combinac.
  son del tipo simple.
• El aprendizaje se da en un shot, los pesos de
  conexión son conocidos por el problema, no hay
  adaptación.
• Las entradas externas son invariantes con el
  tiempo, y binarias o graduadas.

25
Perceptrón multicapa

• Asume lo siguiente
• Las variables de estado son graduadas.
• La función de salida usada es tipo sigmoidea.
• Las unidades de procesamiento estan ordenadas en
  dos o tres capas. No hay conexiones dentro de una
  misma capa las conexiones entre capas son
  unidireccionales.
• La regla de propagación es del tipo simple.
• La regla de activación es discreta. La
  actualización es síncrona dentro de cada capa y
  asíncrona de una capa a la otra.
• El aprendizaje se da por minimización de una
  función error, el algoritmo de aprendizaje por
  retropropagación. La función error codifica
  información global. No hay adaptación.
• Las entradas externas son graduadas y constantes.

26
Red hacia adelante de dos capas para el problema
del restaurante
27
Algoritmo de retropropagación
Es utilizado para actualizar los pesos en una red
multicapa.
28
Algoritmo de retropropagación

• Inicializar los pesos a valores pequeños al azar.
• Elegir un patrón y aplicarlo a la capa de
  entrada.
• Propagar la señal hacia delante por la red.
• Computar los deltas de la capa de salida.
• Computar los deltas de las capas previas
  propagando el error hacia atrás.
• Actualizar todas las conexiones.
• Volver al paso 2 y repetir con el patrón
  siguiente.

29
Superficie del error para la búsqueda de
gradiente descendiente en el espacio de pesos
30
Máquina Boltzman

• Asume lo siguiente
• Las variables de estado son binarias.
• Las unidades de procesamiento estan ordenadas en
  capas.
• Las conexiones entre capas son recíprocas y
  simétricas.
• Las reglas de activación y de aprendizaje son
  estocásticas.
• Ref. Ackley, 1985 Hinton y Sejnowski, 1986.

31
Operaciones básicas

• Asociación
• Autoasociación los conjuntos de patrones de
  entrada y de salida son idénticos
• Heteroasociación los patrones de salida
  difieren de los de entrada.
• Descubrimiento de regularidad.
• Aplicable cuando la estrategia de aprendizaje es
  no supervisada.
• Aprendizaje supervisado
• Los pesos de las conexiones se ajustan de manera
  tal que se reduzcan las discrepancias entre la
  salida real y la deseada, para todos los pares
  entrada/salida del conjunto de entrenamiento.

32
Estructuras de representación

• Codificación de velocidad
• La información es representada por la actividad
  de las unidades de procesamiento de la red para
  cada patron de entrada corresponde un patrón de
  actividad en la RNA.
• Codificación por grafo
• Las unidades de procesamiento corresponden a
  nodos y las conexiones se corresponden con arcos.
• Los patrones de entrada y patrones de referencia
  se representan como dos grafos separados.

33
Redes Neuronales de retropropagación
Las neuronas artificiales reciben, procesan y
comunican actividades y debido a esto, sus
estados cambian con el tiempo. La red es
enfrentada a un patrón de entrada y, gracias a
enlaces que realimentan a la red, va
actualizan-do su estado. Las redes neuronales
artificiales analógicas son usadas en la
resolución de problemas de optimización.