Redes Neuronales de Kohonen

1
Redes Neuronales de Kohonen

• Las Redes de Kohonen, también llamadas Mapas
  Auto-Organizados o SOMs (por sus siglas en
  inglés) son sistemas de clasificación no
  supervisada que permiten encontrar individuos de
  una población que comparten características
  comunes.
• Esto los hace ideales para explorar espacios
  vectoriales en los que se desconoce la estructura
  de clasificación de los vectores.

2
Redes de Kohonen

• En esta ilustración se muestra un SOM de dos
  dimensiones. Las neuronas se representan...

3
Redes de Kohonen

• ...en el mapa bidimen-
• sional, mientras que
• los vectores de datos
• (representados por Xi)
• están en la parte inferior. Cada neurona
• apunta a los vectores, de manera que cada
• neurona tiene tantas coordenadas como
• rasgos hay en un vector.

4
Redes de Kohonen

• Supongamos, por ejemplo, que cada vector de datos
  tiene 13 rasgos y que el mapa tiene una
  estructura de 4 X 4. La neurona (1,1) tiene 13
  coordenadas

5
Redes de Kohonen

• Por otra parte, la neurona 16 (4,4) tiene las
  siguientes 13 coordenadas

6
Redes de Kohonen

• Nuestro problema consiste en encontrar los
  valores de las coordenadas de c/u de las neuronas
  del mapa de manera que, en el espacio
  bidimensional de las neuronas, las neuronas
  vecinas apunten a aquellos datos que forman parte
  del mismo grupo.
• Por ejemplo, en el caso anterior, cada dato es
  una muestra de las componentes químicas de alguno
  de tres medicamentos.

7
Mapas Auto-Organizados

• En el mapa que se mues-
• tra, cada color identifi-
• ca una de las tres medi-
• cinas y cada círculo co-
• rresponde a una neurona.
• Como puede verse, las
• neuronas correspondien-
• tes a cada tipo de medi-
• cina son vecinas entre
• si.

8
Mapas Auto-Organizados

• Así, lo que pedimos de este tipo de redes, es un
  mapa del espacio multidimensional (en el ejemplo,
  de 13 dimensiones) al espacio bi-dimensional de
  tal manera que haya una cercanía geográfica entre
  las neuronas que mapean a miembros del mismo
  grupo.
• Cómo logramos eso? Kohonen propuso el siguiente
  algoritmo

9
Algoritmo de Kohonen

• 1. Todas las coordenadas de las neuronas reciben,
  inicialmente, valores aleatorios.
• 2. Se inicializa un contador de épocas
• 3. Se define la tasa de aprendizaje
  para la época n. (Una época es la presentación de
  todas las muestras).
• 4. Se define la función de retroalimentación
  rik(n) de la neurona i a la neurona ganadora k en
  la época n, dada por

10
Algoritmo de Kohonen

• en donde es el radio de aprendizaje para
  la época n y d es la distancia (euclidiana) entre
  la i-ésima neurona y la k-ésima neurona (o
  neurona ganadora, como se define más adelante).
• 5. Se define el factor de aprendizaje .
  Este tiene un valor cercano a 1 (por ejemplo
  0.99)
• 6. Se define el factor radial . Este
  tiene, asimismo, un valor cercano a 1 (p.e.
  0.995).
• 7. Se presenta la muestra x(t) de entrenamiento a
  la red.

11
Algoritmo de Kohonen

• 8. Se determina cuál de las neuronas está más
  cerca de la muestra. Normalmente se calcula la
  distancia euclidiana entre el vector de pesos de
  las neuronas y el vector de entrenamiento. A esta
  neurona (la k-ésima) se le denomina la neurona
  ganadora.
• 9. Los vectores de peso de c/u de las neuronas
  perdedoras se modifican de acuerdo con
• 10. Se ha cumplido una época?
• Si Se actualizan los los parámetros de aprendi-
  zaje, de acuerdo con

12
Algoritmo de Kohonen

• 11. Se cumple algún criterio de convergencia?
• Si Fin
• No Ir al paso 7

13
Algoritmo de Kohonen

• Debe notarse que la transformación del espacio
  M-dimensional (de los M rasgos o elementos del
  vector de c/u de las muestras) al espacio
  bidimensional de las N neuronas se produce al
  encontrar la distancia
• puesto que

14
Algoritmo de Kohonen

• La distancia entre
• dos neuronas veci-
• nas es, convencio-
• nalmente, igual a
• 1, como se ilustra.

15
Algoritmo de Kohonen

• Nótese que la ex-
• presión de rik es
• similar a la de
• una distribución
• normal, centrada
• en dik y con una
• desviación
• como se ilustra.

16
Algoritmo de Kohonen

• Lo anterior implica que el ajuste al peso wik
  está en función de la diferencia que existe entre
  la neurona ganadora y la i-ésima ponderada por la
  desviación estándar para esta época. Como en cada
  época
• la influencia de la neurona ganadora en sus
  vecinas se reduce exponencialmente con el número
  de época (n).

17
Algoritmo de Kohonen
18
Algoritmo de Kohonen

• Análogamente

19
Algoritmo de Kohonen

• Este algoritmo garantiza que neuronas que apuntan
  a datos similares sean vecinas en el mapa de la
  red, pero no resuelve el problema de cómo están
  sectorizadas (a qué grupo pertenecen) las
  neuronas individuales.
• En otras palabras, empezamos con un mapa de
  neuronas disociadas de los vectores de datos y
  las asociamos en las coordenadas del mapa. Pero
  falta pintar los grupos.

20
Agrupamiento

• Dado Obtener

21
Agrupamiento (Labeling)

• Al problema de encontrar los grupos a los que
  pertenecen las neuronas se le llama
  etiquetamiento (labeling) de las neuronas.
• Este proceso se puede automatizar de manera
  sencilla si se conocen, a priori, los grupos a
  los que pertenecen los datos de entrenamiento.

22
Algoritmo de Agrupamiento

• Dadas N clases y un conjunto de objetos Oi
  (muestras) cada uno de los cuales pertenece a las
  clase se define una
  matriz P de N X M elementos, en donde M es el
  número de neuronas de la red. Los elementos de P
  se inicializan a 0.
• Entonces se puede aplicar el siguiente
  procedimiento.

23
Algoritmo de Agrupamiento

• 1. Preséntese el objeto Oi de la clase C(i) a la
  red y calcúlese la distancia de
  todas las neuronas a este objeto.
• 2. Hágase
• 3. Repetir los pasos 1-2 hasta que todos los
  objetos hayan sido presentados a la red.
• 4. Calcular

24
Algoritmo de Agrupamiento

• 5. Asigne la etiqueta de clase Im a la neurona m.
• Puede ser que no haya un máximo único ni está
  garantizado que haya al menos una neurona
  asignada a cada clase. En estos casos es
  necesario aplicar algún heurístico para
  desambiguar el sistema. Adicionalmente, se
  requieren, al menos, tantos objetos como neuronas
  haya en la red.

25
Matriz de Distancia
26
Agrupamiento Automático

• Cuando se desconocen los grupos a los que
  perte-necen las neuronas, el problema es
  considera-blemente más complejo.
• Debemos de determinar, en este caso, en dónde
  están los límites de las vecindades entre las
  neuronas del mapa.

27
El Problema de las Particiones

• Es este el número
• correcto de parti-
• ciones?
• Son adecuadas es-
• tas particiones?

28
Métrica de Clases

• Para establecer un sistema que determine, dado un
  número de clases, a qué clase pertenece cada una
  de las muestras, propusimos 4 métricas
• a) Distancia absoluta
• b) Distancia absoluta agrupada
• c) Distancia euclidiana
• d) Distancia euclidiana agrupada

29
Métrica de Clases

• Distancia Absoluta

30
Métrica de Clases

• Distancia Absoluta Agrupada

31
Métrica de Clases

• Distancia Euclidiana

32
Métrica de Clases

• Distancia Euclidiana Agrupada

33
Resultados Numéricos

• En la figura se muestran los valores obtenidos de
  muestrear valores aleatoriamente para los 4 tipos
  de métrica.

34
Resultados Numéricos

• Lo que se observa es el resultado de medir las
  distancias entre los grupos cuando los grupos son
  los conocidos (1a fila) y cuando la agrupación se
  hace aleatoriamente.
• Lo que buscamos es la métrica que nos entregue el
  menor valor posible para una agrupación
  aleatoria, de manera que tratemos de encontrar la
  agrupación que minimice ese valor.

35
Una Medida de Agrupamiento

• El razonamiento anterior se deriva del hecho de
  que una asignación aleatoria debe arrojar
  distancias menores que aquellas obtenidas del
  caso real.
• Si logramos una métrica que tenga el
  comportamiento deseado, nuestro problema se
  convierte en uno de minimización de los valores
  derivados de agrupar las muestras según la
  métrica más adecuada.

36
Simulaciones

• En la siguiente figura se muestra una tabla con
  los resultados de aplicar las distintas métricas
  a 5 grupos de 10, 15 y 20 muestras cada uno.
• En las 1as 4 columnas se muestra la desviación.
• En las últimas 4 se muestra el número de veces
  que la métrica equivocó su diagnóstico.

37
Simulaciones
38
Métricas Robustas

• De la tabla se puede ver que, en principio, las
  métricas 1 y 3 inducen errores.
• Por otra parte las métricas 2 y 4 no se
  equivocan. De estas, la mejor es la 4 cuya
  desviación es, consistentemente, menor que el el
  caso de la 2.
• Es decir, la métrica euclidiana agrupada se
  desempeña mejor.

39
Elección de los Elementos del Grupo

• Una vez convencidos que la métrica mejor es
• debemos encontrar un método para encontrar la
  agrupación que minimice esta distancia.

40
El Problema de Minimización

• Este problema es no trivial.
• Supongamos que tenemos 160 muestras y 3 clases.
  Cuántas formas de agrupar estas 160 muestras en
  3 clases existen?
• El número es O(2320) que es, aproximada-mente,
  O(1096). Obviamente una búsqueda exhaustiva es
  inaplicable.
• Pero para un AG la solución de este problema es
  trivial.

41
Genoma

• Para resolver el problema de optimización debemos
  de construir un genoma (binario) que nos permita
  representar la solución.
• Una posible forma de proponiendo una cadena de
  números (un número por muestra) tal que cada
  número indique a qué grupo corresponde una
  muestra.

42
Genoma

• Siguiendo con el ejemplo anterior, donde hay 160
  muestras y 3 categorías, el genoma se compone de
  160 números entre 1 y 3.
• Por ejemplo
• 1232323231112323...123123
• 160 números

43
Genoma

• Nosotros decidimos codificar en binario, de
  manera que un individuo está representado por 160
  X 2 bits es decir, asociando parejas de bits
  representamos un número entre 0 y 2 (y no usamos
  la combinación 11).
• El genoma es de 320 bits y, por lo tanto, hay del
  orden de 2320 posibles combinaciones de
  individuos.

44
Solución al Problema
45
Solución al Problema

• En la gráfica anterior se muestra el
  comportamiento de los métodos de
• Las líneas inferio-
• res corresponden
• a las mejores mé-
• tricas.

46
Conclusiones

• Estableciendo una métrica adecuada es posible
  convertir el problema de determinación de grupos
  en problemas de clasificación a uno de
  minimización.
• El problema de minimización se puede resolver
  fácil y eficientemente usando AGs.
• Para determinar el número de grupos se requiere
  ir aplicando el AG consecutiva-mente para 2, 3,
  ..., N grupos.

47
Conclusiones

• Los resultados obtenidos hasta el momento son
  alentadores pero no definitivos ya que el
  criterio de elección de la métrica más adecuada
  no asegura que los grupos encontrados sean los
  óptimos.
• En el futuro inmediato buscaremos un modelo
  matemático del comportamiento de la métrica para
  garantizar sus adecuadas propiedades matemáticas
  en todos los casos.