Aprendizaje No Supervisado y Redes de Kohonen

1
Aprendizaje No Supervisado y Redes de Kohonen

• Aplicaciones y Estado del Arte

2
Hoy vamos a ver

• Organización Tímbrica de Instrumentos Musicales
  Utilizando Redes Neuronales. Néstor Spedalieri y
  Jorge Xifra. 2001.
• Analysis and Downscaling Multi-Model Seasonal
  Forecasts using Self-Organizing Maps.J.
  Gutierrez et al. 2004.
• Self Organization of massive document
  collection.Teuvo Kohonen et al. 2000.
• Un clasificador neuronal que explica sus
  respuestas aplicación al reconocimiento de
  dígitos manuscritos. Leticia Seijas. 2002

3
Organización Tímbrica de Instrumentos Musicales

• Organización Tímbrica de Instrumentos Musicales
  Utilizando Redes Neuronales. Néstor Spedalieri y
  Jorge Xifra. Tesis de Licenciatura. 2001.

4
Organización Tímbrica de Instrumentos Musicales

• Timbre Atributo de la sensación auditiva en
  términos del cuál un oyente puede juzgar que dos
  sonidos presentados en forma similar son
  disímiles
• Objetivo A partir de un sonido, detectar de qué
  instrumento proviene.
• Características
• Utiliza transformada de wavelets para dividir el
  sonido por frecuencias
• Utiliza dos capas de mapas de Kohohen

5
Organización Tímbrica de Instrumentos Musicales

• Esquema del modelo

6
Organización Tímbrica de Instrumentos Musicales

• Esquema del modelo
• Entrada Nota C4 (262Hz, DO de la cuarta octava)
  de diferentes instrumentos musicales.
• Preprocesamiento Transformada de wavelets para
  dividir por frecuencias. Compresión de las
  componentes más altas.
• Redes inferiores Clasifican cada rango de
  frecuencias del sonido. El resultado es una
  posición de la grilla (x,y) para cada rango de
  frecuencias.
• Red superior Clasificación final del sonido.

7
Organización Tímbrica de Instrumentos Musicales

• Preprocesamiento
• Mono
• Ventana de tiempo incluye ataque y una porción
  de la fase estable
• Normalización de la intensidad (volumen)
• Transformada de wavelets
• Compresión de las frecuencias altas (para obtener
  256 valores en cada una)

8
Organización Tímbrica de Instrumentos Musicales

• Mapas inferiores
• 15 mapas
• Tamaño 10x10 (para tener una relación de 1 a 5
  entre la cantidad de entradas y de neuronas)
• Dimensión de la entrada 256

9
Organización Tímbrica de Instrumentos Musicales

• Parámetros
• Cantidad de épocas 256.000 para las inferiores y
  150.000 para la superior para ordenamiento (para
  convergencia 10)
• Eta inicial 0.32
• Vecindario inicial 10

10
Organización Tímbrica de Instrumentos Musicales
11
Colección Masiva de Documentos

• Self Organization of massive document
  collection.Teuvo Kohonen et al. 2000.

12
Colección Masiva de Documentos

• Objetivos
• Clasificar un conjunto muy grande de documentos.
  Proveer una herramienta gráfica para visualizar
  la colección y navegar por la misma y para
  presentar los resultados de una búsqueda.
• Verificar la escalabilidad de los mapas de
  Kohonen
• Cantidad de documentos 6.840.568 (abstracts de
  patentes)
• Dimensión de la entrada 500
• Cantidad de neuronas 1.002.240

13
Colección Masiva de Documentos

• Modelos estadísticos de documentos
• Histograma de frecuencia de palabras (comprimido)
• Clusters de palabras
• Componentes principales
• Proyecciones aleatorias

14
Colección Masiva de Documentos

• Construcción rápida de los mapas
• Cómputo de la distancia producto interno,
  almacenando sólo las componentes que no son cero.
• Estimación de mapas grandes a partir de mapas más
  chicos agregando filas y columnas.
• Aceleración de la convergencia guardando un
  puntero al último ganador para cada patrón de
  entrenamiento
• Procesamiento paralelo

15
Colección Masiva de Documentos

• Implementación
• 6.840.568 documentos con 132 palabras en promedio
• 733.179 palabras diferentes. Eliminando las
  palabras comunes y las que aparecen menos de 50
  veces, quedan 43.222.
• Proyección random de las palabras a vectores de
  dimensión 500.
• Red final 1.002.240 nodos.
• Cuatro pasos. Red inicial 435 nodos.

16
Colección Masiva de Documentos

• Resultados

17
Pronóstico meteorológico

• Analysis and Downscaling Multi-Model Seasonal
  Forecasts using Self-Organizing Maps.J.
  Gutierrez et al. 2004.

18
Pronóstico meteorológico

• Objetivos
• Discriminar diferentes configuraciones
  meteorológicas.
• Poder predecir fenómenos con antelación (por
  ejemplo, El Niño)
• Datos utilizados
• - Diferentes registros meteorológicos de Perú,
  entre 1979 y 1999. Un patrónun día

19
Pronóstico meteorológico

• Se va a querer analizar la distribución de los
  datos y compararla con distribuciones conocidas.
• Arquitectura
• Preprocesamiento componentes principales de
  7300 componentes se quedan con sólo 30!

20
Pronóstico meteorológico

• Tamaño de la red 8x8 (100 patrones por neurona)

21
Pronóstico meteorológico
22
Reconocimiento de Dígitos Manuscritos

• Un clasificador neuronal que explica sus
  respuestas aplicación al reconocimiento de
  dígitos manuscritos. Leticia Seijas. 2002.

23
Reconocimiento de Dígitos Manuscritos

• Objetivos
• Reconocer dígitos manuscritos
• Poder detectar patrones dudosos, y obtener las
  posibles alternativas
• Explicar las respuestas.
• Arquitectura
• Múltiples redes de Kohonen que clasifican el
  patrón considerando diferentes características
• Un módulo analizador que combina las respuestas y
  emite una respuesta global

24
Reconocimiento de Dígitos Manuscritos
25
Reconocimiento de Dígitos Manuscritos

• Cada red analiza una componente direccional
• Tabla de confiabilidad indica el porcentaje de
  errores de cada red respecto de cada clase
• Umbral de confiabilidad determina a partir de
  qué valor una respuesta se considera confiable.
• Funcionamiento
• Para una entrada dada, cada red determina a qué
  clase pertenece.
• El módulo analizador suma los votos de cada red,
  ponderados por su confiabilidad.
• La respuesta del sistema será la clase con mayor
  puntaje, si este sobrepasa el umbral de
  confiabilidad.

26
Reconocimiento de Dígitos Manuscritos

• Cómo se explican las respuestas?
• Ante un patrón dudoso, se puede observar la
  decisión de cada una de las redes (jueces) y
  determinar qué características del patrón son
  similares a cada clase

27
Reconocimiento de Dígitos Manuscritos
28
Reconocimiento de Dígitos Manuscritos
29
Reconocimiento de Dígitos Manuscritos
30
Reconocimiento de Dígitos Manuscritos
31
FIN