Perceptrn Multicapa

1
Perceptrón Multicapa

• Aplicaciones

2
Perceptrón Multicapa
Para qué se puede usar un perceptrón multicapa?
Aproximación de funciones
Radiación solar
MLP
Latitud Longitud ... Altitud
3
A New Compression Technique Using an Artificial
Neural Network
B. Verma, M. Blumenstein, S. KulkarniGriffith
University - Australia

• Objetivo presentar un método basado en Redes
  Neuronales para compresión de imágenes
• Problemática transmisión de imágenes como
  proceso costoso ? reducir la cantidad de bits ?
  aumentar el volumen de datos transmitidos en un
  lapso
• Superioridad de las redes neuronales frente a
  datos incompletos o con ruido

4
Compresión de imágenes por encoder/decoder

• Entradasalida (autoasociador)
• M ltlt N

5
Compresión de imágenes por encoder/decoder

• Entrada ventanas de 8x8 de la imagen (blanco y
  negro). Las entradas similares fueron eliminadas
• Parámetros
• Cantidad de neuronas en la capa oculta 20
• Pares del conjunto de entrenamiento entre 100 y
  400
• Velocidad de aprendizaje 0.2
• Momentum 0.2

6
Compresión de imágenes con wavelets

• Improving Wavelet Image Compression with Neural
  Networks, Christopher Burges, Patrice Simard y
  Henrique Malvar
• Transferencia de imágenes comprimidas con wavelets

• Wavelet es una transformada, como Taylor o
  Fourier
• señal a f1(x) b f2(x) c f3(x) ...
• Se transmiten los coeficientes (a,b,c)
  discretizados y codificados

Si se consigue codificarlos con menos bits, la
imagen ocupa menos.
7
Compresión de imágenes con wavelets

• Con un MLP se intenta predecir el siguiente
  coeficiente a partir de los anteriores

Se logra que el residuo (lo que se transmite) sea
mucho más chico, y pueda ser codificado con menos
bits
8
Compresión de imágenes con wavelets

• -Predictor
• Una capa oculta (20 unidades) y una unidad de
  salida, sigmoideas
• Las unidades de entrada corresponden al contexto
  del coeficiente a predecir (24 / 42 unidades).
• Valores de velocidad de aprendizaje 0.1 0.01
• Se entrena una red por cada subbanda de detalle
  de resolución 0 y 1
• Entrenamiento con un conjunto fijo de16 imágenes.
  Testeo 7 imágenes
• Conjunto de entrenamiento para LH0 150.000
  patrones (con más patrones el resultado no
  mejoraba)
• Medida de error Error Cuadrático Medio

9
Compresión de imágenes con wavelets

• Resultados
• Buena calidad de la imagen reconstruida
• Mejora la tasa de compresión para la misma
  calidad de imagen
• El uso del predictor incorpora un tiempo
  adicional de procesamiento

10
Reconocimiento de voz

• Modelo más usado Hidden Markov Model
• Un Modelo de Markov es un Autómata Finito, con
  probabilidades asignadas a las transiciones

• Si estado i
• aij transición entre el estado i y el estado j

• En un Hidden Markov Model no podemos saber en qué
  estado estamos.
• A partir de algunos datos tenemos una
  distribución de probabilidad sobre los estados.

11
Reconocimiento de voz
qi estado i P(qiqj) probabilidad de pasar del
estado i al estado j u emisión bi(u)
probabilidad de obtener la emisión u en el estado
i
Fonema Probabilidad de que el fonema j aparezca
después del fonema i Sonido Probabilidad de que
el fonema i sea pronunciado con el sonido u
12
Reconocimiento de voz

• "An Introduction to HMM/Connectionist Continuous
  Speech Recognition", Nelson Morgan and Hervé
  Bourland
• Modelos híbridos Utilizan un MLP para estimar la
  probabilidad de que un sonido x corresponda a un
  fonema i
• Entrada Características del sonido
• Salida Fonema que representa el sonido
  0,0,...,1,...,0
• Se puede demostrar que entrenando de esta manera
  se consigue una red cuya salida es la
  probabilidad de que la entrada pertenezca a cada
  una de las clases 0.2, 0.4, 0.1, ... ?
  1.

• Nelson Morgan
• 1988 (Paper original) Precisión 30
• 1995 Precisión 70
• 9 x 26 entradas
• 500 4000 unidades en la capa oculta
• 61 salidas

13
Reconocimiento de voz

• Características importantes
• Actualización on-line
• Cross validation para mejorar la generalización y
  evitar el sobreentrenamiento
• Conjunto de 10-20 de los patrones de
  entrenamiento para validación
• Después de cada época se calcula el error en ese
  conjunto.
• Si el error no mejoró en ese conjunto, se reduce
  la velocidad de aprendizaje
• Es muy importante la representación de la entrada
• Características dinámicas (que dependen de la
  secuencia de frames)
• Más de un frame por vez (información de contexto)
• Función de energía entropía o Kullback-Leibler

14
Calibración de cámara de video
A Non-parametric Method for Video Camera
Calibration Using a Neural Network", Enrique
Segura

• A partir de una imagen de video, un robot tiene
  que deducir la distancia y la orientación
  respecto de un objeto

• Características
• No paramétrico
• No requiere estimación de parámetros (distorsión
  de la lente, distancia focal, etc)
• Método aproximado
• La precisión aumenta con el tamaño del conjunto
  de entrenamiento

15
Calibración de cámara de video
f(x,y) (d,?,h) x,y coordenadas de la cámara
(CCD) d,? distancia y ángulo al
objeto h tamaño del objeto
Se utiliza un MLP para aproximar la función
f. Una capa oculta, unidades sigmoideas,
aprendizaje con el algoritmo SAGA (simulated
annealing gradient descent adaptative
growing)