Realizaci

1
Realización de Software en el proyecto EAV

• Autor Jorge Maella Mareca
• Dirección Luis Fernando Rodríguez Ramos
• Nicolás Sosa García

2
Contenido de la exposición

• Proyecto Espacio Acústico Virtual (EAV)
• Adaptación del software a la nueva plataforma
• Proceso de Calibrado software de las cámaras.
• Sonidos Estructura actual y trabajos realizados.
• Documentación.
• Turno de preguntas.

3
Espacio Acústico Virtual

• -Objetivo Percepción del entorno usando
  únicamente sonidos
• - Dispositivo electrónico Transforma las
  imágenes del entorno en imágenes sonoras
• - Tecnología Visión Espacial Espacialización
  de sonidos
• - Destinado a las personas ciegas

4
Adaptación a la nueva plataforma Prototipo
Anterior

• Computador modelo Matrox 4Sight II
• Framegrabber Matrox Meteor II /Multi Channel
• Captura de vídeo no entrelazado
• Captura de dos imágenes de 320 x 240 píxeles a la
  vez. Una de cada cámara.
• Demasiado grande para ser portable.

Motivación para el Cambio
5
Presentación de la nueva Plataforma

• Computador Espresso Pocket PC
• Dimensiones reducidas, 150 x 106 x 32 mm.
• Potencia Intel Celeron 700MHz, 256MB RAM
• Integra hardware de sonido SoundBlaster
  compatible

6
Captura de Imágenes USB Vídeo entrelazado

• Captura de imágenes mediante bus USB.
• Inconveniente Solo se puede capturar una señal
  de vídeo con USB
• Cámaras deben poder trabajar en modo entrelazado.
  
• Captura de una imagen 320 x 240 píxeles, que se
  separan en dos, derecha e izquierda de 320 x 120.
• Líneas pares, cámara derecha e impares izquierda.

7
Software del EAV Estructura Cambios a realizar

• Estructura del programa de Estereovisión
• Bucle que realiza lo siguiente
• Capturar Imágenes y rectificarlas
• Transformarlas en imágenes sonoras.
• Reproducir los sonidos e iterar en el proceso.
• Primer trabajo
• Modificar la captura de vídeo con USB. Uso de las
  librerías hechas por Miguel Núñez.
• Separar la imagen entrelazada en dos por software.

8
Software del EAV Estructura Cambios a
realizar (2)

• Problemillas...
• Cambio en la versión de las librerías encargadas
  de la realización del cálculo estéreo de
  VidereDesign. Promoción de la versión 2.1 a la
  2.3.
• Cambio en la versión del API de sonido WaveOut.
• Resultados Buenos.
• Aumento en las prestaciones. Mayor número de
  imágenes capturadas por segundo.
• Picos de hasta 15 im/seg. Media entre 7 y 9.
  Versión anterior entre 6 y 7.

9
Calibrado Software de las Cámaras

• - qué es?
• Procedimiento para calcular un conjunto de
  parámetros de las lentes con ayuda de los cuales
  se realizará el cálculo estéreo de las imágenes
  para obtener el mapa de profundidades.
• Parámetros de tipo, de distorsión individual de
  las lentes y relación espacial entre las dos
  cámaras.
• Realizado con el software SRI Small Vision System
  del fabricante de las cámaras, Videre Design.
• Mi Tarea Estandarizar y Documentar el proceso.

10
Sonidos Estructura del software encargado de la
Reproducción.

• Fichero de la colección de sonidos Col.bin. 2.5
  Millones de muestras de 2 bytes - gt 5MBytes.
• Se carga a memoria al comenzar la ejecución
• Datos Técnicos
• Frecuencia de muestreo 48KHz.
• Un sonido tiene 1024 muestras estéreo -gt
  Duración 21 ms
• Separación entre la emisión de 2 sonidos -gt 1ms.
• Máximo número de sonidos por frame -gt 153.
• Se envían a reproducir todos los sonidos de un
  frame mezclados por software.

11
Primera Tarea Estudio de técnicas de compresión
del buffer de sonidos

• Motivación
• Se espera tener colecciones de sonidos de cientos
  de Mbytes.
• En los portátiles el consumo condiciona la
  memoria.
• Estudio de varias técnicas
• Compresión en memoria sin pérdidas
• Redes neuronales, tablas de búsqueda, tablas
  estilo cache.
• Compresión con pérdidas Algoritmo de mu law.
• Compresión en disco huffman, lempel/Ziv.
• Estudio y documentación, no implementación.

12
Segunda Tarea Búsqueda de una reproducción
sonora más limpia.

• Motivación Dos defectillos en la reproducción
• Entre la emisión de dos imágenes sonoras aparece
  siempre un pequeño silencio.
• Evitar cortes bruscos en la reproducción sonora.
• Realización Programación de otra manera del API
  WaveOut
• CALLBACK encolar paquetes de sonidos.
• Sincronización por cita con semáforos.
• Prestaciones Igual que el anterior, pero ...
• Problema Un frame siempre retrasa su emisión el
  tiempo de emisión de otro - gt 172ms. Eso es
  mucho.

13
El Reto Búsqueda de la Polifonía en la emisión
sonora.

• Polifonía Provocar que varios sonidos suenen a
  la vez sin tener que realizar la mezcla por
  software en nuestro programa.
• Motivación Evitar la diferencia en los niveles
  de amplitud sonoros.

Deseo
Actualmente
14
El Reto Búsqueda de la Polifonía en la emisión
sonora (2).

• La polifonía es posible programando la
  reproducción sonora con el API DirectSound, parte
  de DirectX.
• Idea Enviar a reproducir N sonidos cada N
  milisegundos. El API los mezcla con los que ya
  hay reproduciéndose.
• Programación Viable, Se Realizó
• Uso de threads ó interrupciones de reloj.
• Inconvenientes Se producen multitud de retardos
  que impiden que la reproducción quede limpia
• El sistema operativo, el API o el hardware.
• Es un tema abierto que da mucho juego, en un
  futuro se puede continuar con él.

15
Documentación

• Finalizo con la lista de documentos realizados
• VisionEspressoUSB_v1.1.doc
• Calibrado_v1.2.doc
• AlternativasDeCompresion_v1.0.doc
• VisionSonidosModificados_v1.1.doc
• VisionPolifoniaDS_v1.0.doc
• EstadoDelSoftwareEAV_v1.0.doc

16
Preguntas