Desarrollo de un sistema de traducci

1
Desarrollo de un sistema de traducción de voz a
Lengua de Signos Española para un servicio
público de atención personal
Proyecto

• Reunión de seguimiento en la Fundación CNSE

2
TAREAS OBJETIVO Y PLANIFICACIÓN GENERAL
3
OBJETIVO CONCRETO

• Diseño, desarrollo y evaluación de una
  arquitectura software que permita la traducción
  de voz a Lengua de Signos Española (LSE)
  aplicados a la traducción de las frases que un
  funcionario público pronuncia cuando atiende
  personalmente a una persona sorda.
• Dos servicios elegidos
• Renovación del Documento Nacional de Identidad
  (DNI).
• Información y gestión de los servicios que
  presta la DGT (Dirección General de Tráfico).

4
PLANIFICACIÓN GENERAL
Original (15 meses)
Tareas T0 T1 T2 T3 T4 T5 T6 T7 T8 T9 T10 T11 T12 T13 T14
T1 Estudio Lingüístico
T2 Diseño Arquitectura
T3 Reconocimiento de voz
T4 Traducción por reglas
T5 Traducción estadística
T6 Generación de signos
T7 Evaluación prototipos
T8 Gestión/documentación
Tareas T0 T1 T2 T3 T4 T5 T6 T7 T8 T9 T10 T11
T1 Estudio Lingüístico
T2 Diseño Arquitectura
T3 Reconocimiento de voz
T4 Traducción por reglas
T5 Traducción estadística
T6 Generación de signos
T7 Evaluación prototipos
T8 Gestión/documentación
Real (12 meses)
5
ESTUDIO LINGÜÍSTICO

• Frases del DNI
• Frases recogidas
• Proceso de traducción casi finalizado
• Frases de la DGT
• Frases recogidas
• Proceso de traducción comenzando

DISEÑO DE LA ARQUITECTURA

• Primera versión del interfaz
• Mejora de la ergonomía

6

• Antes de vacaciones llevar a Fundación CNSE una
  primera versión para evaluar (sin signos)

7
RECONOCIMIENTO DE VOZ

• Herramientas automáticas de generación de
  modelos de lenguaje y vocabularios a apartir de
  las frases

TRADUCCIÓN BASADA EN REGLAS

• Frases del DNI
• Entorno de desarrollo de reglas
• Proceso de generación de reglas comenzado
• Frases de la DGT
• Entorno de desarrollo de reglas
• No reglas desarrolladas

8
TRADUCCIÓN ESTADÍSTICA

• Frases del DNI
• Algoritmos desarrollados y probados
• Falta evaluarlos con las frases
• Frases de la DGT
• Algoritmos desarrollados y probados
• Falta evaluarlos con las frases

GENERACIÓN DE LOS SIGNOS

• Aprendizaje de HamNoSys
• Desarrollo de signos para DNI
• Desarrollo de signos para DGT

9
SEA - HAMNOSYS

• No es perfecto.
• Permitiría generar 1 versión para luego
  modificar.
• Problemas con signos de 2 manos.

10
EVALUACIÓN DE PROTOTIPOS

• Definir escenarios
• Probar con personas sordas cuestionarios
• Análisis de medidas objetivas y subjetivas

11
TRADUCCIÓN DE LSE A VOZ

• Primera versión del interfaz
• Integración del CTV de Loquendo
• Módulo de traducción basado en reglas generadas
  a partir de las frases

12

• Antes de vacaciones llevar a Fundación CNSE una
  primera versión para evaluar (sin signos)