Desarrollo de un sistema de traducci

1
Desarrollo de un sistema de traducción de voz a
Lengua de Signos Española para un servicio
público de atención personal
Proyecto

• Primera Reunión de arranque del proyecto
• En la ETSI Telecomunicación de la UPM

2
INDICE y AGENDA

• 1000-1010 Presentación
• 1010-1020 Introducción
• 1020-1130 Tareas
• T1 Estudio Lingüístico
• T2 Diseño de Arquitectura
• T3 Reconocimiento de voz
• 1130-1200 Café
• 1200-1320 Tareas
• T4 Traducción por reglas
• T5 Traducción estadística
• T6 Generación de signos
• T7 Evaluación de prototipos
• T8 Gestión/documentación
• 1320-1330 Ruegos y preguntas
• 1330-1400 Visita al laboratorio

PROYECTOS
3
INTRODUCCIÓN
4
ENFOQUE
COMPLICADO
RAZONABLE
VOZ TEXTO
SIGNOS
El proceso de traducción se puede llevar a cabo
en los dos sentidos
5
SIGNOS - VOZ
COMPLICADO

• Reconocimiento visual de los signos
• Procesado de Vídeo
• 2D a 3D
• Hoy reconocimiento del alfabeto
  dactilográfico
• Captura de los movimientos mediante guantes
• Mejores tasas
• Poco práctico

6
VOZ - SIGNOS
RAZONABLE

• Conseguir una buena tasa de transferencia de
  información 90 es posible para dominios
  restringidos.
• El 100 es una utopía

Dominios Restringidos En torno a 100-1000
palabras información meteorológica, deportes,....
7
UN PRIMER PROTOTIPO
En primer lugar pedir perdón porque las
traducciones no han sido realizadas por ningún
experto, ni los signos tampoco han sido
supervisados por una persona experta
8
TAREAS OBJETIVO Y PLANIFICACIÓN GENERAL
9
OBJETIVO CONCRETO

• Diseño, desarrollo y evaluación de una
  arquitectura software que permita la traducción
  de voz a Lengua de Signos Española (LSE)
  aplicados a la traducción de las frases que un
  funcionario público pronuncia cuando atiende
  personalmente a una persona sorda.
• Se elegirán dos de entre estos servicios
• Renovación del Documento Nacional de Identidad
  (DNI).
• Prestaciones económicas del Instituto Nacional
  de la Seguridad Social (INSS).
• Información y gestión de los servicios que
  presta la DGT (Dirección General de Tráfico).

10
PLANIFICACIÓN GENERAL
Original (15 meses)
Tareas T0 T1 T2 T3 T4 T5 T6 T7 T8 T9 T10 T11 T12 T13 T14
T1 Estudio Lingüístico
T2 Diseño Arquitectura
T3 Reconocimiento de voz
T4 Traducción por reglas
T5 Traducción estadística
T6 Generación de signos
T7 Evaluación prototipos
T8 Gestión/documentación
Tareas T0 T1 T2 T3 T4 T5 T6 T7 T8 T9 T10 T11
T1 Estudio Lingüístico
T2 Diseño Arquitectura
T3 Reconocimiento de voz
T4 Traducción por reglas
T5 Traducción estadística
T6 Generación de signos
T7 Evaluación prototipos
T8 Gestión/documentación
Real (12 meses)
11
ESTUDIO LINGÜÍSTICO
12
1 PASO ENTREVISTA CON FUNCIONARIO Y ESCENARIOS
Descripción de situaciones y escenarios

• Es necesario una entrevista con un funcionario
• Obtención de escenarios o posibles situaciones
  demandadas por los usuarios

13
2 PASO RECOPILACIÓN DE FRASES
el denei es obligatorio desde los catorce años
para solicitar por primera vez el denei necesitas dos fotos
si usted solicita por primera vez el denei debe llevar la partida de nacimiento
si usted tiene entre treinta y setenta años debe renovar el denei
las personas mayores de setenta años ya no tienen que renovar el denei
para hacerte las fotografías tienes que pagar cuatro euros
con tu denei puedes viajar a estos países
para alquilar un coche tienes que presentar el denei

• Varios funcionarios generan varias frases según
  los escenarios definidos
• Estimación entre 200 y 500 frases

14
3 PASO EXTENSIÓN DE FRASES FLEXIBILIDAD
el denei es obligatorio desde los catorce años
para solicitar por primera vez el denei necesitas dos fotos
si usted solicita por primera vez el denei debe llevar la partida de nacimiento
si usted tiene entre treinta y setenta años debe renovar el denei
las personas mayores de setenta años ya no tienen que renovar el denei
para hacerte las fotografías tienes que pagar cuatro euros
con tu denei puedes viajar a estos países
para alquilar un coche tienes que presentar el denei
Desde los catorce años el denei es
obligatorio Con más de catorce años te tienes que
sacar el denei Cuando tengas catorce años tienes
que disponer del denei

• Varias formas de expresar lo mismo para aumentar
  la flexibilidad del sistema
• Estimación entre 500 y 800 frases

15
4 PASO TRADUCCIÓN

• Se podría utilizar el Excel para etiquetar
• Sugerencia grabación de vídeos

Estos 4 pasos hay que repetirlos para cada uno de
los 2 servicios desarrollados
16
DISEÑO DE LA ARQUITECTURA
17
ARQUITECTURA
Requiere de un corpus paralelo de varios miles de
frases para entrenar los motores de traducción
18
ARQUITECTURA
Gran Experiencia Optimizado en múltiples
proyectos
19
RECONOCIMIENTO DE VOZ
20
RECONOCIMIENTO DE VOZ
VOZ
21
RECONOCIMIENTO DE VOZ
VOZ
Disponible
Ya hecho
22
Café
23
TRADUCCIÓN BASADA EN REGLAS
24
TRADUCCIÓN POR REGLAS

• Reglas codificadas en C colaboración de
  programador y experto en LSE.
• Necesidad de corpus
• Tipos de reglas
• Un concepto se traduce por un signo.
• Un concepto se traduce por varios signos.
• Varios conceptos se traducen por un signo.
• Varios conceptos se traducen por varios signos.
• El orden de las reglas es muy importante
• 128 reglas de traducción para DNIs
• EJEMPLO
• Texto el denei es obligatorio desde los
  catorce años
• Signos DNI OBLIGATORIO DESDE CATORCE EDAD

25
TRADUCCIÓN ESTADÍSTICA
26
TRADUCCIÓN ESTADÍSTICA
Generación de Modelos Traducción y Modelos de
Lenguaje
Signos
Texto
Texto el denei es obligatorio desde los catorce
años Signos DNI OBLIGATORIO DESDE CATORCE EDAD
Modelos de Traducción y Modelos de Lenguaje
Signos
Texto
Traducción
27
TRADUCCIÓN ESTADÍSTICA
Generación de Modelos Traducción y Modelos de
Lenguaje
Signos
Texto
Texto el denei es obligatorio desde los catorce
años Signos DNI OBLIGATORIO DESDE CATORCE EDAD
Modelos de Traducción y Modelos de Lenguaje
Signos
Texto
Traducción
28
GENERACIÓN DE LA BASE DE DATOS DE SIGNOS
29
LISTA DE SIGNOS A GENERAR
Muy fácil de generar con un programa sencillo.
Nosotros lo tenemos disponible y lo podemos
generar sin problemas
Lista de signos a generar
30
REPRESENTACIÓN DE LOS SIGNOS

• VGUIDO Agente animado del proyecto eSIGN
• http//www.sign-lang.uni-hamburg.de/eSIGN/
• Desarrollado en colaboración con la empresa
  VISICAST http//www.visicast.co.uk/.
• Libre para investigación

31
REPRESENTACIÓN DE LOS SIGNOS
Editor de SIGNOS
Genera un fichero SIGML (formato XML) para
representar cada SIGNO
Notación HamNoSys
32
REPRESENTACIÓN DE LOS SIGNOS
ltsigmlgt lthns_sign gloss"GLOSSOBLIGATORIO"gt
lthamnosys_nonmanualgt
lt/hamnosys_nonmanualgt lthamnosys_manualgt lth
ampinch12open/gt lthamextfingero/gt lthampalmul/gt lt
hamchest/gt lthamlrat/gt lthamarmextended/gt lthamseq
begin/gt lthammovedl/gt lthamsmallmod/gt lthamrepeatr
everse/gt lthamseqend/gt lthamrepeatfromstartseveral
/gt lt/hamnosys_manualgt
lt/hns_signgt lt/sigmlgt
33
INTRODUCCIÓN A HAMNOSYS
Demo de generación de un signo
34
EVALUACIÓN DE LOS PROTOTIPOS
35
EVALUACIÓN DE LOS PROTOTIPOS

• Evaluación subjetiva según una encuesta
• Inteligibilidad
• Velocidad
• Utilidad....

• Evaluación objetiva
• Tasa de reconocimiento
• Velocidad....
• Número de repeticiones

USUARIOS FINALES
36
DIVULGACIÓN DE RESULTADOS

• Página web con los resultados del proyecto.
• Publicaciones en revistas científicas y de
  divulgación
• Publicación en congresos especializados y
  jornadas o congresos de divulgación (Feria de
  Madrid,...)
• Medios de comunicación televisión, prensa,....

http//lorien.die.upm.es/lapiz/voz2lse/introducci
on.php
37
RUEGOS Y PREGUNTAS