DESARROLLO DE UN SISTEMA AVANZADO DE AYUDA A LA COMUNICACIÓN ORAL PARA PERSONAS SORDAS

Transcripción

1 DESARROLLO DE UN SISTEMA AVANZADO DE AYUDA A LA COMUNICACIÓN ORAL PARA PERSONAS SORDAS UNIVERSIDAD POLITÉCNICA DE MADRID DEPARTAMENTO DE INGENIERÍA ELECTRÓNICA GRUPO DE TECNOLOGÍA DEL HABLA AUTORA: Raquel Martín Maganto TUTOR: Rubén San Segundo Hernández

2 ÍNDICE Objetivos Estado del Arte Editor de signos Sistema de traducción de Lengua de Signos Española (LSE) a voz en castellano Sistema de traducción de voz en castellano a LSE Evaluación de nuevas estrategias de traducción de voz en castellano a LSE basada en ejemplos Conclusiones y líneas futuras Marco del proyecto y difusión Demos 2

3 OBJETIVOS Desarrollo de un sistema software avanzado que facilite la comunicación bidireccional, y en tiempo real, entre las personas sordas y oyentes en un ámbito de aplicación concreto: un servicio de atención personal de la Administración Pública Dominios de aplicación: solicitud y renovación del DNI y carné de conducir Nuevas estrategias de traducción castellano-lse basada en ejemplos 3

4 ÍNDICE Objetivos Estado del Arte Editor de signos Sistema de traducción de LSE a voz en castellano Sistema de traducción de voz en castellano a LSE Evaluación de nuevas estrategias de traducción de voz en castellano a LSE basada en ejemplos Conclusiones y líneas futuras Marco del proyecto y difusión Demos 4

5 ESTADO DEL ARTE SISTEMAS DE TRADUCCIÓN BIDIRECCIONAL QUE INCLUYEN LS Productos comerciales (emplean vídeos): Paquetes de la compañía Aramedia $ Signtel Interpreter Voice Recognition de Signtel Inc. >5000$ icommunicator : en educación, instituciones gubernamentales y lugares públicos de EEUU y Canadá. >250mil palabras en inglés y 9mil vídeos en ASL $ Proyectos de investigación (agente animado 3D): HandTalkerII: Reconocimiento y síntesis de la LS China y oral. No traducción 750 frases, 5113 signos VANESSA: Comunicación con empleados del ayuntamiento Interfaz básica: entrada en modo texto o selección de frases frecuentes 100 frases. Fácilmente ampliable y extensible 5

7 EDITOR DE SIGNOS: Codificación Creación de la base de datos de signos generando el código SiGML para los avatares disponibles (esign): Sistemas de signo-escritura para definir el signo: VGuido Visia ARPman SEA (Sistema de Escritura Alfabética): diccionario normativo. Ej: s ymòazy-faho: cualquiera HamNoSys (Notación de la Univ.de Hamburgo): Equivalente a SiGML. Ej: persona SiGML (Signing Gesture Markup Language): basado en XML Posibilidad de especificar gestos no manuales: de cara, cabeza y cuerpo Cuadro de estado con los movimientos insertados 7

8 EDITOR DE SIGNOS: Animaciones Crear animaciones de los signos en formato GIF Captura de las imágenes (en formato bitmap): o pulsando la tecla de espacio Generación del GIF: Especificación de nombre y ubicación Creación del GIF: concatenación de las imágenes por procesamiento por lotes con el software MakeGIF1.6 (permite definir parámetros: tamaño, fondo, velocidad de transición entre imágenes, etc) Visualización automática del GIF generado 8

10 SISTEMA DE TRADUCCIÓN LSE-VOZ EN CASTELLANO Solución ideal: Reconocimiento automático de vídeo (no disponible) Alternativa: aplicación basada en signo-escritura (glosas) con gran componente visual (mayor facilidad) Arquitectura del sistema: Dominio: solicitud y renovación del DNI y del permiso de conducir 10

11 SISTEMA DE TRADUCCIÓN LSE-VOZ EN CASTELLANO: Interfaz y Utilidades (I) Interfaz sencilla, se potencia la componente visual Búsqueda, borrado, deletreo, listado de glosas por inicial y sugerencia de signo siguiente Inserción de fecha y hora Avatar VGuido para signar Presentación de la secuencia de glosas seleccionada y de la frase traducida (castellano) Sintetizador de voz Inserción de la frase en lenguaje SMS Lenguaje cada vez más extendido Conversión SMS castellano voz 11

12 SISTEMA DE TRADUCCIÓN LSE-VOZ EN CASTELLANO: Utilidades (II) Frases frecuentes: Saludos, afirmaciones, negaciones, fórmulas de cortesía Mostradas alfabéticamente como secuencia de glosas y con animaciones sobre botones Se animan al pasar el ratón sobre los botones Generación automática de animaciones en formato GIF Proceso: captura imagen original Si no hay código SiGML deletrea el signo va reproduciendo la secuencia y generando los bitmaps crea el GIF inclusión como frase habitual 12

13 SISTEMA DE TRADUCCIÓN LSE-VOZ EN CASTELLANO: Módulo de Traducción GLOSAS-CASTELLANO: Combinación de estrategias Sistema de decisión basado en umbrales: prioridad: ejemplos reglas estadística SMS CASTELLANO: Traducción estadística basada en subfrases 13

15 SISTEMA DE TRADUCCIÓN VOZ EN CASTELLANO-LSE Arquitectura básica: Módulo de traducción: análogo a la conversión glosas-castellano. Sólo traducción basada en ejemplos y estadística por FSTs Dominio: solicitud y renovación del DNI y del permiso de conducir 15

16 SISTEMA DE TRADUCCIÓN VOZ EN CASTELLANO-LSE: Interfaz usuario y utilidades UTILIDADES: Calibración nivel de ruido Indicador de confianza Modos de funcionamiento: RAH-traducción-signado Texto-traducción-signado Presentación escrita de la: frase introducida secuencia de glosas traducida Uso a ciegas y realimentación (por voz) para la persona oyente INTERFAZ: gran espacio para el avatar VGuido (del proyecto esign) 16

18 TRADUCCIÓN BASADA EN EJEMPLOS: Concepto Determinación del ejemplo en la lengua origen más parecido de los contenidos en un corpus bilingüe en base a una distancia Distancia de Levenshtein o Edición: métrica para la analogía entre frases: nº mínimo de operaciones (inserción, borrado, sustitución) para transformar una frase en otra Algoritmo Wagner-Fisher Salida: la traducción del ejemplo más parecido Corpus bilingüe: frases en lengua origen y destino alineadas. Fuerte dependencia extensos Categorización: sustitución de las palabras conceptualmente análogas por etiquetas. Ej: Enero, febrero, etc $MES 18

19 TRADUCCIÓN BASADA EN EJEMPLOS: Nuevas estrategias NUEVAS ESTRATEGIAS PARA MEJORAR LA DISTANCIA: Se basan en incorporar información procedente de: Traducción estadística: vectores de probabilidades de traducción de las palabras por signos concretos Ej: Palabra renovar Signos: RENOVAR (0,94), NULL (0,04), DNI (0,02) Reconocimiento automático de habla: fiabilidad del proceso (confianza) 19

20 TRADUCCIÓN BASADA EN EJEMPLOS: Evaluación 1425 frases pronunciadas por 3 locutores: 475 ejemplos corpus DNI x 3 Tasas (WER) de RAH (dos configuraciones): 13,34% y 7,77% MÉTRICAS DE EVALUACIÓN SER (Sign Error Rate): tasa de error de signos SER(%) Borrados Inserciones L(ref) Sustituciones BLEU: precisión en n-gramas entre la traducción del sistema y la referencia. Correlación con evaluación subjetiva NIST: Similar a BLEU pero con media aritmética y precisión de un único n-grama BANDAS DE FIABILIDAD de resultados, con 95% de nivel de confianza 20

21 TRADUCCIÓN BASADA EN EJEMPLOS: Resultados. Análisis Mejoras estadísticamente significativas con información de traducción en la distancia para WER de RAH baja Causas de error: Errores en RAH incorregibles en traducción (lunes vs martes) Solución: Mejorar el RAH Coge el primer ejemplo de menor distancia, no el mejor Solución: otros algoritmos Imprecisión de los datos utilizados Solución: evaluar con datos mejorados. Ej. entrenar los sistemas estadísticos con frases reconocidas en lugar de correctas Mantener las categorías basura dota de coincidencias no reales Solución: minimizar su uso Eliminarlas deja frases no significativas para comparar Solución: quitar las de palabras no relevantes, ej: el, son,... Errores de la evaluación objetiva que no impedirían una perfecta comprensión. Ej: gorra por gorro, foto-fotos,... 21

23 CONCLUSIONES Editor de signos, sistema de traducción de voz a LSE y de LSE a voz Interfaz: importante componente visual, imágenes, GIFs, Funcionalidades: generación animaciones, lenguaje SMS, Traducción: combinaciones de estrategias Dominios de aplicación: DNI y DGT Experimentación estrategias de traducción basada en ejemplos Mejor SER al incorporar información de traducción estadística en la distancia (sólo para WER de RAH bajas) SER = 2,57 % Resultados formativos: Técnicas de programación (C, aplicaciones Windows,...), software para crear animaciones, estrategias de traducción,... 23

24 LÍNEAS FUTURAS Nueva evaluación por parte de usuarios finales: personas sordas y funcionarios Adaptación a otros dominios de aplicación Nuevas formas de generar animaciones. Ej: por temporización Ajuste de las confianzas de traducción. Ej: ponderar con la distancia o las tasas Evaluación de: Nuevos costes de inserción y corrección que incluyan información de traducción o RAH Nuevas estrategias de traducción y sus combinaciones y, mejora de las mismas en ambos sentidos: LSE-voz y voz-lse. 24