Proyecto Fin de Carrera

Transcripción

1 Proyecto Fin de Carrera SISTEMAS DE ACCESIBILIDAD AL CINE Y A LA EDUCACIÓN PARA PERSONAS CON DISCAPACIDAD AUDITIVA Autor: Javier Jiménez Dorado Tutor: José M. Sánchez Pena jjdorado@cesya.es Ingeniería de Telecomunicación Escuela Politécnica Superior Departamento Tecnología Electrónica Universidad Carlos III de Madrid

2 Indice Introducción Estado del Arte Objetivos Descripción de los Trabajos Realizados Cine Educación Pruebas y Resultados Conclusiones Trabajos Futuros Unidades Promotoras de la Investigación 2

3 Introducción El Proyecto Continuación trabajos de otros miembros del equipo de investigación: GDAF CESyA Dos ayudas técnicas para Discapacidad Auditiva: Sistema Subtitulado Cerrado para la Accesibilidad en el Cine. Sistema Subtitulado en Directo para la Accesibilidad en la Educación. 3

4 Introducción La Sordera Grupo heterogéneo Datos: España: 1 millón personas (1,7%) Europa: 42.7 millones Mundo: 700 millones (año 2015) Cambios Intergeneracionales 90% Lengua Oral vs 7% Lengua Signos Implantes cocleares (40% población infantil con sordera profunda es candidata) 4

5 Introducción La Accesibilidad Accesibilidad = Presupuesto de vida normalizada Ley 51/2003 de Igualdad de Oportunidades, No Discriminación y Accesibilidad Universal de las Personas con Discapacidad. Accesibilidad Universal: Los bienes, servicios, productos, procesos, entornos, objetos, instrumentos, herramientas y dispositivos han de ser comprensibles, utilizados y practicables por todas las personas de forma segura, cómoda y autónoma. Diseño para Todos: Para cualquier actividad que el ser humano conciba, debe proyectarse desde su origen cualquier servicio, entorno, proceso, herramienta, bien, producto, instrumento, dispositivo, herramienta u objeto para que pueda ser utilizado por todas las personas. 5

6 Estado del Arte - Cine Subtitulado Cerrado: Sólo aquellas personas que necesitan los subtítulos lo visualizan. El resto de personas no se ven afectadas por ellos. Rear Window (Ventana Trasera) Centro Nacional para el Acceso a los Medios de EEUU (NCAM) Una pantalla LEDs y reflectores transparentes Ventaja: Sistema barato Desventaja: No es estrictamente cerrado Dependiente del lugar de la sala 6

7 Estado del Arte - Educación Ayudas Técnicas: (Informe CNICE) Individuales Audífonos e implantes cocleares Sistemas de FM e inducción magnética Sistemas Vibrotáctiles Colectivas Equipos de reeducación auditiva (logopedia) Material informático y nuevas tecnologías Material audiovisual (recursos educativos accesibles) Sistemas de reconocimiento de voz 7

8 Estado del Arte - Educación ViaScribe Motor de reconocimiento IBM Proyecto desde 1999: Liberated Learning Transcripción en forma continua (no subtítulos) Almacenamiento de audio, transcripción y vídeo con trasparencias. Ventaja: Rapidez Edición a posteriori y en tiempo real Dispositivos individuales Sistema multilocutor Muchos idiomas (Chino Mandarín, Japonés, ) Desventaja: WER (Word Error Rates) alta. 8

9 Objetivos - Cine Sistema de Accesibilidad en el Cine Soporte para varios idiomas Modificaciones software módulo-receptor Modificaciones software de control Nueva interfaz de usuario con reproductor vídeo Soporte para distintos formatos subtitulado Sincronización entre subtitulado y película Modificaciones software de control Diseño e implementación de un nuevo circuito para el módulo-receptor 9

10 Objetivos - Educación Sistema de Accesibilidad en la Educación Soporte para nuevos módulos-receptores Modificaciones software de control Diseño e implementación de software para PC Diseño e implementación de software para PDA Modificaciones del software del circuito del anterior módulo receptor Nueva interfaz de usuario para software de control Almacenamiento de texto y audio Sintetizador de voz integrado Opción de visualizar subtítulos en abierto compatible con trasparencias PowerPoint Diseño e implementación de un nuevo circuito para el módulo-receptor 10

11 Descripción - Cine 11

12 Descripción Cine Servidor Estación Base: LabVIEW 8.5 Carga de fichero de película (opcional) Carga y procesado de ficheros de subtitulado Sincronización subtítulos con tiempo película Protocolo de comunicación Preparación subtítulo Envío subtítulos Monitorización subtítulo 12

13 Descripción Cine Cliente Radiomodem Modelo EasyRadio ER400TRS Microcontrolador Modelo C8051-F330 Daughter Card ToolStick Tarjeta de vídeo Modelo BOB-4 Decadenet versión Hookup 13

14 Descripción Cine Cliente Visor Requisitos Visión Individualizada Tecnología See-through Flexible Compatibilidad con problemas de visión Distancia focal ajustable Formato de letra variable Portátil y alta autonomía Interfaz compatible con vídeo compuesto Económico Último modelo adquirido AmberCrystal de MyVu Calidad VGA resolución 640x480 Color 24 bits Batería hasta 4 horas 14

15 Descripción Educación 15

16 Descripción Educación Servidor (i) Servidor 16

17 Descripción Educación Servidor (ii) Reconocimiento de voz Dragon Naturally Speaking 9.0 Programa creado con el kit de desarrollo (Visual C++) Conexión TCP con programa central Entrenamiento necesario: Lectura de textos predeterminados Edición del vocabulario específico de la materia o temática Prueba y corrección manual de errores Procedimiento Ejecutar manualmente Abrir usuario/a Encender micrófono 17

18 Descripción Educación Servidor (iii) Sintetizador de voz Speech API 5.0 de Microsoft Aplicación creadas con librerías de LabVIEW Comunicación ActiveX con programa central 18

19 Descripción Educación Servidor (iv) Programa Central Realizado con LabVIEW 8.5 para Windows (XP y vista) Recursos educativos: Fichero de audio (WAV) Fichero de texto (XML) Transformable a cualquier fichero (ej. HTML) Comunicación Radio Bluetooth: PDA Cualquier dispositivo compatible con drivers de Microsoft (plug and play) Radio 433MHz: Ordenador portátil Circuito microcontrolado EasyRadio 19

20 Descripción Educación Servidor (v) 20

21 Descripción Educación Clientes (i) Clientes 21

22 Descripción Educación Clientes (ii) Ordenador Portátil Windows XP y Vista Solicita información de la clase Almacenamiento de fichero de texto (XML) Comunicación Radiomodem Personalización de subtítulos: Control de color (profesor/a y estudiantes) Control de transparencia y posición de ventana Botón aviso a profesor/a (campanilla) Botón envío de preguntas 22

23 Descripción Educación Clientes (iii) PDA Windows Mobile 6, Pocket PC y Palm OS Identificación de estudiante Solicita información de la clase Interfaz amigable para conexión Bluetooth Compatibilidad con teclado externo bluetooth 23

24 Descripción Educación Clientes (iv) Circuito Microcontrolado y Gafas Microcontrolador AT89S52 de ATMEL Unidad Central Editor de textos Controlador de teclado Protocolo PS/2 Interrupción externa (reloj del teclado) Multiplexor Puerto serie salida entre Tarjeta de vídeo y Radiomodem Tarjeta de vídeo Radiomodem Teclado Protocolo PS/2 Comparador Nivel de batería 24

25 Pruebas y resultados Cine Resultados Sincronismo Enlace Radio Robustez: > 50 metros Caracteres no ASCII Tiempo entre subtítulos Duración subtítulo Longitud líneas Idiomas Formato subtítulos 25

26 Pruebas y resultados Educación Pruebas Laboratorio Funcionamiento completo Partes críticas: Longitud de subtítulos o Envío/recepción o Normativa Reconocimiento de voz o Retardo o Tasa de acierto Enlace Bluetooth o Distancia máxima o Gestión de conexiones o Situaciones de carrera entre clientes 26

27 Pruebas y resultados Educación Pruebas Colegio Tres Olivos (nivel de integración/adaptación) Niña de 10 años con muy poca audición (bajo) Niño de 13 años con poca tradición inclusiva (bajo) Dos niñas y un niño de 12 años con buena audición y tradición inclusiva (alto) Niña de 14 años con buena audición y tradición inclusiva (alto) Resultados Colegio Tres Olivos Estudiantes sordos: Los alumnos y alumnas con habilidades orales valoraban el sistema aunque no lo necesitaban La alumna con sordera profunda se mostró encantada con la síntesis de voz El resto de estudiantes: Aceptan el uso pero algunos lo ven como inconveniente para la integración No hay uniformidad de opinión acerca del uso de la voz sintética frente a la comunicación oral Es necesario hacer más pruebas y entrenar mejor el reconocedor de voz 27

28 Conclusiones (i) Se ha conseguido implementar unos prototipos con amplias funcionalidades Se han realizado las primeras pruebas con usuarios/as finales (sistemas de educación) Los productos están muy cerca de terminarse o, al menos, se encuentran en una etapa muy avanzada de su desarrollo Todavía quedan varios aspectos que mejorar y/o probar Los sistemas son de gran interés público y social 28

29 Conclusiones (ii) Ambos sistemas han sido presentados en ferias y congresos, nacionales e internacionales. Congresos ICCHP 08 AMADIS 08 XIV World Federation of the Deaf Ferias AVANTE 08 Salón Investigación e Innovación Paris 2007 Feria Realidad Virtual, Ocio Electrónico y Discapacidad 2007 Madrid es Ciencia 07 Premios 3º Invento del año 2007 en entretenimiento según la revista Time Finalista en los premios Access It Awards

30 Trabajos Futuros Visor (Gafas) Enfoque ajustable See-Through Cine Ampliar más caracteres no ASCII (memorias externas) Enlace radio (limitación 128 bytes). Otro tipo de enlaces. Interferencias entre salas de cine adyacentes Sincronismo automático con reproductores de cine comerciales Ampliar el conjunto de formatos de subtitulado soportados Incorporar colores de personajes, subtítulos de información contextual. Utilizar subtítulos enriquecidos. Realizar pruebas con usuarios finales Educación Probar con otros reconocedores como ViaVoice. Trabajar con el fichero XML y WAV para hacer recursos educativos accesibles Adaptar el sistema con bucles de inducción y sistemas FM Crear un reconocedor de voz gratuito con signos de puntuación. Realizar mas pruebas con usuarios finales 30

31 Proyecto APEINTA (i) APEINTA: Apuesta Por la Enseñanza Inclusiva. Uso de Nuevas Tecnologías dentro y fuera del Aula Objetivo: Apostar por una enseñanza inclusiva de integración e igualdad en la universidad, dentro y fuera del aula: AccessibleDigital Resourcesin an AccessibleWeb Platform Dentro del aula: Sistema de accesibilidad a la educación para personas con discapacidad auditiva, intelectual y con distinta lengua materna. Basados en ASR y TTS. Fuera del aula: Aplicación web accesible facilitando el acceso a los materiales de estudio y contenidos curriculares a todos los estudiantes, con independencia de sus características de acceso y habilidades. Contenidos en diversos formatos para proporcionar acceso de acuerdo a las preferencias de los estudiantes de manera inclusiva. 31 captions Classroom sound On-line Captioning Hearing Impaired captions Student questions/comments in digital format Synthetic sound Synthetic Speaking IN THE CLASSROOM Studentsof all abilities Student with speaking problems OUT OF THE CLASSROOM

32 Proyecto APEINTA (ii) Dentro del aula: Mejora de la Interfaz Distintos modos de visualización de la transcripción: Subtitulado Texto plano Compatibilidad con distintos ASR: ViaVoice y Dragon NaturallySpeaking. 32

33 Proyecto APEINTA (iii) Fuera del aula: Aplicación web accesible Distintos formatos 33

34 Proyecto APEINTA (iv) 34

35 Unidades Promotoras Universidad Carlos III de Madrid Grupo de Displays y Aplicaciones Fotónicas (GDAF) Centro Español de Subtitulado y Audiodescripción (CESyA) 35

36 Contacto Javier Jiménez Dorado Universidad Carlos III de Madrid Centro Español de Subtitulado y Audiodescripción (CESyA) Parque Científico Leganés Tecnológico Universidad Carlos III de Madrid Avda. Gregorio Peces Barbas Leganés, Madrid Tel info@cesya.es 36