LA ENSEÑANZA DE LA PRONUNCIACIÓN ASISTIDA POR ORDENADOR. Mario Carranza

Transcripción

1 LA ENSEÑANZA DE LA PRONUNCIACIÓN ASISTIDA POR ORDENADOR Mario Carranza

2 Índice 1. Herramientas (software) que incluyen práctica de la pronunciación asistida por ordenador 2. La enseñanza de la pronunciación en las apps para el aprendizaje de lenguas extranjeras 3. Tecnologías lingüísticas aplicadas a la corrección fonética y evaluación de la pronunciación: RAH 4. Corpus de habla no nativa para el desarrollo de tecnologías lingüísticas 5. Algoritmos para la evaluación automática de la pronunciación

3 Herramientas para la enseñanza de la pronunciación asistida por ordenador (Breve) historia de la enseñanza de lenguas asistida por ordenador (ELAO, CALL): Años 60 -> laboratorios de idiomas Años 70 -> incorporación de ordenadores en el aula Años 80 -> desarrollo de los primeros sistemas informáticos de uso personal Años 90 -> incorporación de tecnologías para la enseñanza y práctica de la pronunciación asistida por ordenador (EPAO, CAPT) Años 00 -> proliferación de cursos de lenguas en DVDs y en línea 2010~ -> teléfonos inteligentes, apps, comienzo de la enseñanza de lenguas mediante dispositivos móviles (MALL)

4 Herramientas para la enseñanza de la pronunciación asistida por ordenador Español interactivo (Adams, 1998)

5 Herramientas para la enseñanza de la pronunciación asistida por ordenador The Rythm of French (Renié, 1998)

6 Tipología de actividades Escucha y repetición Grabación y comparación Explicación explícita de los movimientos articulatorios para pronunciar el sonido Distinción de dos fonemas mediante pares mínimos Ayudas visuales Diálogo simulado

7 Explicación de los movimientos articulatorios Pronunciación y Fonética (Corsbie y Gore, 2002)

8 Distinción de fonemas mediante pares mínimos The Rythm of French (Renié, 1998)

9 Ayudas visuales: información articulatoria Los sonidos del español (Dispensa et al., 2001)

10 Ayudas visuales: Información acústica Tell Me More Spanish (Lafford, 2004)

11 Diálogo simulado DISCO (van Doremalen et al., 2014)

12 Enseñanza de lenguas a través de dispositivos móviles (MALL) Tipo de explicación n Explícita n No explícita Tipo de ejercicio n Repetición n Discriminación n identificación Tipo de evaluación n autoevaluado n No autoevaluado Feedback n Valoración global n Evaluación por palabras, sonidos

13 Ayudas visuales: articulatoria Pronunciation Power

14 Ayudas visuales: acústica Spanish Learner

15 Repetición de palabras o frases Duolingo

16 Discriminación de pares mínimos English File Pronunciation- Sounds

17 El reconocimiento automático del habla

18 Corrección/evaluación de la pronunciación mediante RAH Problemas para el reconocimiento de habla no nativa n Los modelos acústicos se han generado a partir de un entrenamiento con habla nativa n Los sistemas están entrenados para identificar palabras, no para evaluar la calidad de pronunciación n Aumento del WER (word error rate), PER (phoneerror rate) Necesidad de corpus de entrenamiento n Delimitar qué es un error de pronunciación n Obtener datos de errores más frecuentes y contextos de aparición n Reentrenar al sistema de RAH con habla no nativa

19 RAH adaptado para la evaluación del habla no nativa

20 Diseño de un corpus Corpus para RAH Objetivos Representatividad Aplicación Niveles de etiquetado Transcripción Otros: metadatos, etc.

21 Objetivos Analizar un fenómeno específico: p.e. La pronunciación de las vocales nasales del francés Analizar todos los fenómenos posibles relacionados con los errores de pronunciación segmental: sonidos específicos y coarticulación de sonidos Suprasegmental: prosódicos (acento, ritmo, entonación, estructura silábica, etc.) Obtener datos para entrenar un sistema de RAH

22 Representatividad Corpus longitudinal / corpus transversal Niveles de lengua de los estudiantes Sexo: hombres / mujeres Número de sujetos Procedencia lingüística de los sujetos Todos de la misma L1 ( dialecto?) Diferentes L1s Estilo del habla (tarea) Espontánea (conversación) No espontánea (lectura, repetición) Semiespontánea (presentación oral preparada con anterioridad)

23 Aplicaciones Análisis del proceso de adquisición del componente fónico (o sintáctico) de una L2 Entrenamiento de un sistema de reconocimiento automático de habla Detección automática de errores Otro tipo de tecnologías: identificación automática de la lengua mediante el acento extranjero, biométrica (identificación del hablante), etc.

24 Niveles de etiquetado Transcripción ortográfica Transcripción fonológica canónica Transcripción fonológica real Transcripción fonética amplia Transcripción fonética estrecha (fina) Etiquetado prosódico Vocalizaciones Etiquetado de errores de pronunciación Etiquetado de fenómenos extralingüísticos

25 Niveles de etiquetado Transcripción y etiquetado mediante Praat

26 Transcripción Es importante disminuir la variabilidad en la transcripción del corpus: Decidir qué criterios de transcripción se utilizarán entre todos los anotadores Cómo se transcribirán las vocalizaciones: n Interjecciones n Risas n Pausas llenas Utilizar estándares internacionales de etiquetado n XML n CHILDES

27 Procesamiento La transcripción debe estar alineada con la señal Posibilidad de obtener una transcripción fonológica automática si se cuenta con la ortográfica: EasyAlign Cálculo de frecuencia de errores, contexto. Establecer una tipología Errores por substitución de un fono Errores por inserción de un fono Errores por elisión de un fono

28 Generación del texto enriquecido con etiquetas XML

29 Incorporación de los resultados en el sistema conocimiento lingüístico Añadir un peso / penalty a errores específicos según la L1 del hablante Crear reglas para desarrollar automáticamente variantes de pronunciación Incorporar nuevas unidades no nativas al reconocedor Utilizar información lingüística para definir los umbrales de aceptación

30 Generación automática de variantes de pronunciación Generación de variantes de pronunciación de la palabra playa por un hablante de lengua japonesa, a partir de un algoritmo basado en reglas

31 Algoritmos para determinar la distancia fonética Algoritmos que calculan la distancia de la realización con el modelo acústico nativo del fono-meta: GOP (Goodness of Pronunciation) Witt & Young (2000) Algoritmos que establecen un diferente peso según la distancia lingüística (weighted phone confidence wpc) Van Doremalen et al. (2013) Algoritmos basados en árboles de decisión para clasificar las producciones correctas o incorrectas Goronzy (2002)

32 Referencias Adams, C. R. (1998). Review of Español Interactivo CALICO Software Reviews 11/98. Corsbie, C. y Gore, J. (2002). Review of Pronunciación y Fonética. CALICO Software Reviews 4/02. Dispensa, M., Waite, L., Siebert, D., Wickelhaus, L., Piñeros, C. E., y Moon, J. (2001). Fonética: Los sonidos del español. University of Iowa. Goronzy, S. (2002). Robust Adaptation to Non-Native Accents in Automatic Speech Recognition. Berlin: Springer. Llisterri, J. (2007). La enseñanza de la pronunciación asistida por ordenador. En Actas del XXIV Congreso Internacional de AESLA. Aprendizaje de lenguas, uso del lenguaje y modelación cognitiva: perspectivas aplicadas entre disciplinas. Madrid: Universidad Nacional de Educación a Distancia AESLA, pp Renié, D. (1998). Analyse de The Rythm of French. ALSIC, Apprentissage des Langues et Systémes d Information et Communication, 1(2), van Doremalen, J., Cucchiarini, C., & Strik, H. (2013). Automatic pronunciation error detection in nonnative speech: the case of vowel errors in Dutch. The Journal of the Acoustical Society of America, 134(2), doi: / Van Doremalen, J., Boves, L., Colpaert, J., Cucchiarini, C. y Strik, H. (2014). Evaluating automatic speech recognition-enabled language learning systems: a case study. Computer Assisted Language Learning, (enviado). Witt, S., and Young, S. (2000). Phone-level pronunciation scoring and assessment for interactive language learning, Speech Communication, 30,

33 Muchas gracias