FonetiToBI. Una herramienta para la anotación prosódica automática de corpus

Transcripción

1 FonetiToBI Una herramienta para la anotación prosódica automática de corpus Wendy Elvira-García y Juan María Garrido Almiñana Universitat de Barcelona Málaga, 23 junio 2017

2 Índice Introducción Descripción de la herramienta Estructura general Entrada Segmentación prosódica Anotación tonal Salida Evaluación Corpus Procedimiento Resultados Conclusiones

3 Introducción

4 Qué es FonetiToBI Herramienta para la anotación prosódica automática de habla en el marco del Modelo Métrico Autosegmental (AM) (Pierrehumbert, 1980). Primera herramienta que permite la anotación automática completa de los enunciados en el marco de las convenciones ToBI: Tonos Break Indices Diseñada para el español y el catalán Resultado de la integración de dos herramientas existentes previamente: SegProso (Garrido, 2013): herramienta para la anotación automática de unidades entonativas EtiToBI (Elvira-García et al.,, 2016): herramienta para la anotación de eventos tonales Ambas han sido desarrolladas implementando el conocimiento fonético y lingüístico necesario en forma de reglas.

5 Descripción de la herramienta

6 Estructura general Fichero TextGrid Fichero wav Transcripción fonética Transcripción ortográfica Onda sonora Entrada Segmentación prosódica Detección de sílabas Anotación de sílabas acentuadas Detección de Sintagmas Intermedios Detección de Grupos Entonativos Anotación tonal Extracción de la curva de F0 Clasificación de eventos tonales Clasificación de acentos nucleares Clasificación de tonos de frontera Estandarización de configuraciones nucleares Fichero TextGrid Marcas de anotación prosódica Transcripción tonal fonética Transcripción tonal fonológica Salida

7 Entrada Dos ficheros: Fichero wav con la onda sonora Fichero TextGrid de Praat con la transcripción ortográfica y fonética (con marcas de acento y pausas) del enunciado, alineada temporalmente con la señal de habla

8 Entrada Onda sonora, espectrograma, curva de f 0 y anotación correspondiente al enunciado del catalán Conestoico respeto a la justicia adyacente guardó sus flechas, pronunciado por un hablante masculino.

9 Segmentación prosódica Genera una capa de segmentación prosódica (Break Index Tier) que contiene las siguientes marcas ToBI de límites prosódicos: Grupo clítico (0) Palabra (1) Sintagma intermedio o frase intermedia (3) Grupo o frase entonativa (4)

10 Segmentación prosódica Cuatro etapas: Identificación de las sílabas tónicas Identificación de los grupos entonativos Identificación de los límites de sintagma intermedio Conversión de los límites detectados a etiquetas ToBI

11 Segmentación prosódica Detección de las sílabas tónicas Necesaria para: El etiquetado ToBI La identificación de los límites de palabra fonológica (etiqueta ToBI 1 ) Requiere llevar a cabo previamente una agrupación de los alófonos en sílabas, necesaria también para la anotación de los tonos

12 Segmentación prosódica Detección de las sílabas tónicas Punto de partida: segmentación en palabras y alófonos proporcionada en el TextGrid de entrada Fases: Localización de los límites de palabras Búsqueda de los alófonos que representan núcleos silábicos Búsqueda de los límites de sílaba para cada núcleo silábico detectado Asignación de las etiquetas de sílaba tónica a las sílabas que contienen un núcleo con marca de acento

13 Segmentación prosódica Detección de sintagmas intermedios Objetivo: Identificar los límites de unidades entonativas no marcados con una pausa, sino únicamente con un tono de frontera Implementación: Reglas orientadas a la detección en la curva de F0 de tonos de frontera a final de palabra presencia en la curva de f 0 de determinados movimientos ascendentes indicativos de un tono de frontera intermedia; y por otro, la presencia de reajustes de f 0, indicadores del inicio de una nueva unidad entonativa

14 Segmentación prosódica Detección de sintagmas intermedios Onda sonora, espectrograma, curva de f 0 y anotación correspondiente al enunciado del catalán Alt, fort, i amb expressió salvatge, pronunciado por un hablante femenino. El intervalo seleccionado fue marcado como ip por las reglas de identificación de tonos de frontera.

15 Segmentación prosódica Detección de sintagmas intermedios Onda sonora, espectrograma, curva de f 0 y anotación correspondiente al enunciado del español con estoico respeto a la justicia adyacente guardó sus flechas, pronunciado por un hablante masculino. El intervalo seleccionado fue marcado como ip por las reglas de reajuste de f 0

16 Segmentación prosódica Detección de grupos entonativos Objetivo: Anotar los límites de unidades prosódicas marcadas por un tono de límite y una pausa Procedimiento: Identificación de las pausas en la capa con la transcripción fonética de entrada

17 Segmentación prosódica Conversión de los límites detectados a etiquetas ToBI Objetivo: Convertir la salida clásica de SegProso a un tier con formato ToBI Procedimiento: Los diferentes tiers generados por SegProso se convierten en uno solo, que contiene las etiquetas ToBI correspondientes, y Se borran los tiers innecesarios

18 Anotación tonal Esquema del módulo Entrada (salida de módulo anterior) la segmentación silábica; las marcas de segmentación prosódica (Break Indices); las marcas de acento léxico. Extracción de la curva de F0 Extracción en dos pasos (Hirst, 2011) Clasificación de eventos tonales

19 Anotación tonal Clasificación de eventos tonales: parámetros para la clasificación Umbral psicoacústico 1,5st (Pamies et al., 2002) El script comprueba los movimientos tonales que pasan el umbral y coloca un tono en consecuencia. Alineación tonal, puntos del tiempo en que se mide F0: Alineación fija De 3 a 12 valores por sílaba (para inicio, centro, final de sílaba) Dianas tonales El punto máximo o mínimo de F0 en determinada sílaba

20 Anotación tonal Clasificación de acentos nucleares y tonos de frontera Pretónica: Valores inicial, central y final Tónica: Valores inicial, central y final. Postónicas: 6 valores En el caso de las palabras oxitonas hay 12 valores para la tónica.

21 Anotación tonal Clasificación de acentos prenucleares (APN) Diferencia entre centro pretónica, centro tónica y centro postónica Diferencia entre inicio y final de tónica Diferencia pico y valle (Dorta, 2014) L*+H L+H* (L+H*)+H L*+H L+H* L*+H / L+>H*

22 Anotación tonal Clasificación de acentos nucleares y tonos de frontera Pretónica Tónica Postónicas <1,5St >1,5St L* H%

23 Anotación tonal Clasificación de acentos nucleares y tonos de frontera Pretónica Tónica Postónicas L* H L%

24 Salida TextGrid con: Transcripción ToBI Segmentación prosódica Figura con el resultado (opcional)

25 Salida Onda sonora, espectrograma, curva de f 0 y anotación generado por FonetiToBI correspondiente al enunciado del español fue inyectado en el abdomen y en una pierna, pronunciado por un hablante femenino.

26 Evaluación Sección 3

27 Corpus 586 frases ( ) Palabras esdrújulas, llanas y agudas 8 clases de a. prenucleares 9 clases de a. nucleares 10 clases de tonos de frontera

28 Procedimiento Informantes: Sexo: femenino Procedencia: español Madrid y español de Cantabria Datos técnicos: Grabaciones: Marantz PDM60, SHURE SM58 Fuera de cabina Método Evaluación estadística de la coincidencia (inter-rater reliability) Kappa de Cohen

29 Resultados Tipo n % acuerdo kappa Cohen Evaluación APN % muy buena AN % muy buena TF % buena Coincidencia en porcentaje, valor kappa y valoración de la coincidencia entre la transcripción de FonetiToBI y la del transcriptor humano del corpus del español hablante femenino.

30 Resultados Tipo n % acuerdo kappa Cohen Evaluación AN 1 85,71% buena 2 85,71% buena 3 82,65% buena 4 78,79% buena TF 1 92,86% muy buena 2 92,86% muy buena 3 93,88% muy buena 4 90,82% buena Coincidencia en porcentaje, valor kappa y valoración de la coincidencia entre la transcripción de FonetiToBI y la de los transcriptores humanos del corpus del catalán

31 Resultados Análisis de errores H* L% H+L* L% L* H% L+H* L% L+ H* L% L* HL% L+H* L!H%L+H* LH% L* L% H* L% H+L* L% L* H% L+H* L% L+ H* L% L* HL% L+H* L!H% 0 3 L+H* LH% L* L%

32 Resultados Análisis de errores L+H*L% L+ H*L% (20 casos + 20 casos) L+H* L% > H* L% H* L% H+L* L% L* H% L+H* L% L+ H* L% L* HL% L+H* L!H%L+H* LH% L* L% H* L% H+L* L% L* H% L+H* L% L+ H* L% L* HL% L+H* L!H% 0 3 L+H* LH% L* L%

33 Conclusiones FonetiToBI es capaz de anotar prosódicamente enunciados simples en español y catalán con un nivel de precisión aceptable, similar al de los etiquetadores humanos Puede aplicarse con garantías al etiquetado automático de grandes corpus, y con un considerable ahorro en el tiempo de etiquetado

34 Conclusiones FonetiToBI ofrece dos niveles diferentes de anotación tonal: transcripción fonética estrecha, más basada en la forma acústica de la curva de f 0, con un inventario de marcas tonales más rico (es decir, más fonético); transcripción fonética ancha, con un inventario de símbolos más reducido y más cercano a las convenciones establecidas en Cat_ToBI y Sp_ToBI, que pretenden recoger solo los eventos tonales contrastivos (fonológicos)

35 Conclusiones Permite utilizar como entrada la salida de una segmentador fonético automático, como SPPAS (Bigi, 2012) Herramienta de libre distribución, disponible bajo licencia GNU de manera gratuita en: arch/resources/tools/fonetitobi

36 Posibles mejoras Desarrollo de una versión del programa que requiera como entrada solo un fichero.wav y su transcripción ortográfica. Integración de un segmentador automático con la versión actual de FonetiToBI

37 gracias por su atención

38 [ˈgɾaθjas L+H* po ɾ sw at en ˈθjo n] L+H* L%

39 Bibliografía * Bigi, B. (2012). SPPAS: a tool for the phonetic segmentations of speech, The eight international conference on Language Resources and Evaluation, Istanbul (Turkey), pp Consultado el 24 de noviembre de * Blum-Kulka, S. (1982). Learning to Say What You Mean in a Second Language: A Study of the Speech Act Performance of Learners of Hebrew as a Second Language. Applied Linguistics, 3(1), pp * Boersma, P. (1993). Acurate short-term analysis of the fundamental frequency and the harmonics-to-noise ratio of a sampled sound. En IFA Proceedings 17 pp * Boersma, P. (2001). Praat, a system for doing phonetics by computer. Glot International, 5, pp * /speakunspeakpraat_glot2001.pdf. Consultado el 24 de noviembre de * Borràs-Comes, J., Vanrell, M. del M., Prieto, P. (2014). The role of pitch range in establishing intonational contrasts. Journal of the International Phonetic Association, 44, * Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), * De Looze, C. (2010). Analyse et interprétation de l empan temporel des variations prosodiques en français et en anglais (tesis doctoral, Aix-en-Provence: Université Aix-en-Provence. * Elvira-García, W., Roseano, P, y Fernández, A. M. (2015). Una herramienta para la transcripción prosódica automática con etiquetas Sp_ToBI en Praat, En A. Cabedo Nebot (ed.) Perspectivas actuales en el análisis fónico del habla: tradición y avances en la fonética experimental, València, Universitat de València, * Elvira-García, W., Roseano, P. y Fernández Planas, A. M. y Martínez Celdrán E. (2016). A tool for automatic transcription of intonation: Eti-ToBI a ToBI transcriber for Spanish and Catalan. Language Resources and Evaluation, 50(4), pp DOI: /s * Garrido, J. M. (2010). A tool for automatic F0 stylisation, annotation and modelling of large corpora. Speech Prosody 2010, Chicago, May Disponible en Consultado el 24 de noviembre de * Garrido, J. M. (2013). SegProso: A Praat-Based tool for the Automatic Detection and Annotation of Prosodic Boundaries, Proceedings of TRASP 2013, pp Disponible en Consultado el 29 de noviembre de 2016 * Goldman, J.-Ph. (2011). EasyAlign: an automatic phonetic alignment tool under Praat. Proceedings of InterSpeech, September 2011, Firenze, Italy. * Hirst, D. (2011). The analysis by synthesis of speech melody: from data to models. Journal of Speech Sciences, 1(1), pp * Hirst, D. y Espesser, R. (1993). Automatic modelling of fundamental frequency using a quadratic spline function. Travaux de l'institut de Phonétique d'aix, 15, pp * International Phonetic Association (en línea). The International Phonetic Alphabet and the IPA Chart. Disponible en * /content/ipa-chart. Consultado el 24 de noviembre de * Martínez Celdrán, E., Fernández Planas, A.M., (2003). Taxonomía de las estructuras entonativas de las modalidades declarativa e interrogativa del español estándar peninsular estándar según

40 * el modelo AM en habla de laboratorio, en: Herrera, E., Martín, P. (Eds.), La Tonía: Dimensiones Fonéticas Y Fonológicas. El Colegio de México, México D.F., pp * Noteboom, S. (1997) The prosody of Speech: Melody and Rhytm, en Ed. J. Hardcastle y J. Laver (eds.) The Handbook of Phonetic Sciences, Oxford: Blackwell, pp * Pamies, A., Fernández Planas, A. M., Martínez Celdrán, E., Ortega-Escandell, A., Amorós Cespedes, M.C., (2002). Umbrales tonales en español peninsular. En: J. Díaz García (ed.). Actas Del II Congreso de Fonética Experimental, pp * Pierrehumbert, J. (1980). The phonology and phonetics of English intonation (tesis doctoral). Bloomington: Indiana University Linguistics Club. * Prieto, P., Cabré, T. (2013). L entonació dels dialectes catalans. Rubí: Publicacions de l Abadia de Montserrat. * Hualde, J. I., y Prieto, P. (2015). Intonational variation in Spanish: European and American varieties. En: S. Frota y P. Prieto (eds). Intonational variation in Romance. Oxford: Oxford University Press, pp * Hualde, J. I., y Prieto, P. (2016). Towards an International Prosodic Alphabet (IPrA). Laboratory Phonology: Journal of the Association for Laboratory Phonology, 7(1), 5. * DOI: * Prieto, P., Roseano, P. (Eds.), Transcription of Intonation of the Spanish Language. München: Lincom Europa. * Roseano, P., Fernández Planas, A.M. (2013). Transcripció fonètica i fonològica de l entonació: una proposta d etiquetatge automàtic. Estudios de Fonética Experimental. XXII, pp * Rosenberg, A. (2010). AuToBI - A tool for automatic ToBI annotation. Proceedings of Interspeech 2010, pp * Schiel. F. (1999). Automatic Phonetic Transcription of Non-Prompted Speech, Proceedings of the ICPhS San Francisco, August 1999, pp * Silva, C. y Garrido, J. M. (en prensa). Validación perceptiva de dos procedimientos de representación de la melodía aplicados al español, al portugués brasileño y al español como lengua extranjera. Onomázein, 34 (2). * Vizcaíno Ortega, F., Cabrera Abreu, M., Dorta, J., y Hernández Díaz, B. (2007). La entonación de enunciados declarativos e interrogativos absolutos de Lanzarote., in: Dorta, J. (ed.), La Prosodia en el ámbito lingüístico románico. Santa Cruz de Tenerife: La Página, pp * Wells, J. (1995). Computer-coding the IPA: a proposed extension of SAMPA. University College London. Disponible en * /ipasam-x.pdf. Consultado el 24 de noviemre de 2016.