Silabeo Automático para la Generación de Vi-Silabas en Español

Proceedings of the 17th International Congress on Computer Science Research CIICC 11 October 26-28, 2011, Morelia, Mexico Silabeo Automático para la Generación de Vi-Silabas en Español José Antonio Radilla-Ávila, María Lucila Morales-Rodríguez, Arturo Hernández- Ramírez, J.Apolinar Ramírez-Saldivar, Juan J. González-Barbosa y Héctor J. Fraire-Huacuja Instituto Tecnológico de Cd. Madero (México) {radilla_21, jjgonzalezbarbosa} @hotmail.com, lmoralesrdz@gmail.com, {ahr, hfraire}@prodigy.net.mx, apolinar_r@yahoo.com Resumen Este trabajo presenta una propuesta para la creación de vi-sílabas de frases escritas en el idioma español con el fin de aumentar la credibilidad de la sincronización labial en personajes virtuales. Lo que se busca es asociar un solo visema a una silaba (vi-silaba) a través de un proceso de transcripción fonológica y de silabeo aplicando reglas lingüísticas. Palabras clave: Personaje Virtual, Visemas, Vi-silabas, Sincronización labial, Trascripción Fonológica, Silabeo. 1. Introducción Uno de los campos de investigación más activo en el modelado y animación de mundos virtuales, es la animación facial de modelos humanoides e imaginarios que habitan éstos mundos, los cuales pueden ser desarrollados en 2D y 3D. Nuestro trabajo se interesa en aumentar la credibilidad de la sincronización labial en personajes virtuales, presentando una propuesta para la creación de vi-sílabas de frases escritas en el idioma español aplicando fundamentos lingüísticos para seleccionar un sólo visema y asociarlo a una silaba (vi-silaba). Con la creación de vi-silabas, se permitirá obtener mayor credibilidad al momento de representar la sincronización de labios, eligiendo sólo los visemas más representativos de una silaba para así reducir los movimientos labiales. Esta reducción permitirá crear una sincronización labial más creíble, dado que un visema es la reproducción visual de los fonemas, y que una silaba esta compuesta de dos ó más fonemas. El objetivo general de nuestra propuesta es crear personajes virtuales más creíbles a través de la selección de visemas acordes a la prosodia y fonética de la articulación de frases emitidas en el idioma español. Para realizarlo se plantearon los siguientes objetivos específicos: Obtener Trascripción fonética y Fonológica de una frase. Automatizar el proceso de silabas emitidas en el idioma español. 79

Creación de un corpus de visemas y de vi-silabas. Sincronizar la expresión facial de un personaje virtual con la expresión oral resultado de un acto locutorio en el idioma español. 2. Marco Conceptual En esta sección se presentan las tres temáticas principales involucradas en nuestro tema de investigación: la animación de personajes virtuales, la sincronización labial y los fundamentos de lingüística. 2.1 Animación de Personajes Virtuales Un personaje virtual es un actor animado representado por medio de una computadora que coexiste dentro de un universo virtual que podría interactuar con el usuario [1]. La principal finalidad del personaje virtual es crear una sensación de inmersión asociada a la experiencia emocional y social dentro del entorno virtual. La animación es un proceso utilizado para dar la sensación de movimiento a imágenes o dibujos. En nuestro trabajo se busca la sincronización labial, es decir animar los labios para que acompañen a la articulación de las frases emitidas en el idioma español. 2.2 Sincronización labial Se define sincronización labial como los movimientos emitidos por los labios cuando se elige el visema adecuado en relación con una voz humana artificial ó un archivo de audio [2]. Según Keith Lango [3], la tendencia para la generación de sincronización labial es la siguiente: Construir visemas para los sonidos (fonemas), por ejemplo la M, E, S, etc. algunos van más allá y hacen representaciones para sonidos como la H. Escuchar la pista de audio o la grabación de voz. Para cada sonido que escuchan, se da al sonido una representación de una imagen cercana o igual al 100%. Realizar una representación (render) de la animación de sincronización labial. Se conoce como visemas a los movimientos de labios en donde la boca asume una posición cuando se produce un determinado fonema [4], por lo que un visema es la representación visual de un fonema (ver sección 2.3). El problema de seguir esta tendencia, es ser demasiado literal en la animación del habla de un personaje, intentando animar cada una de las letras que componen las palabras, en vez de solamente acentuar los sonidos (fonemas y alófonos) principales que son necesarios para 80

comunicar la idea. Es por ello que Keith Lango, propone dos principios básicos para solución de este problema [3]. Principio #1: Las letras no son sonidos. Los sonidos no son letras. No hay letras en la animación de sincronización labial. Generalmente los principiantes crearán una replica exacta de la cara diciendo una letra en forma aislada. Un ejemplo de esto, es cuando se dice el sonido de una letra por si sola, esta no es igual que cuando va acompañada de otra letra (consonante ó vocal), por ejemplo la t por si sola suena como ti, su forma de boca es diferente que cuando esta t va acompañada de una consonante por ejemplo en trompo. Principio #2: Las formas de la boca para los sonidos deben ser animadas en contexto. La forma de sonido que precede afecta a la forma de sonido actual. De igual modo, la siguiente forma de sonido es anticipada por la forma de sonido actual. Cuando un personaje dice una letra, por ejemplo la U, el personaje tiene la boca en forma de U, antes de que esta se escuche y cuando la U ya se escuchó, el personaje ya esta empezando a prepararse para la siguiente letra. 2.3. Fundamentos de Lingüística En nuestro trabajo utilizamos la fonética y la fonología que son dos disciplinas de la lingüística. La fonética es la encargada de estudiar los sonidos del lenguaje, es decir los alófonos y la fonología es la disciplina encargada de poder representar estos sonidos desde el punto de vista de la lengua, es decir los fonemas. 2.3.1 Conceptos de Lingüística Cuando queremos trasladar los fonemas a la escritura, utilizamos unas representaciones gráficas a las que llamamos normalmente letras ó, grafemas [5,6]. Un grafema es la mínima unidad distintiva de un sistema de escritura, o sea, el mínimo elemento por el que se pueden distinguir por escrito dos palabras en una lengua. Se representa entre < > [7]. Un fonema es la representación abstracta y generalizada de un sonido con capacidad para diferenciar significados (ver figura 1). Se escribe entre / /, [8]. Cada una de las variantes que se dan en la pronunciación de un mismo fonema, según la posición de este en la palabra o sílaba, según el carácter de los fonemas vecinos se llama alófonos y se representan entre corchetes ([ ]) [5]. 2.3.2 Trascripción Fonológica Este tipo de trascripción representa sólo los elementos fónicos (fonemas) dotados de función lingüística. Como los fonemas, también se representa entre barras oblicuas / / [5]. 81

Figura 1.Clasificación de los fonemas consonánticos del español en relación al modo y punto de articulación. A la hora de clasificar los fonemas, se utilizan dos criterios principales: El punto de articulación, es decir, el lugar en la boca donde se pronuncia un determinado fonema y el modo de articulación, es decir, los procesos que se ponen en marcha para pronunciar un fonema [9]. El punto de articulación se basa en los siguientes criterios. Bilabial: participación de los dos labios, el superior y el inferior. Labiodental: labio inferior con dientes superiores. Linguointerdental: la lengua entre los dientes. Linguodental: la lengua toca la parte trasera de los dientes superiores. Linguoalveolar: la lengua toca los alvéolos superiores. Post-alveolar: también denominada prepalatal, es una consonante articulada con la lengua próxima o tocando la parte posterior de la región alveolar, más atrás en la boca que una consonante alveolar que se articula justo encima del alvéolo dentario, pero no tan atrás como el paladar duro (el lugar donde se articulan las consonantes palatales). Linguopalatal: la lengua toca el paladar. Linguovelar: la lengua toca el velo. Uvular: Es una consonante articulada con la parte posterior de la lengua colocada contra o cerca de la úvula, es decir, más atrás en la boca que las velares. En la pronunciación de un lenguaje, es necesario tenerlos en cuenta los elementos fisiológicos, que nos permitirán describir los fonemas en relación al modo de articulación, es decir, los procesos que se ponen en marcha para pronunciar un fonema [9]. A continuación se presentan estos elementos fisiológicos. Las cuerdas vocales, que provoca que una consonante sea sonora (vibra) ó sorda (no vibra). La lengua, que roza otras partes de la cavidad bucal. 82

El velo del paladar, el paladar, los alvéolos, los dientes, los labios la cavidad nasal (solo las consonantes nasales). El modo ó rasgo de articulación se divide en los criterios que se puede apreciar en la Figura 2. Figura 2.Clasificación de los fonemas con respecto al modo de articulación 2.3.3 Silabeo y Transcripción Fonética El Silabeo o Silabificación es la operación consistente en la división en silabas que todo hablante sabe hacer sin previa interrupción, y pertenece por tanto a su saber hablar la lengua [10]. Ríos Mestre en su libro denominado La Trascripción Fonética Automática del Diccionario Electrónico de Formas Simples Flexivas del Español: Estudio Fonológico en el Léxico [11], propone reglas de silabeo y reglas de trascripción fonemas-alófonos. Según Ríos Mestre, una vez que se haya tenido la correcta división de silabas (silabeo) en relación a los fonemas procesados; lo que prosigue es hacer una trascripción fonética, es decir, aplicar reglas de trascripción fonema-alófono a las silabas detectadas en relación a la pronunciación. El resultado es la representación gráfica de los sonidos del habla, mediante el empleo de un alfabeto fonético escrito entre corchetes [5,8]. Se presentan en la Figura 3 la clasificación de los fonemas y alófonos consonánticos en español en relación al modo y punto de articulación. 83

Figura 3.Clasificación de los alófonos consonánticos del español en relación al modo y punto de articulación. 3. Estado del Arte de la Sincronización Labial En esta sección se presentan cuatros trabajos relacionados a la sincronización labial, estos trabajos relacionados se dividen en dos puntos principales: la selección de visemas y la creación de visílabas. 3.1 Trabajos relacionados con la Selección de Visemas Ferreira & De la Rosa en su trabajo Una propuesta de integración de animación facial y voz sintética [12] presentan el análisis, evaluación y estudio de factibilidad de la integración del estándar MPEG-4 con la utilización de herramientas de Text to Speech, que permite la traducción de texto escrito a voz sintética. En este trabajo solo quedo pendiente la generación de animación resolviendo la problemática de sincronización de labios con las voces. En el 2009, Ceballos, Bernardo Gómez y Prieto, presentaron el trabajo Seguimiento del contorno externo de la boca en imágenes de video [13]. El objetivo de esta investigación es proponer un algoritmo para el seguimiento del contorno externo de la boca; este trabajo está basado en la apariencia y en restricciones morfológicas definidas en el estándar MPEG-4, utilizando píxeles para el seguimiento del contorno externo de la boca en imágenes a color. Su principal limitante es que no se ha logrado establecer una metodología adecuada para realizar seguimiento preciso de la forma de los labios en tiempo real. En el 2007 Melenchón presentó su tesis doctoral denominada Síntesis Audiovisual Realista Personalizable [14]. Este trabajo se desarrolla a partir de una secuencia de video de entrenamiento con una persona pronunciando un conjunto equilibrado de visemas y mostrando diferentes expresiones y gestos. El conjunto de visemas se determina mediante el uso de 84

algoritmos genéticos paralelos y el modelo facial se obtiene automáticamente siguiendo el algoritmo detallado por Melenchón et al. (2005). La información de los alófonos y visemas solo fue realizada para el idioma español de España. 3.2 Trabajo relacionado con la creación de vi-silabas Kshirsagar [15] presenta el trabajo Visyllable Based Speech Animation, cuyo propósito es la implementación de visílabas para la animación de voz. En este trabajo como primera fase se definió un conjunto de unidades visílabas (la representación de una silaba como un visema) del idioma inglés de forma arbitraria, de las cuales hacen una selección de sílabas, posteriormente, estas silabas son verificadas con la utilización de reglas fonológica para su aprobación. Con base en estas reglas, se ha implementado un algoritmo de Silabificación que permite la segmentación de una cadena de fonemas en silabas y posteriormente se convertirá en vi-sílabas ver figura 4. Este trabajo carece de fundamentos lingüísticos como son la fonología y la fonética en su proceso de silabificación. Figura 4. Animación de voz basada en vi-silabas en tiempo real [15]. Se presenta una tabla comparativa (ver Figura 5 y 6), en relación a los trabajos presentado en la sección 4, con la finalidad de comprender cuales serán las mejorías para nuestro proyecto de investigación. 4. Propuesta de arquitectura En nuestro trabajo se presenta una propuesta para la automatización de silabeo y la creación de vi-sílabas de frases escritas en el idioma español con el fin de aumentar la credibilidad de la sincronización labial en personajes virtuales. Esta propuesta se compone de cuatro bloques (ver Figura 5): éstos se mencionan a continuación: 1) Aplicación de Reglas de Fonemización. 2) Trascripción Fonética. 3) Transcripción por punto de articulación. 4) Generador de visílabas. 85

Para la aplicación de reglas de fonemización se requiere la entrada de un acto locutorio (frase) y como resultado se tendrá la cadena de fonemas silibificadas. Esta cadena va a hacer la entrada para realizar la trascripción fonética. Figura 5. Tabla comparativa de los trabajos relacionados que comprenden desde el modelo hasta la sincronización labial. Figura 6. Tabla comparativa de los trabajos relacionados que comprenden desde la entrada hasta la herramienta que se empleará. Las reglas de fonemización de ésta propuesta se basan en el trabajo de Ríos Mestre, titulado La Trascripción Fonética Automática del Diccionario Electrónico de Formas Simples Flexivas del Español: Estudio Fonológico en el Léxico [11]. En este documento Ríos Mestre propuso la estructura de un sistema de trascripción fonética automática, basado en el Diccionario Electrónico Fonético del Español (DEFE). El cual parte de la adaptación del DELA ( Dictionnaires Electroniques du LADL Laboratoire d Automatique Documentaire et Linguistique ), un sistema de diccionarios electrónicos del francés que fue desarrollado en la Universidad de París VII por Laporte, E, [16]. 86

En su trabajo Ríos Mestre plantea cinco módulos para las reglas de fonemización: 1) Reglas de transcripción grafema-fonema (FON1.REG), 2) Reglas de silabación (FON2.REG), 3) Reglas de ajuste silábico (FON3.REG), 4) Reglas de acentuación (FON4.REG), 5) Reglas de ajuste fonémico (FON5.REG). Un sexto modulo permite la trascripción fonema a alófonos, 6) Reglas de transcripción fonema-alófono (FON6.REG) ver Figura 8 y 9. Figura 7. Esquema General del proceso de sincronización de los visemas Figura 8. Proceso de aplicación de las reglas de trascripción grafema-fonemas, reglas de silabeo y reglas de trascripción fonemas-alófonos. El proceso de Trascripción Fonética es aquel que representa de forma ortográficamente los sonidos del habla mediante el empleo de un alfabeto fonético. Este tipo de transcripción generalmente se inserta entre corchetes ([]) [5,8]. En nuestra propuesta se utilizará este proceso con la finalidad de convertir las silabas seleccionadas en representación grafica de sonidos del habla. 87

Figura 9. Ejemplo de aplicación de las reglas trascripción grafema-fonemas, reglas de silabeo y las reglas de trascripción fonemas-alófonos. El proceso de Transcripción por punto de articulación es aquel en donde se representará los fonemas seleccionados con respecto al punto de articulación (ver sección 2.3.2). Este tipo de transcripción se utilizará como entrada para el proceso de generación de visílabas. La última fase de nuestro proceso es la Generación de visílabas, esta fase nos permitirá seleccionar que tipo de representación visual es la adecuada al momento de representar la animación de visemas, para realizarlo se necesita la cadena de alófonos ya silibificadas, su punto de articulación y el corpus de visemas. El proceso utilizará técnicas de minería de datos para determinar la selección de un visema que representará a una silaba. 5. Conclusiones y Trabajos Futuros En este trabajo se presentó una propuesta para la creación de vi-sílabas de frases escritas en el idioma español con el fin de aumentar la credibilidad de la sincronización labial en personajes virtuales. La arquitectura se basa en procesos lingüísticos para implementar las reglas de fonemización, basado en el trabajo de Ríos Mestre [11]. Se aplicarán técnicas de minería de datos para seleccionar el visema adecuado a los alófonos de una silaba. Se concluirá con el proceso de animar las visílabas ya seleccionadas. Este trabajo se encuentra en desarrollo y esta pendiente por determinar que técnica de minería de datos se utilizará para resolver la problemática de elegir los visemas que permitirán la creación de las vi-silabas. Nuestro proyecto de investigación puede ser aplicado en el área de los mundos virtuales en especial a personajes virtuales, ya que se busca mejorar la sincronización de labios en estos personajes animados. Referencias [1] J. N. Bailenson y J. Blascovich, Avatars, in Encyclopedia of Human-Computer Interaction: G. Barrington, MA: Berkshire Publishing Group, 2004, pp. 64 68. [2] P. M. Abadía, F. Fernández., Manual del productor audiovisual Ed., UOC, 2010, pp. 437. 88

[3] K. Lango, Center for Advanced Technologies de la Universidad de Nueva York y profesor en la Universidad ORT del Uruguay. Principios para la animación, Septiembre 2006. [Online]. Disponible http://www.escardo.com/charanim/?p= 33 [4] F. Cletus. Confusions among visually perceived consonants. Journal of Speech and Hearing Research, vol. 11, pp. 796 804, Diciembre, 1968. [5] E. Obediente, Fonética y fonología Colección Ciencias sociales: Serie Lingüística Ed., Universidad Los Andes, 1998, pp. 432. [6] M. Alvar, Introducción a la lingüística española Ariel lingüística Ed., Ariel, 2000, pp. 636. [7] I. Carolina, P. Iribarren P. Ortografía española: bases históricas, lingüísticas y cognitivas Ed., El Nacional, 2005, pp.106. [8] J. G. Fernández Fonética para profesores de español: de la teoría a la práctica Ed., Arco/Libros, 2007, pp. 614. [9] D. P. Olivé Fonética para aprender español: pronunciación, Ed., Edinumen, 1999, pp. 110. [10] Á. A. Cortés Lingüística Ed., ángel alonso-cortes, 2002, pp.569. [11] A. R. Mestre, Estudios de Lingüística del Español, La transcripción Fonética Automática del Diccionario Electrónico de Formas Simples Flexivas del Español: Estudio Fonológico en el Léxico, Dpto. de Filología Española, 1999. [12] J. F. Ferreira y Fernando de la Rosa, Una propuesta de integración de animación facial y voz sintética Universidad de Los Andes, Departamento de Sistemas y Com- putación, Bogotá D.C., Colombia, 2003. [13] A. Ceballos, J. B. Gómez, F. Prieto, Seguimiento del contorno externo de la boca en imágenes de video Revista de ingenierías Universidad de Medellín, Colombia, Vol. 8, Núm. 14, pp. 129-144, enero-junio, 2009. [14] J. M. Maldonado, Síntesis Audiovisual Realista Personalizable, Tesis Doctoral, Dpto. de Comunicación y teoría del Señal, Centro de Ingeniería y Arquitectura de la Salle, Barcelona, España 2007. [15] S. Kshirsagar, Nadia, Visyllable Based Speech Animation, University of Geneva, Switzerland, Volume 22, Number 3, 2003. [16] E.Laporte, Méthodes algoritmiques et lexicales de phonetisation de textes. Tesis doctoral. Université Paris 7. Centre d'études et de Recherches en Informatique Linguistique, 1988. 89