Comparación de métodos de detección de actos de diálogo

Transcripción

1 Comparación de métodos de detección de actos de diálogo David Vilar, María José Castro, Emilio Sanchis Departament de Sistemes Informàtics i Computació Universitat Politècnica de València dvilar, mcastro, esanchis@dsic.upv.es Resumen En este trabajo se presentan dos aproximaciones para la detección de actos de diálogo en un sistema de diálogo de dominio restringido. La tarea consiste en responder a consultas sobre horarios, precios y servicios para trenes de largo recorrido. La representación del significado de una frase se lleva a cabo mediante actos de diálogo, que determinan el tipo de información dada en la frase y por los frames asociados, que contienen los datos de la frase. Nos centramos en la clasificación de un turno de diálogo utilizando perceptrones multicapa y clasificadores de Bayes particularizados con funciones de probabilidad condicionales de Bernoulli. Se exponen los resultados obtenidos sobre la transcripción correcta de los diálogos y se comparan los dos métodos, estudiando las dificultades originadas por el problema de la clasificación multiclase. Se comprueba que el modelo conexionista es más apropiado para esta tarea. 1. Introducción Los sistemas de diálogo constituyen un objetivo destacado en el área de tecnologías de lenguaje. En esta clase de sistemas, uno de los principales problemas es la comprensión de los turnos de diálogo del usuario, en contraposición con las técnicas de reconocimiento del habla, en las que se busca una correcta transcripción de las frases pronunciadas por el usuario. Esto nos permite ignorar ciertas palabras centrando nuestra atención en aquellas que nos permiten extraer información útil para encontrar el significado. En este artículo presentamos una contribución al módulo de comprensión del sistema de diálogo BASURDE [1]. La tarea consiste en responder consultas telefónicas acerca de horarios, precios y servicios de trenes de largo recorrido en castellano. En este sistema, la representación del significado de una frase se realiza mediante frames, que determinan el tipo de información del turno de diálogo del usuario, y mediante cases, que proporcionan la información de la frase. El módulo de comprensión recibe como entrada la salida del módulo de reconocimiento del habla y suministra su salida al gestor de diálogo. En este trabajo restringimos nuestra atención a datos textuales, es decir, la transcripción correcta de las frases del usuario. La representación semántica está fuertemente relacionada con el gestor de diálogo. En nuestra aproximación el comportamiento del diálogo se representa mediante actos de diálogo, compuestos por tres niveles: el primero representa el carácter general del turno de diálogo, el segundo representa el tipo de información semántica (frames) y el tercero tiene en cuenta la información suministrada en la frase (cases). Este tipo de representación es especialmente interesante para un modelado estocástico de la estructura del diálogo. En este trabajo nos centramos en el proceso de clasificación del turno de diálogo del usuario respecto al segundo nivel, es decir, la identificación del tipo o tipos de frames presentes en la frase. Dado que en un sistema de diálogo existen multitud de fuentes de error (errores de reconocimiento, respuestas inesperadas, etc.) puede ser útil disponer de un método para detectar de forma fiable qué tipo de frame ha sido pronunciado. Una vez se ha determinado el acto de diálogo, se facilita la labor del proceso posterior de extracción de los atributos y valores, al contar con un dominio de análisis restringido. Para llevar a cabo esta clasificación se investigan aproximaciones mediante modelos conexionistas y clasificadores de Bayes. 2. La estructura del diálogo Una de las formas más comunes de representar la estructura de un diálogo es utilizando actos de diálogo [2,3], que representan los estados sucesivos por los que trancurre un diálogo. Las etiquetas tienen que ser suficientemente específicas para recoger las distintas intenciones de cada uno de los turnos, pero a la vez deben ser suficientemente generales para poder ser adaptadas a distintas tareas. En este trabajo partimos de un corpus extraído de 215 diálogos obtenidos mediante la técnica del Mago de Oz, obteniendo un total de 1460 frases. A partir de este conjunto definimos tres niveles de etiquetas [4]: Actos de diálogo: Este primer nivel, independiente de la tarea, representa la intención de la frase. Comprende las siguientes etiquetas: Apertura Cierre Indefinido No Entendido Esperando Consulta Afirmación Negación Pregunta Confirmación Respuesta Frames: El segundo nivel es específico para cada tarea y representa el tipo de mensaje proporcionado por el usuario. La información está organizada en frames. Se han definido un total de 16 etiquetas: Hora Salida Hora Salida V Hora Llegada Hora Llegada V Precio Precio V Duración Viaje Tipo tren Tipo tren V Servicios Confirmación No Entendido Afirmación Negación Cierre Nuevos datos Cases: El tercer nivel tiene en cuenta los valores dados en las frases, tales como nombres de ciudades, fechas... El corpus se ha etiquetado utilizando un proceso semiautomático: Algunos diálogos se etiquetaron manualmente y el resto se etiquetó automáticamente utilizando modelos preliminares a partir de esas muestras, revisándose posteriormente el

2 resultado final. Una característica a notar de esta aproximación es que un turno de diálogo puede estar etiquetado con más de una etiqueta, lo que permite una mejor especificación del significado, pero dificulta las tareas de clasificación y segmentación. Un ejemplo del etiquetado en tres niveles se presenta en la figura Comprensión del lenguaje Las tareas de compresión se pueden abordar desde dos perspectivas distintas. Por un lado se pueden utilizar métodos basados en reglas explícitas para la manipulación de símbolos [5] y otros basados en técnicas de aprendizaje automático, tales como modelos ocultos de Markov o gramáticas regulares estocásticas [6, 7]. Centrándonos en el problema de clasificación de las frases respecto a las etiquetas del segundo nivel, en este trabajo presentamos dos aproximaciones basadas en el aprendizaje automático: redes neuronales, en concreto perceptrones multicapa [8], como se explica en las sección 5, y clasificadores de Bayes, especializados con distribuciones de Bernoulli, expuestos en la sección Preproceso y codificación de la entrada En el problema que estamos tratando la variabilidad morfológica de las palabras no es importante (género, número, tiempo verbal, etc.) ya que no aportan información adicional a la tarea de clasificación. Esto nos permite definir un conjunto de lemas y categorías para así reducir el tamaño del vocabulario. En concreto hemos definido las siguiente categorías: 1. Categorías generales, como nombres de ciudad, días de la semana, números ordinales y cardinales Categorías esprecíficas de la tarea, como tipo de tren o tipo de billete. 3. Lemas: verbos en infinitivo, nombres en singular y sin artículo, adjetivos en singular, sin género y sin artículo. Cabe hacer notar que ciertas palabras dentro de las llamadas stopwords, que en otras tareas se pueden eliminar sin pérdida de información, en nuestro caso juegan un papel fundamental. En nuestra tarea un ejemplo claro son las preposiciones que son clave al distinguir si se está hablando de un destino o de un origen. Precisamente en base a estas preposiciones se ha llevado a cabo otra tarea de preproceso, diferenciando dentro de la categoría genérica nombre ciudad las dos subclases nom ciudad origen y nom ciudad destino. Después de llevar a cabo este preproceso conseguimos reducir la talla del vocabulario de 616 a 265 palabras. Por último eliminamos las palabras con una frecuencia de aparición menor que un cierto umbral Ô (pero sin eliminar los turnos en los que aparecen), dado que por su baja frecuencia no aportan información significativa para la discriminación de las clases. Así mismo sólo tomamos en consideración los turnos con un etiquetado que aparece con una frecuencia mayor que, dado que las clases con una frecuencia menor no disponen de suficientes muestras para entrenar correctamente un clasificador. En nuestro caso fijamos tanto Ô como con un valor de 5, con lo que obtenemos un vocabulario final de 120 palabras y las 10 clases: Nuevos Datos Afirmacion Cierre Confirmacion Hora Llegada Hora Salida Hora Salida V Negacion Precio Tipo Tren Una vez fijado el vocabulario la codificación de cada frase de entrada es un vector de 120 bits, cada uno de los cuales indica la presencia o ausencia de una palabra del vocabulario en la frase. Esta codificación elimina la información que pueda obtenerse a partir de la secuencialidad de la frase, pero consideramos que para el problema de clasificación esto no juega un papel importante. Esta codificación representa una aproximación natural al formato de entrada de los dos clasificadores a considerar. Un ejemplo del resultado del preproceso y la codificación se muestra en la figura Redes neuronales En este trabajo hemos utilizado perceptrones multicapa (PMs), al ser estos unas de las redes neuronales artificiales más extendidas en tareas de clasificación. En este caso la capa de entrada contiene el vector de bits definido anteriormente y el número de unidades de salida se define como el número de clases en las que se desea clasificar (10 en nuestro caso). Cada unidad en la (primera) capa oculta define un hiperplano en el espacio de representación. Estos hiperplanos formarán las fronteras de decisión de las distintas clases. Utilizando funciones de activación sigmoide, los PMs pueden suavizar las fronteras, adaptándolas adecuadamente a problemas de decisión [9]. El nivel de activación de una unidad de salida puede interpretarse como una aproximación a la probabilidad a posteriori de que la muestra de entrada pertenezca a la clase correspondiente. Como queremos clasificar en más de una clase, ya que una frase puede tener más de una etiqueta de acto de diálogo asociada, una muestra Ü puede ser clasificada en las clases Á ܵ con una probabilidad a posteriori sobre un umbral Í: Á ܵ ¾Ôܵ Í ¾ ܵ Í (1) siendo ܵ la -ésima salida del PM, dada la muestra de entrada Ü y el conjunto de parámetros del PM. El conjunto lo componen las etiquetas definidas en la sección 4 y el umbral Í se estima durante el proceso de aprendizaje Experimentación Para realizar la experimentación se hizo una partición aleatoria de los datos en 5 partes de aproximadamente la misma talla y aplicamos la técnica de validación cruzada. Como entrenamiento usamos 4 de esos 5 grupos, es decir, aproximadamente un 80 % de los datos, utilizando el restante 20 % como conjunto de test. El entrenamiento de los PMs se llevó a cabo utilizando el paquete de sofware de simulación de redes neuronales SNNS: Stuttgart Neural Network Simulator [10]. Para poder utilizar con éxito redes neuronales como clasificadores se tienen que considerar una serie de aspectos, tales como la topología de la red, el algoritmo de entrenamiento y la selección de los parámetros del algoritmo [9 11]. Se han llevado a cabo experimentos con distintas topologías de la red, con un número creciente de pesos: una capa oculta con 2 unidades, dos capas ocutas con 2 unidades cada una, dos capas ocultas de 4 y 2 unidades, una capa oculta con 4 unidades, etc. También se probaron distintos algoritmos de aprendizaje: la versión incremental del algoritmo de retropropagación de error ( backpropagation ), con y sin término de momentum, y el algoritmo de retropropagación rápida ( quickprop ), estudiando a su vez la influencia de sus parámetros como tasa de aprendizaje o momentum. En el entrenamiento se utilizó una presentación aleatoria de las muestras. En cada caso se aplicó un criterio de parada basado en un conjunto de muestras de validación (compuesto

3 Frase original Quería saber los horarios del Euromed Barcelona-Valencia. 1 er nivel Pregunta 2 o nivel Hora Salida 3 er nivel Hora Salida (Origen: barcelona, destino: valencia, Tipo tren: euromed) Frase original Hola, buenos días. Me gustaría saber el precio y los horarios que hay para un billete de tren de Barcelona a La Coruña el 22 de diciembre, por favor. 1 er nivel Pregunta 2 o nivel Precio, Hora Salida 3 er nivel Precio (Origen: barcelona, Destino: lacoruña, Hora Salida: ) Hora Salida (Origen: barcelona, Destino: lacoruña, Hora Salida: ) Figura 1: Ejemplo del etiquetado en tres niveles Frase original Quería saber los horarios del Euromed Barcelona-Valencia. Frase preprocesada querer saber horario de tipo-tren nom-ciudad-origen nom-ciudad-destino Codificación local Frase original Hola, buenos días. Me gustaría saber el precio y los horarios que hay para un billete de tren de Barcelona a La Coruña el 22 de diciembre, por favor. Frase preprocesada hola buen d ia querer saber horario de tren nom-ciudad-origen nom-ciudad-destino para num-cardinal de nom-mes Codificación local Figura 2: Ejemplo del preproceso y la codificación por un 20 % del conjunto de entrenamiento, elegido aleatoriamente) para detener el proceso de aprendizaje y seleccionar la mejor configuración. Durante el proceso de entrenamiento primero probamos la influencia de la topología del PM. Se entrenaron diferentes PMs con un número creciente de pesos sobre la primera partición de los datos, utilizando el algoritmo estándar de retropropagación del error, con una función de activación sigmoide y un factor de aprendizaje de ¼¾, seleccionando la mejor topología en base al error cuadrático medio (ECM) del conjunto de validación. El ECM mínimo se consiguió utilizando un PM de una capa oculta con 64 unidades. Continuamos la experimentación con un PM de esta topología, entrenando PMs (también sobre la primera partición) con los distintos algoritmos comentados anteriormente, con distintas combinaciones de factor de aprendizaje y momentum, así como distintos valores de incremento máximo para el algoritmo de retropropagación rápida (ver tabla 1). El mejor resultado sobre el conjunto de validación se consiguió utilizando el PM entrenado con el algoritmo de retropropagación con momentum, utilizando un factor de aprendizaje igual a ¼ yun valor de momentum igual a ¼¾. Utilizando este PM conseguimos una media del porcentaje de error del ± sobre los conjuntos de test, valor obtenido utilizando la técnica de validación cruzada. 6. Clasificador de Bernoulli En esta parte del trabajo abordamos la clasificación de las frases mediante clasificadores de Bayes, donde las funciones de probabilidad condicionales siguen una distribución de Bernoulli. Una aproximación basada en estos estimadores ya se ha utilizado con éxito en tareas de clasificación de textos [12]. Sea ½ ¾ µ Ø ¾, con ¼ ½, una variable aleatoria -dimensional. Diremos que sigue una distribución de Bernoulli -dimensional de parámetro Ô Ô ½Ô ¾Ô µ Ø ¼ Ô ½, ensímbolos Ôµ, si su función de probabilidad es Ôܵ Ô Ü ½ Ô µ½ Ü µ (2) En la aproximación tradicional, consideramos que disponemos de un conjunto de entrenamiento Ü Ò Òµ Æ Ò½, con Ò ¾, siendo el conjunto de etiquetas de clase. Cada muestra se ha extraído independientemente según la ley de probabilidad ÔܵԵÔܵ, con Ôܵ Ô µ. Se puede demostrar que el estimador máximo-verosímil en estas condiciones es aquél en el que los parámetros toman los valores Ôµ Æ Ô Æ ½ Ü Ò (3) Æ Ò Ò donde Æ es el número de muestras pertenecientes a la clase, y la regla de clasificación es la habitual ܵ ÔµÔܵ ÖÑÜ Ôܵ ÖÑÜ Ôܵ ÖÑÜ ÔµÔܵ ÖÑÜ ÐÓ Ôµ ÐÓÔܵµ 6.1. El problema de la clasificación multiclase La primera dificultad que nos encontramos al intentar aplicar este clasificador a nuestro problema en concreto es que disponemos de turnos que pertenecen a más de una clase, por (4)

4 Topología: Una capa oculta: 2, 4, 8, 16, 32, 64, 128 Dos capas ocultas: 2 2, 4 2, 4 4, 8 2,...,64 128, Algoritmo de entrenamiento: Retropropagación del error (con y sin momentum), Retropropagación rápida Factor de aprendizaje: ¼¼, ¼½, ¼¾, ¼, ¼, ¼ Momentum: ¼½, ¼¾, ¼, ¼, ¼ Incremento máximo: ½, ¾ Tabla 1: Topologías de PMs y parámetros estudiados tanto nuestro conjunto de entrenamiento se compone de pares muestra conjunto de clases, Ü Ò Ò Æ Ò½ Ò. En una primera fase y para comprobar si este clasificador puede ser adecuado para esta tarea decidimos probar el clasificador únicamente con las frases que pertenecen a una única clase. Para el entrenamiento, sin embargo, utilizamos las frases de múltiples clases para entrenar cada uno de los clasificadores correspondientes, replicando la frase convenientemente (y por tanto alterando el valor de Æ en las ecuaciones anteriores). Nótese que con los PMs no se presenta este problema, ya que la activación de más de una unidad de salida es una aproximación natural a la clasificación multiclase. Además utilizamos una técnica simple de suavizado, considerando los parámetros menores que un cierto como y los mayores que ½ como ½ (en nuestro caso ¼¼½). Con el clasificador así entrenado y utilizando las mismas particiones que en el experimento con PMs conseguimos un error del ½ ± en la clasificación de las frases con una sola etiqueta de clase asociada, lo que parece ser una indicación de que se podría llegar a emplear este tipo de clasificador. Para tratar el problema de la clasificación multiclase, una aproximación inmediata consiste en considerar que debemos alcanzar un umbral de probabilidad para considerar una muestra correctamente clasificada e ir añadiendo clases al conjunto de salida hasta alcanzar ese umbral (que puede ser función a su vez del número de clases en las que se va a clasificar). Más formalmente definimos el conjunto Áܵ Ôܵµ ¾. A partir de ahí definimos Á ܵ Á Á ½Üµ ½Üµ ÖÑÜ Ôܵ Ôܵµ¾Áܵ µ ÖÑÜ Ôܵ Ôܵµ¾Áܵ Á ½Üµ Tomamos aquel Á Òܵ con menor índice Ò tal que Ôܵµ¾Á Òܵ µ ½ (5) Ôܵ Í Ò (6) donde los valores Í Ò han sido fijados previamente, y definimos como conjunto de clasificación la proyección Á ܵ Ôܵµ¾Á Òܵ (7) Lamentablemente esta aproximación no es apropiada, ya que la tasa de error conseguida es del ¾¼ ± (fijando los umbrales manualmente) Otras aproximaciones Otra aproximación al problema con la que se ha experimentado es considerar la clases mixtas como clases distintas, es decir, aumentar el conjunto de clases original al conjunto ¾ (8) yë transformar el conjunto de entrenamiento en el conjunto Æ Ò½ ÜÒÒµ, donde ÜÒµ si Ò Ü Ò Òµ Ë (9) ¾ Ò ÜÒ µ si Ò ½ En este caso, consideramos que una muestra se clasifica en más de una clase si y sólo si la clase de mayor probabilidad es una clase marcada. Otra posibilidad, más próxima intuitivamente al funcionamiento de las redes neuronales, es entrenar clasificadores binarios distintos, es decir, una familia de funciones ܵ ¾, donde la salida de cada clasificador representa la probabilidad a posteriori de que la muestra Ü pertenezca a la clase, definiendo entonces el conjunto de clasificación de forma similar a (1) Á ܵ ¾ ܵ Í (10) siendo Í un umbral prefijado. Sin embargo, con ninguna de estas dos aproximaciones hemos conseguido mejorar la tasa de error conseguida con el clasificador original, obteniendo una tasa de error del ± en el primer caso y del ± en el segundo. 7. Conclusiones En este trabajo se han estudiado distintos métodos para la clasificación de los turnos en un sistema de diálogo. Un modelo basado en un clasificador de Bayes, instanciado con probabilidades condicionales de Bernoulli, a pesar de presentar un comportamiento inicial esperanzador, no logra tratar correctamente el problema de la clasificación multiclase. Aun así, el aceptable funcionamiento mostrado al clasificar en una única clase y la sencillez del modelo quizá permitirá utilizarlo en una etapa más avanzada del sistema de diálogo cuando no se presente la dificultad de la clasificación multiclase, como por ejemplo en la identificación de segmentos. Por el contrario el modelo conexionista de un perceptrón multicapa sí que resuelve con éxito el problema, con lo que disponemos de una herramienta adecuada para la tarea que estamos tratando. Una continuación de este trabajo será probar el funcionamiento de este modelo sobre datos de voz reconocidos automáticamente en vez de sobre la transcripción correcta de los mismos y comprobar la influencia de los errores de transcripción sobre la eficacia del método. 8. Agradecimientos Este trabajo ha sido financiado por el proyecto CICYT TIC C03-03.

5 9. Referencias [1] A. Bonafonte et al. Desarrollo de un sistema de diálogo oral en dominios restringidos. In Primeras Jornadas de Tecnología del Habla, Sevilla (Spain), [2] Masaaki Nagata and Tsuyoshi Morimoto. First steps toward statistical modeling of dialogue to predict the speech act type of the next utterance. Speech Communication, 15: , [3] Andreas Stolcke et al. Dialogue Act Modeling for Automatic Tagging and Recognition of Conversational Speech. Computational Linguistics, 26(3): , [4] C. Martínez, E. Sanchis, F. García, and P. Aibar. A Labelling Proposal to Annotate Dialogues. In Proceedings of the Third International Conference on Language Resources and Evaluation (LREC 2002), pages , Las Palmas de Gran Canaria (Spain), May [5] S. K. Bennacef et al. A Spoken Language System for Information Retrieval. In Proceedings of the 3rd International Conference in Spoken Language Processing (ICSLP 94), pages , Yokohama (Japan), September [6] H. Bonneau-Maynard and F. Lefèvre. Investigating stochastic speech understanding. In Proceedings of IEEE Automatic Speech Recognition and Understanding Workshop (ASRU 01), [7] Emilio Sanchis, Fernando García, Isabel Galiano, and Encarna Segarra. Applying dialogue constraints to the understanding process in a Dialogue System. In Proceedings of 5th International Conference on Text, Speech and Dialogue (TSD 02), Brno (Czech Republic), [8] María José Castro and Emilio Sanchis. A Simple Connectionist Approach to Language Understanding in a Dialogue System. In Proceedings of the 8th Conferencia Iberoamericana de Inteligencia Artificial (Iberamia 02). Sevilla (Spain), November [9] D. E. Rumelhart, G. E. Hinton, and R. J. Williams. Learning internal representations by error propagation. In D. E. Rumelhart and J. L. McClelland, editors, PDP: Computational models of cognition and perception, I, pages MIT Press, [10] A. Zell et al. SNNS: Stuttgart Neural Network Simulator. User Manual, Version 4.2. Institute for Parallel and Distributed High Performance Systems, University of Stuttgart, Germany, [11] C. M. Bishop. Neural networks for pattern recognition. Oxford University Press, [12] A. Juan and E. Vidal. On the use of Bernoulli mixture models for text classification. In Proc. of the Workshop on Pattern Recognition in Information Systems (PRIS 01), Setúbal (Portugal), July 2001.