IA2 ( ) Trabajo NL (Procesamiento de Lenguaje Natural) Implementación de un algoritmo de unificación

Transcripción

1 IA2 ( ) Trabajo NL (Procesamiento de Lenguaje Natural) Implementación de un algoritmo de unificación José F. Quesada 1 Introducción Una de las estrategias básicas para llevar a cabo la representación y manipulación de información semántica en la Ingenería del Lenguaje Natural se basa en la utilización de los algoritmos de unificación sobre estructuras complejas de rasgos. El objetivo de este trabajo es implementar un sistema que permita representar estas estructuras de datos y así mismo permita realizar operaciones de unificación sobre las mismas. 2 Definición de estructuras complejas de rasgos Con el objetivo de simplificar el alcance de este trabajo, se ofrece una definición restringida y parcial de estas estructuras. En concreto, definiremos formalmente una estructura de rasgos como una función parcial desde un conjunto de atributos en un conjunto de valores. Así por ejemplo, datos los conjuntos Σ = {agr, gen, head, num, pers, tense} Υ = {masc, fem, sing, pl, 1, 2, 3, pres, past, estudiar, estudio, estudiaba} el siguente conjunto λ 1 = {< head, comer >, < num, sing >, < pers, 3 >, < tense, pres >} define una función parcial de Σ en Υ, es decir, una función que asigna por ejemplo al atributo head de Σ el valor comer de Υ, y así sucesivamente. Podemos indicar esto mediante la siguiente notación: 1

2 λ 1 : Σ Υ Para incluir estructuras complejas en esta definición (es decir, estructuras cuyos valores sean así mismo otras estructuras de rasgos), basta con permitir que el dominio del conjunto de la función parcial sea Σ +. De esta forma podríamos definir un nueva función parcial: λ 2 = {< [head], estudiaba >, < [agr, num], sing >, < [agr, pers], 3 >, < [tense], past >} que podemos representar formalmente mediante: λ 2 : Σ + Υ Las estructuras de rasgos se pueden representar también mediante arrays: head [ comer ] λ 2 = num sing agr pers 3 tense past 3 Subsunción La relación de subsunción define un orden parcial sobre las estructuras de rasgos. Básicamente podemos considerar que una estructura de rasgos P subsume a una estructura Q, si Q es una extensión de P. Es decir, P subsume a Q, si cada elemento de información de P está incluido en Q. Consideremos por ejemplo, las siguientes estructuras de rasgos: [ ] genero masculino α 1 = genero α 2 = masculino persona 2 En este caso, α 1 subsume a α 2 (α 1 α 2 ) ya que todos los valores informativos de α 1 se encuentran también en α 2. Es interesante notar que la relación de subsución es reflexiva (toda estructura está subsumida por ella misma), y no es simétrica (si una estructura A subsume a una B, no necesariamente B tiene que subsumir a A - como se puede ver en el ejemplo anterior).

3 Además, es un orden parcial, ya que podemos encontrar dos estructuras A y B tales que ni A subsume a B, ni B subsume a A. Por ejemplo, dada: [ ] genero masculino α 3 = persona 2 no existe relación de subsunción alguna entre α 1 y α 3 4 Unificación Dadas dos estructuras, P y Q, la unificación de ambas estructuras será una nueva estructura (U = P Q), tal que U es la menor estructura que es subsumida por P y por Q. Si no existe dicha estructura, diremos que P y Q no son unificables. Por ejemplo, dadas las estructuras previas: [ ] genero masculino α 1 = [ ] genero masculino α 3 = persona 2 podemos identificar la siguiente estructura como unificación de las dos anteriores: genero masculino α 2 = persona 2 Es decir, alpha 2 = alpha 1 sqcapalpha 3, ya que alpha 1 α2 y alpha 3 α2 y además alpha 2 es la menor estructura que cumple esta condición, ya que cualquier otra estructura que cumpliese las condiciones de unificación tendría más información. Por otro lado, si definimos la siguiente estructura: [ ] genero femenino α 4 = Podemos observar que alpha 4 no es unificable ni con alpha 1, ni con alpha 3, ya que al tener un valor distinto para el atributo genero, es imposible encontrar ninguna estructura que sea subsumida por ambas. Evidentemente la relación de subsunción también se puede definir para estructuras complejas (aquellas en las que el valor de un atributo es una estructura de rasgos así mismo).

4 5 Implementación del trabajo De forma resumida, el objetivo del trabajo es la implementación de un algoritmo de unificación para estructuras complejas de rasgos. Como tal, el trabajo se organizará funcionalmente en tres bloques, aunque se deja libertad para la estructuración e implementación del mismo. El trabajo se puede implementar en C, Java, C++ o Lisp. En caso de que se desee utilizar algún otro lenguaje será necesario contactar con el profesor responsable de este trabajo. De cara a la realización del mismo se deberá enviar en los plazos establecidos tanto el código fuente del mismo, así como las restricciones relativas a uso de librerías, componente, etc., que sean necesarias para su ejecución. Por otro lado, de cara a la defensa del mismo, se recomienda que los alumnos lleven en un portátil una instalación de la aplicación (que necesariamente deberá corresponderse con la misma enviada) con el objetivo de agilizar la presentación y defensa. Como parte de la información enviada se incluirá así mismo la documentación relevante, entre la que se encontrará una descripción general del análisis, diseño e implementación del mismo, así como los tiempos de ejecución para los tests suministrados como referencia, junto con las características del entorno utilizado para su realización. 5.1 Especificación El sistema debe permitir la especificación de un conjunto de información de entrada, algo así como un diccionario de estructuras complejas de rasgos. Cada estructura estará identificada mediante una etiqueta, y llevará asociada un valor. En concreto, se utilizará la siguiente sintaxis: [ etiqueta = (ECR) ] donde ECR es la Estructura Compleja de Rasgos. Los rasgos de esta estructura serán siempre cadenas que comenzarán por una letra (minúscula o mayúscula) y podrán contener números y signos de subrayado. Se separará mediante dos puntos (:) la etiqueta y el valor. El valor podrá ser terminal (siendo en este caso un valor numérico, un string que puede ir entrecomillado, o bien una estructura compleja adicional. Por ejemplo: [ ecr1 = (genero : femenino, numero: singular) ] En este caso, estaríamos definiendo la entrada etiquetada ecr cuyo contenido es:

5 [ ] genero femenino ecr1 = Por otro lado, la estructura [ ecr2 = (head: comer, agr: (num:sing, pers:3), tense:past) ] estaría representando la siguiente estructura: ecr2 = head agr tense [ comer ] num sing pers 3 past Es posible que una etiqueta lleve asociada más de una definición. Por ejemplo: [ ecr1 = (genero : femenino, numero: singular) ] [ ecr1 = (genero : femenino, numero: plural) ] 5.2 Unificación A partir de un conjunto de estructuras de rasgos definidas según el formato anterior, el sistema deberá ser capaz de recibir instrucciones de unificación. La unificación se invocará mediante una llamada del tipo: Unif ica(a&b). donde a y b serán etiquetas de estructuras de rasgos. El resultado debe ser FALLO en caso de que las estructuras no sean unificables, o la estructura obtenida como resultado de la unificación. Por ejemplo, Unif ica(ecr1&ecr2). En el caso de que una estructura tenga más de una definición, la unificación es el producto cartesiano de todas las definiciones de cada una de las estructuras. Es decir, si ecr1 tiene 2 definiciones (A y B), y ecr2 tiene tres definiciones (P, Q y R), entonces la unificación de ambas se obtendrá aplicando la unificación todos los pares posibles. A - P, A - Q, A - R, B - P, B - Q, B - R. 5.3 Representación y optimización Es importante a la hora de analizar, diseñar e implementar el trabajo tener en cuenta distintas estrategias para la optimización del problema, tanto en lo relativa a la representación (teniendo en cuenta que se podrían tener que manipular miles o incluso millones de estructuras), así como los tiempos que consume el sistema en la resolución de la unificación.

6 5.4 Documentación y Entorno El trabajo presentado debe incluir el análisis y diseño correspondiente, así como el código fuente debidamente comentado y estructurado. Así mismo se debe incluir información relativa a la realización de pruebas de estrés. Se deja libertad de desarrollo para el modelo de ejecución (carga y unificación). Es decir, se podrá definir uno o varios ejecutables que realicen la tarea, o bien el diseño de un entorno gráfico desde el que invocar dichas tareas. La documentación que se entregue debe incluir así mismo las instrucciones para la utilización del sistema. 6 Ejemplos Tal y como se ha indicado, la especificación de un sistema estará formada por dos bloques, el bloque de especificación de estructuras y el bloque de llamadas de unificación. Supondremos que cada uno de los bloques se define en un fichero diferente. Es decir, habrá un fichero que contendrá todas las estructuras (que se especificará con la extensión.scr), y otro fichero que contendrá las llamadas de unificación (que se especificará con la extensión.unf). Fichero ejemplo01.scr: [ el = (agr: (genero : masculino, numero: singular) ) ] [ la = (agr: (genero : femenino, numero: singular) ) ] [ los = (agr: (genero : masculino, numero: plural) ) ] [ las = (agr: (genero : femenino, numero: plural) ) ] [ mesa = ( head: mesa, agr: (genero : femenino, numero: singular) ) ] [ mesas = ( head: mesa, agr: (genero : femenino, numero: plural) ) ] [ armario = ( head: armario, agr: (genero : femenino, numero: singular) ) ] [ armarios = ( head: armario, agr: (genero : femenino, numero: plural) ) ] Fichero ejemplo01.unf: $Unifica(el & la). $Unifica(el & mesa). $Unifica(el & armario). Al ejecutar el sistema, tras cargar el diccionario (fichero ejemplo01.scr), y al aplicar el fichero de unificación (fichero ejemplo01.unf), el resultado debe ser:

7 $Unifica(el & la). => FALLO $Unifica(el & mesa). => FALLO $Unifica(el & armario). => ( head: armario, agr: (genero : femenino, numero: singular) ) 7 Tests Con el objetivo de poder comprobar el funcionamiento del sistema, se incluyen tres entornos de prueba del sistema, que se pueden descargar en un fichero adjunto. A modo de ejemplo, se explica a continuación el modelo del primer test. El fichero TEST01.ecr contiene las siguientes estructuras definidas: [ WCMDHT = (FAI0001uOPVk:1) ] [ WCMObEGNOod = (FAP0003AXVHL:RASOyiFBG) ] [ WCMfqTFfP = (FAI0001uOPVk:1, FAP0003AXVHL:RASOzlQps) ] [ WCMTJxy = (FAI0001uOPVk:1, FAP0003AXVHL:RASOxOJxg) ] [ WCMkSgpj = (FAI0001uOPVk:1) ] [ WCMJjcXOf = (FCM0008QVdXB:()) ] [ WCMIyRUL = (FCM0009IUsdb:(FAP0004FamhP:RASOnHCVJ), FCM0008QVdXB:(FCM0005ugfZl:(FAI0001uOPVk:1, FAP0003AXVHL:RASOpIQgc))) ] [ WCMxmHlsAw = (FCM0009IUsdb:(FAP0004FamhP:RASOiARJV), FCM0008QVdXB:(FCM0005ugfZl:(FAI0001uOPVk:1))) ] [ WCMOuhwfFY = (FCM0009IUsdb:(), FCM0008QVdXB:()) ] [ WCMuxB = (FCM0009IUsdb:()) ] [ WCMb = (FAP0003AXVHL:RASOfJOLk) ] [ WCMlO = (FAP0003AXVHL:RASOmRdfW) ] [ WCMRDkPId = () ] [ WCMtsWVf = () ] [ WCMjVWeQYAa = (FAP0003AXVHL:RASOrQIbn) ] [ WCML = (FCM0005ugfZl:(FAP0003AXVHL:RASOrQIbn)) ] [ WCMwaZsWf = (FCM0005ugfZl:(FAP0003AXVHL:RASOGRqlk)) ] [ WCMUaUjHhW = (FCM0005ugfZl:(FAP0003AXVHL:RASOxOJxg)) ] [ WCMxS = (FCM0005ugfZl:(FAI0001uOPVk:1, FAP0003AXVHL:RASOxOJxg)) ] [ WCMVGtG = (FCM0005ugfZl:(FAI0001uOPVk:1, FAP0003AXVHL:RASOrQIbn)) ]

8 [ WCMmJLyOjqrH = (FAP0004FamhP:RASOCattp) ] [ WCMuO = (FAP0004FamhP:RASOnHCVJ) ] [ WCMmlCUR = (FAP0004FamhP:RASOITHqU) ] [ WCMWTHnl = (FAP0004FamhP:RASOPJhbd) ] [ WCMAYHHZPuA = (FAP0004FamhP:RASOITHqU) ] Por otro lado, el fichero TEST01.unf tiene las llamadas a las instrucciones de unificación: $Unifica(WCMfqTFfP & WCMDHT) $Unifica(WCMkSgpj & WCMObEGNOod) $Unifica(WCMxmHlsAw & WCMJjcXOf) $Unifica(WCMOuhwfFY & WCMxmHlsAw) $Unifica(WCMjVWeQYAa & WCMRDkPId) $Unifica(WCMtsWVf & WCMb) $Unifica(WCMxS & WCMwaZsWf) $Unifica(WCMUaUjHhW & WCML) $Unifica(WCMAYHHZPuA & WCMmlCUR) $Unifica(WCMmlCUR & WCMWTHnl) Finalmente, el fichero TEST01.trace contiene la salida de la ejecución del sistema, donde se puede ver el comportamiento del mismo. Para este ejemplo, podemos observar como en una de las llamadas de unificación para el par de etiquetas WCMxS y WCMwaZsWf se provoca un fallo de unificación ya que el valor del atributo FAP0003AXVHL es diferente: # UNIFICA Entrada 1: WCMxS -> (FCM0005ugfZl:(FAI0001uOPVk:1, FAP0003AXVHL: RASOxOJxg )) Entrada 2: WCMwaZsWf -> (FCM0005ugfZl:(FAP0003AXVHL: RASOGRqlk )) RESULTADO:

9 UNIFICACION FALLO Por otro lado, otro de los ejemplos muestra cómo la unificación puede construir nuevas estructuras: # UNIFICA Entrada 1: WCMkSgpj -> (FAI0001uOPVk:1) Entrada 2: WCMObEGNOod -> (FAP0003AXVHL: RASOyiFBG ) RESULTADO: UNIFICACION OK -> (FAI0001uOPVk:1, FAP0003AXVHL: RASOyiFBG ) 7.1 Definiciones múltiples El Test02 contiene un ejemplo de definición múltiple. En este caso, podemos observar como la etiqueta WCMS025 lleva asociada tres entradas diferentes (marcadas mediante flechas). El sistema intenta unificar cada una de estas definiciones con la especificación asociada a la primera entrada de la instrucción de unificación, obteniendo solo una unificación correcta que se muestra como resultado. # UNIFICA Entrada 1: WCMkP025

10 -> (FAI0007YpOBO:1, FAP0019oOpxl: RASONNUOv, FAP0020oCviV: RASOExnym ) Entrada 2: WCMS025 -> (FAI0003AXVHL:1, FAI0008UosQV:1, FAP0019oOpxl: RASOpSvWZ, FAP0020oCviV: RASOExnym ) -> (FAI0007YpOBO:1, FAP0020oCviV: RASObymCI ) -> (FAI0007YpOBO:1, FAI0008UosQV:1) RESULTADO: UNIFICACION OK -> (FAI0007YpOBO:1, FAI0008UosQV:1, FAP0019oOpxl: RASONNUOv, FAP0020oCviV: RASOExnym )