Interpretación y reconocimiento automático del significado de expreciones con verbos en español usando las funciones léxicas

Transcripción

1 UNIVERSIDAD DE LAS AMERICAS, CIUDAD DE MEXICO INSTITUTO POLITECNICO NACIONAL CENTRO DE INVESTIGACION EN COMPUTACION Interpretación y reconocimiento automático del significado de expreciones con verbos en español usando las funciones léxicas Dra. Olga Kolesnikova, UDLA Dr. Alexander Gelbukh, CIC-IPN MEXICO, D.F. El 09 de diciembre del 2011

2 Área de esta investigación Procesamiento de lenguaje natural (PLN) Procesamiento inteligente de texto involucra el procesamiento semántico basado en el concepto de significado Interpretación = asignación del significado a una palabra o otro objeto lingüstico 2

3 Un reto para PLN Ambigüedad lingüística Significado 1 Palabra u otro objeto lingüístico Significado 2... Significado n 3

4 Tipos de ambigüedad Léxica 1. No sabe que destino le espera. 2. Obtuvo un destino en correos. Léxica-morfológica Sal de México 1. Cloruro de sodio 2. Vete Sintáctica Arregló el camión rápido. 1. El camión es rápido 2. Arregló con rapidez 4

5 Ambigüedad léxica Verbo Número de acepciones en DRAE 1 pasar 64 picar 57 hacer 56 dar 53 echar 48 cargar 46 1 DRAE = Diccionario de la lengua española, 22 ed., Real Academia Española,

6 Ambiguas palabras son frequentes Verbo Acepciones en DRAE Frequencia en Spanish Web Corpus Porcentaje en Spanish Web Corpus hacer , % dar , % poner 44 76, % tomar 39 45, % Spanish Web Corpus (SpWC) = 116,900,060 tokens 88,431 palabras en español (DRAE) 116,900,060 88, ( % en SpWC) Hacer, dar, poner, tomar son muy frequentes en SpWC 6

7 Desambiguación Qué es: asignación a una palabra el significado relevante en el contexto dado Como es: difícil por el número alto de significados Solución: disminuir el número de significados sin perder la información semántica 7

8 Cómo disminuir el número de significados? Generalizar los significados usando el concepto de función léxica 8

9 Funciones léxicas (FLs) Función en el sentido matemático f (W) = {P} W palabra, {P} conjunto de palabras o frases Una FL representa una idea general. Como nombres de FLs se usan primitivas semánticas: ocurrir, causar, realizar, empezar, terminar, etc. y sus combinaciones Primitivas semánticas palabras = conceptos 9

10 Funciones léxicas (FLs) Generalización del significado hacer una campaña ejercer un derecho presentar una demanda dar un golpe sentir la admiración tener la alegría realizar un viaje presentar la dificultad dejar un comentario realizar (algo) 10

11 Definiciones de FLs Realizar se denota Oper (Lat. operari) Oper(un derecho) = ejercer Se agrega la informacion sintáctica: Oper 1 (un derecho) = ejercer 1 denota el agente del verbo Ocurrir se denota Func (Lat. functio = cumplimiento) Func 0 (el tiempo) = pasar 0 denota que el verbo no tiene un agente 11

12 Definiciones de FLs compuestas IncepOper 1 = empezar + realizar IncepOper 1 (una sesión) = iniciar CausFunc 0 = causar + ocurrir CausFunc 0 (una relación) = establecer Lat. incipere = empezar 12

13 Ejemplos de funciones léxicas f Significado Ejemplo Oper 1 realizar (como el agente) dar apoyo Oper 2 realizar (como el recepiente) recibir ayuda IncepOper 1 empezar ira invade a uno ContOper 1 continuar guardar esperanza Func 0 ocurrir (no hay agente) el viento sopla CausFunc 0 causar (el agente lo hace) producir un efecto CausFunc 1 causar (el no-agente lo hace) producir un cambio Real 1 actuar de manera relevante solucionar un problema 13

14 Problema Como reconocer automáticamente las funciones léxicas del corpus de textos? 14

15 Solución propuesta Reconocimiento automático de FLs usando recurso léxico de FLs representación semántica con hiperónimos aprendizaje de máquina supervisado 15

16 Spanish web corpus Creación del recurso léxico Sketch Engine Verbos + sustant. Etiquetación manual Corpus de FLs marcadas 16

17 Spanish web corpus Creación del recurso léxico Sketch Engine Verbos + sustant. Etiquetación manual lexical-functions Corpus de FLs marcadas 17

18 Recurso léxico LF Verbo # Sustantivo # CausFunc 0 formar 2 parte 1 Oper 1 tener 1 lugar 4 Oper 2 obtener 1 respuesta 2 CausFunc 1 hacer 2 falta N/A Real 1 cumplir 3 ley 3 IncepOper 1 tomar 6 posesión 2 ContOper 1 mantener 2 control 1 Oper 1 realizar 6 trabajo 1 Func 0 pasar 2 hora 1 18

19 La importancia del recurso léxico The lack of large domain-independent lexica is a major bottleneck for the development of more knowledge-rich NLP applications (Burchardt et al. 2006) NLP suffers from a lack of lexical resources (Navarro et al. 2009) The lack of large-scale, freely available and durable lexical resources is widely acknowledged but the attempts to cope with usual bottlenecks... often result in dead-ends (Sajous et al. 2010) 19

20 Representación semántica Hiperónimos características de datos dar paseo = { hiperónimos de dar } + { hiperónimos de paseo } = { dar_9, realizar_1, paseo_1, desplazamiento_2, movimiento_2, cambio_4, acción_1, acto_2 } 20

21 Representación semántica Colocaciones: 900 Sustantivos: 798 características Verbos: 311 características Total: 1109 características + una variable de clase Colocación: vector de longitud v 1, v 2,..., v 798, n 1, n 2,..., n 311, LF v i y n j - 0 o 1 LF (la variable de clase) - yes o no 21

22 Sistema de extracción de FLs Corpus Diccionario Ejemplos de FLs Análisis sintáctico Aprendizaje FLs nuevas Verbos + sustant. Basura 22

23 Resultados LF Algorithm F-measure Oper 1 BLR IncepOper 1 rules.prism ContOper 1 SL Oper 2 rules.part Real 1 rules.prism Func 0 trees.bftree CausFunc 0 rules.jrip CausFunc 1 trees.j Nuestro promedio Wanner /

24 Resultados LF Algorithm F-measure Oper 1 BLR IncepOper 1 rules.prism ContOper 1 SL Oper 2 rules.part Real 1 rules.prism Func 0 trees.bftree CausFunc 0 rules.jrip CausFunc 1 trees.j FLs se reconocen por reglas 24

25 Resultados FL Naive Bayes (criterio estadístico) Reglas (criterio semántico) Oper IncepOper ContOper Oper Real Func CausFunc CausFunc FLs se distinguen por semántica 25

26 Aportaciones: científicas en PLN Reconocimiento de FLs en texto w1, w2 F desambiguación del significado de las palabras predicción de nuevo significado en contexto, aún ausente en el diccionario aportación a la comprensión del texto Predicción de FLs para palabra w1, F w2 predicción de nuevos significados aportación a la generación de texto 26

27 Aportaciones: técnicas Base de datos de funciones léxicas en español Determinación de los algoritmos los cuales distinguen las FLs mejor 27

28 Conclusiones Funciones léxicas: área de investigación Se puede predecir las funciones léxicas de colocaciones usando métodos de aprendizaje de máquina supervisados. Los resultados obtenidos son más altos que los del estado del arte. 28

29 Trabajo futuro Hacer experimentos nuevos con otros Funciones léxicas y otros métodos aprendizaje de máquina no supervisado, etc. Representaciones de datos modelo de espacio de palabras, etc. Idiomas inglés, etc. 29

30 GRACIAS!