TABLA DE CONTENIDOS. Dedicatoria. Agradecimientos. Tabla de Contenidos. Índice de Figuras. Índice de Tablas. Resumen

Transcripción

1 TABLA DE CONTENIDOS página Dedicatoria Agradecimientos Tabla de Contenidos Índice de Figuras Índice de Tablas Resumen I II IV VIII IX XII 1. Introducción Marco general Presentación del problema Objetivos Objetivo general Objetivos específicos Alcance Descripción de capítulos Antecedentes WordNet Medidas de similitud semántica entre palabras Medidas topológicas Medida de Leacock Chodorow Medida de Hirst y St Onge Medida de Wu Palmer Medida de Resnik Medida de Jiang Conrath Medida de Lin Medida de Mihalcea y Moldovan iv

2 v Medida de Lesk Medida de Banerjee Pedersen (Lesk Adaptada) Medida de Patwardhan Pedersen (vector) Medida de Agirre y Rigau Medida de Path Medidas estadísticas Análisis de la Semántica Latente (LSA) Medidas de similitud sintáctica Distancia de Levenshtein-Damerau Noción básica de similitud entre frases Metodología Introducción al área de estudio Estado del arte Descripción del problema Similitud semántica Similitud semántica en contexto local Similitud semántica en contexto global Aplicaciones de similitud semántica Medidas de similitud entre frases Estudios preliminares Elección de medidas para implementación Propuestas de medidas para similitud de frases Corpus Corpus de Google Corpus de Wikipedia Métrica básica Distancia de edición orientada a palabras Medida secuencial Variantes sobre propuestas de medidas de similitud Variantes sobre Distancia de edición modificada Distancia de edición modificada con sinónimos

3 vi Distancia de edición modificada con Jiang-Conrath Distancia de edición modificada con Lesk Adaptada Variantes sobre Medida secuencial Medida secuencial con sinónimos Medida secuencial con Jiang-Conrath Medida secuencial con Lesk Adaptada Pruebas Pruebas de depuración Pruebas de funcionalidad Pruebas de funcionalidad para Distancia de Edición adaptada Pruebas de funcionalidad para Distancia de Edición adaptada con Sinónimos Pruebas de funcionalidad para Distancia de Edición adaptada con Jiang-Conrath Pruebas de funcionalidad para Distancia de Edición adaptada con Lesk Adaptada Pruebas de funcionalidad para Medida secuencial Pruebas de funcionalidad para Medida secuencial con sinónimos Pruebas de funcionalidad para Medida secuencial con Jiang-Conrath Pruebas de funcionalidad para Medida secuencial con Lesk Adaptada Pruebas de funcionalidad para Métrica básica Pruebas para estudio de métricas bajo distintos casos de prueba Pruebas de estudio para Distancia de Edición adaptada Pruebas de estudio para Medida secuencial Pruebas de estudio para Métrica básica Pruebas de evaluación final Experimento Experimento Experimento

4 vii Experimento Experimento Experimento Experimento Experimento Discusión de la evaluación experimental Conclusiones y trabajo futuro Conclusiones Trabajo futuro Glosario 126 Bibliografía 128 Anexos A: Anexo B: Anexo 2 145

5 ÍNDICE DE FIGURAS página 2.1. Concepto de medida de similitud según Wu-Palmer Segundo paso del método Análisis de la Semántica Latente (LSA) Estructura general de la gramática en el Procesamiento del Lenguaje Natural (PLN) Métrica básica para medir similitud entre frases Distancia de edición adaptada para comparar dos frases Ejemplo de matriz de costos de Distancia de edición orientada a palabras Distancia secuencial para comparar 2 frases Distancia de edición adaptada para comparar dos frases, incluyendo análisis semántico con sinónimos Distancia de edición adaptada para comparar dos frases, incluyendo análisis semántico con Jiang-Conrath Distancia de edición adaptada para comparar dos frases, incluyendo análisis semántico con Lesk Adaptada Distancia secuencial para comparar 2 frases con sinónimos Distancia secuencial para comparar 2 frases con Jiang-Conrath Distancia secuencial para comparar 2 frases con Lesk Adapatada Precisión de las métricas con respecto al ranking promedio Coverage de las métricas con respecto al ranking promedio Precisión de las métricas con respecto a las frases derivadas Coverage de las métricas con respecto a las frases derivadas Sensibilidad de las métricas bajo la operación de intercambio Sensibilidad de las métricas bajo la operación inserción Sensibilidad de las métricas bajo la operación de borrado Eficiencia de las métricas viii

6 ÍNDICE DE TABLAS página 2.1. Sentidos para leaf según WordNet Cadena de hiperónimos para sustantivo day Ejemplo de matriz de co-ocurrencias para método de Análisis de Semántica Latente Definición formal de Distancia de Levenshtein Ejemplos de modificación de cadenas aplicando Levenshtein Ejemplo de Distancia de Levenshtein Definición formal de transposición de caracteres adyacentes en Distancia de Levenshtein-Damerau Diferencia entre (de izquierda a derecha) Distancia de Levenshtein y Levenshtein-Damerau Top 10 de frases candidatas para frase: difícil de ver el futuro es. Error introducido: Palabras en orden incorrecto para idioma español Top 10 de frases candidatas para frase: el perro negro. Error introducido: Frase correcta Top 10 de frases candidatas para frase: equivocado me he. Error introducido: Palabras en orden incorrecto para idioma español Top 10 de frases candidatas para frase: casa en en cordillera. Error introducido: Palabra sobrante en Ejemplo de cálculo para Medida secuencial Prueba de funcionalidad sobre Distancia de Edición adaptada Prueba de funcionalidad sobre Distancia de Edición adaptada Prueba de funcionalidad sobre Distancia de Edición adaptada Prueba de funcionalidad sobre Distancia de Edición adaptada con Sinónimos Prueba de funcionalidad sobre Distancia de Edición adaptada con Sinónimos Prueba de funcionalidad sobre Distancia de Edición adaptada con Sinónimos ix

7 x 7.7. Prueba de funcionalidad sobre Distancia de Edición adaptada con Jiang-Conrath Prueba de funcionalidad sobre Distancia de Edición adaptada con Jiang-Conrath Prueba de funcionalidad sobre Distancia de Edición adaptada con Jiang-Conrath Prueba de funcionalidad sobre Distancia de Edición adaptada con Lesk Adaptada Prueba de funcionalidad sobre Distancia de Edición adaptada con Lesk Adaptada Prueba de funcionalidad sobre Distancia de Edición adaptada con Lesk Adaptada Prueba de funcionalidad sobre Medida secuencial Prueba de funcionalidad sobre Medida secuencial Prueba de funcionalidad sobre Medida secuencial Prueba de funcionalidad sobre Medida secuencial con sinónimos Prueba de funcionalidad sobre Medida secuencial con sinónimos Prueba de funcionalidad sobre Medida secuencial con sinónimos Prueba de funcionalidad sobre Medida secuencial con Jiang-Conrath Prueba de funcionalidad sobre Medida secuencial con Jiang-Conrath Prueba de funcionalidad sobre Medida secuencial con Jiang-Conrath Prueba de funcionalidad sobre Medida secuencial con Lesk Adaptada Prueba de funcionalidad sobre Medida secuencial con Lesk Adaptada Prueba de funcionalidad sobre Medida secuencial con Lesk Adaptada Prueba de funcionalidad sobre Métrica básica Prueba de funcionalidad sobre Métrica básica Prueba de funcionalidad sobre Métrica básica Prueba de estudio sobre Distancia de Edición y sus variantes. Frase de entrada utilizada: el primer hombre que la luna pisó Prueba de estudio sobre Distancia de Edición y sus variantes. Frase de entrada utilizada: la bebe dormía la en su cuna Prueba de estudio sobre Distancia de Edición y sus variantes. Frase de entrada utilizada: el cigarrillo puede cáncer producir

8 xi Prueba de estudio sobre Distancia de Edición y sus variantes. Frase de entrada utilizada: del río aumento del caudal Prueba de estudio sobre Distancia de Edición y sus variantes. Frase de entrada utilizada: en casa de palo cuchillo de herrero Prueba de estudio sobre Medida secuencial y sus variantes. Frase de entrada utilizada: el primer hombre que la luna pisó Prueba de estudio sobre Medida secuencial y sus variantes. Frase de entrada utilizada: la bebe dormía la en su cuna Prueba de estudio sobre Medida secuencial y sus variantes. Frase de entrada utilizada: el cigarrillo puede cáncer producir Prueba de estudio sobre Medida secuencial y sus variantes. Frase de entrada utilizada: del río aumento del caudal Prueba de estudio sobre Medida secuencial y sus variantes. Frase de entrada utilizada: en casa de palo cuchillo de herrero Prueba de estudio sobre Métrica básica. Frase de entrada utilizada: el primer hombre que la luna pisó Prueba de estudio sobre Métrica básica. Frase de entrada utilizada: la bebe dormía la en su cuna Prueba de estudio sobre Métrica básica. Frase de entrada utilizada: el cigarrillo puede cáncer producir Prueba de estudio sobre Métrica básica. Frase de entrada utilizada: del río aumento del caudal Prueba de estudio sobre Métrica básica. Frase de entrada utilizada: en casa de palo cuchillo de herrero