Sistemas de Búsqueda de Respuesta para Temáticas Agrícolas

Transcripción

1 Sistemas de Búsqueda de Respuesta para Temáticas Agrícolas Ing. Katia Vila Rodríguez. MSc. Antonio C. Fernández Orquín. Departamento de Informática Universidad de Matanzas Camilo Cienfuegos Resumen. Se ha diseñado un sistema que responde consultas en lenguaje natural a información agrícola. La información está compuesta por artículos y conferencias en formato texto. Se describen las bases para implementar el sistema, y los módulos necesarios para resolver la interrogante propuesta por el usuario. Los usuarios pueden ser estudiantes o profesores, expertos en el tema; los últimos ayudarían al sistema engrosando la colección de preguntas frecuentes. Se explican las partes más importantes del sistema que se propone: el análisis de la pregunta que realiza el usuario, la recuperación de la información para reducir el ámbito de búsqueda a una cantidad de documentos pequeña, la selección de la sección exacta en la que se encuentra la pregunta en los documentos que se han recuperado y por último la extracción de la respuesta concreta a la pregunta que se ha realizado, utilizando técnicas de búsqueda de respuesta. Su relevancia está en la utilización del lenguaje natural para la interacción del usuario con la información disponible sobre temas agrícolas y las facilidades que ofrece en el estudio de los alumnos sin la presencia del profesor. Tiene una gran novedad práctica en Cuba, ya que no se ha podido comprobar, en la bibliografía consultada, la existencia de un sistema de acceso en lenguaje natural a información para algún dominio especifico. Además se puede considerar una herramienta que facilita en gran medida el proceso de enseñanzaaprendizaje. I. Introducción. La estrategia cubana de desarrollo ha concedido especial atención al sistema educativo, por ser uno de los ejes principales para lograr la modernización de la estructura económica. Por lo tanto, es indiscutible la importancia que tiene el proceso docente en las Instituciones de Educación Superior, pues representa la clave principal en la formación de profesionales, encaminados a incrementar mejoras en la tecnología y los procesos, para contribuir al desarrollo ascendente de nuestro país. Actualmente el sistema educacional, atraviesa por nuevos procesos como es la implantación del modelo semipresencial. El papel protagónico en ese nuevo modelo lo juega el estudiante y desarrolla en él habilidades de autoestudio, innovación e investigación, al contar con una mayor cantidad de horas para su autosuperación sin la dirección del profesor. En el desarrollo del estudiante como individuo y futuro - 1 -

2 profesional, el modelo tiene múltiples ventajas ya que le brinda mayor libertad y lo educa a estar en constante superación. La implantación inmediata del modelo trae consigo algunas dificultades que es necesario resolver; como son: la disponibilidad de abundante información para el estudio y facilitar la búsqueda dentro de esa gran cantidad de información, para que el estudiante aproveche correctamente su tiempo. El objetivo del presente trabajo es precisamente solucionar la última dificultad. Para lo cual se trazó la tarea de diseñar un sistema de búsqueda de respuesta para un dominio específico como son los temas agrícolas. El sistema que se propone implementar en un futuro inmediato lograría a partir de una pregunta del estudiante devolver el pasaje, dentro de un texto, en el que se haya la respuesta. El Procesamiento del Lenguaje Natural (PLN) es una de las ramas principales de la Inteligencia Artificial, y estudia una propiedad importante de la inteligencia humana: su capacidad de comunicarse por medio del lenguaje. Una parte importante del diálogo humano consiste en hacer preguntas y recibir respuestas y este proceso, realizado de forma ordenada y guiado por una finalidad, constituye uno de los procesos básicos del aprendizaje humano. El trabajo tiene una gran actualidad, ya que el procesamiento del lenguaje natural se considera una de las bases para el desarrollo de la sociedad de la información del futuro. Por lo que se realizan muchísimas investigaciones en pro de lograr sistemas y aplicaciones cada vez más eficientes en la tarea de procesar el lenguaje natural. Los sistemas de Pregunta y Respuesta o también conocidos como de Búsqueda de Respuestas (BR), o en su denominación inglesa Question Answering, se han convertido en los potenciales sucesores de los buscadores tradicionales de información como son Google o Yahoo. El objetivo de los sistemas clásicos de búsqueda o recuperación de información o Information Retrieval es devolver una relación ordenada de documentos, los cuales aparecerán ordenados en función de su relevancia sobre la pregunta realizada por el usuario. Sin embargo, el objetivo de los sistemas de BR es mucho más ambicioso que el mejorar la precisión o calidad de los resultados devueltos. Estos sistemas pretenden devolver el trozo de texto que contiene la información requerida por el usuario, y no el documento completo como sucede en los buscadores tradicionales. Antes de adentrarnos en este tema, tenemos que repasar un concepto muy importante dentro de este vasto mundo del procesamiento de la información digital. Los sistemas de Recuperación de Información (RI) constituyen una herramienta importante para la BR, sus tareas son seleccionar y recuperar los documentos relevantes a una cierta necesidad de información de los usuarios. El resultado final de estos sistemas es un conjunto ordenado de documentos, en los que se ha medido la similitud con la pregunta realizada y sobre la base de este criterio estarán ordenados, evidentemente dando prioridad a aquellos en los que se haya encontrado la mayor relevancia con relación a las necesidades de información de los usuarios. Esta característica de los sistemas de RI los hace tener una importancia fundamental en los sistemas de BR, pues estaríamos reduciendo en dominio de búsqueda a una cantidad considerablemente menos que si lanzáramos las preguntas sobre todo el volumen de documentos indexados

3 Los sistemas de BR son aquellos que permiten, de forma automática, encontrar una respuesta concreta a unas necesidades muy precisas de información. Como se expresa con anterioridad, su importancia radica en que, a diferencia de los de RI, éstos extraerán solamente una parte de la información de un documento, la que ha sido considerada la respuesta precisa a la pregunta formulada por el usuario. De esta forma, no será necesario tener que leer el documento en su totalidad para encontrar la información deseada. Otro aspecto que diferencia a los sistemas de BR es que se necesita que la pregunta esté expresada en su forma completa en lenguaje natural, es decir, con el mayor nivel de detalle posible, por ejemplo: Cuál es la clasificación de las redes de riego?, Qué propiedades químicas tiene el citoplasma?, Cuáles son los procesos de la fijación del nitrógeno en la naturaleza? Mientras que los buscadores tradicionales tan sólo requieren como entrada una secuencia de palabras clave, por ejemplo para la primera pregunta sería: clasificación redes riego. Los sistemas de BR pueden ser utilizados en muchas esferas de la vida diaria, así por ejemplo, hemos visto aplicaciones en: Sistemas de BR sobre dominios específicos. Sistemas de consultas de datos y documentos. Búsqueda de preguntas frecuentes. Ayudas en línea. En el trabajo se refleja la propuesta sobre lo que se pretende sea un sistema de búsqueda de respuesta para un dominio específico. Se muestra el modelo a seguir, así como una explicación de las etapas de la metodología propuesta. Se exponen los elementos fundamentales para la creación del módulo de recuperación de información con la utilización de técnicas de PLN. Se hace una propuesta del modelo a seguir, se describen las estructuras sintácticas en las que se basa la generación de los datos a almacenar y una breve descripción de la metodología que se utiliza. II. Desarrollo. Se tiene que ver el problema dividido en varias etapas. Como es lógico, se debe hacer un análisis de la pregunta para poder descubrir sobre qué nos están interrogando. Como parece ser ya un elemento adoptado por muchos investigadores, debemos realizar como otro de los pasos, una RI para reducir con esto el espacio de búsqueda a una cantidad de documentos mucho menor que el de la colección completa. Luego pasaríamos a realizar la selección de la sección exacta en la que se encuentra la pregunta en los documentos que se han recuperado y por último la extracción de la respuesta concreta a la pregunta que se ha realizado. De esta forma se tiene un sistema compuesto por varios módulos: 1. Análisis de la pregunta. 2. Recuperación de documentos con la Información relevante a la pregunta. 3. Selección de la zona de los documentos donde suponemos se encuentra la respuesta. 4. Extracción de las respuestas

4 5. Búsqueda de preguntas frecuentes (FAQ s). Un modelo que reflejaría nuestra propuesta sería el que aparece a continuación en la figura No.1. Proceso Off line Textos planos, documentos a recuperar PLN Analizador Morfológico Estemizador Indexador PLN Analizador Sintáctico PLN Analizador Indexador Almacenar Textos planos, documentos Documentos Recuperados Motor de Búsqueda Recuperación Búsqueda Pregunta Análisis de la pregunta Motor de búsqueda Extracción de respuesta Selección de zonas o pasaje relevantes FAQ s Respuesta Figura No.1. Arquitectura del sistema de BR propuesto

5 Funcionamiento del modelo. Una vez lanzada la pregunta, en el módulo Análisis de la pregunta se realizarán los procesos morfo-sintácticos que nos darán la información necesaria para el módulo de Recuperación y el de Selección. Además a partir de ese primer módulo quizás sea posible extraer ya la respuesta a la interrogante del usuario haciendo un llamado al módulo de Extracción y este accede al módulo FAQ porque quizás la pregunta hecha por el usuario es muy similar a algunas de las ya almacenadas en la base de datos FAQ por ese módulo; de lo contrario se sigue el orden lógico del sistema. El módulo de recuperación de información propuesto devolverá los pasajes relevantes a la pregunta y esa información será tratada en el módulo de Selección, en él se buscarán los pasajes relevantes a la pregunta. Esto se hará con la información morfo-sintáctica de la pregunta. La salida de este módulo será pasada al módulo de Extracción en que se harán todos los procesos hasta obtener la respuesta final. En este último módulo se aplicarán todos los patrones y algoritmos de extracción. Evidentemente se necesita información también del módulo de Análisis. A diferencia de la técnica utilizada en [Vicedo, 2002], los patrones de preguntas estarán basados en información léxica unos y en información sintáctica otros, los que luego servirán para hacer una combinación de ambas informaciones y decidir en la extracción de la respuesta final. Descripción de cada módulo propuesto. 1. Análisis de la pregunta. De este módulo depende en gran medida el éxito del resto del sistema. Al procesar la pregunta, se extrae la información necesaria para lanzar el segundo módulo, en el que se recuperarán los documentos con información relevante a dicha pregunta. Es necesario, para entender qué está preguntando el usuario, la utilización de patrones de preguntas. Existen otras técnicas que no se describen en el trabajo porque se alejan de la idea que se aplica en nuestro proceso. Estos patrones serán patrones léxicosintácticos, ya que se cuenta con información que nos aporta el análisis hecho con la herramienta SUPAR [Ferrández, 2002], pero también se utiliza una comprobación con patrones léxicos, que se generarán a partir de la información obtenida con el analizador morfológico. Lo antes expuesto presupone un estudio profundo de la estructura léxica de las posibles preguntas y a partir de aquí extraer los patrones léxicos, así como un estudio de la estructura semántica de dichas preguntas para obtener los patrones semánticos. En este sentido el analizador morfológico también nos puede auxiliar, con esta comprobación se puede salvar en alguna medida los errores que pudieran proceder del análisis sintáctico propuesto y evidentemente el análisis sintáctico se convertiría en comprobador de los errores léxicos, ambas técnicas tendrían la finalidad de complementarse para evitar los errores que se sabe están asociados a la utilización de estas herramientas. Sólo queda hacer un balance entre ambas variantes y dar un peso a cada información obtenida; esto será corroborado en la práctica con la implementación futura del sistema

6 Explicación de cómo se hace el tratamiento de la pregunta A la pregunta del usuario se le hará el mismo análisis que se le hace a los documentos que serán indexados con información morfo-sintáctica, formándose una tabla con la misma característica que la tabla No.1. Con la diferencia de que calcularemos también la f q,t (frecuencia de aparición del termino en la pregunta, así cómo w q,t (peso o poder discriminatorio del término en la pregunta). Luego la comprobación de similitud entre la pregunta y los documentos se hará utilizando una de las formas más conocidas, la medida de similitud de Coseno. 2. Recuperación de documentos con la Información relevante a la pregunta. Ya hemos comentado la necesidad de hacer una reducción importante del dominio de búsqueda, pues entre otras cosas, una de las características que tiene que tener un sistema de BR es la rapidez en la generación de la respuesta, elemento que se vería seriamente afectado si trabajáramos con el dominio completo. El resultado obtenido después de lanzar nuestro sistema de RI es un conjunto mucho más reducido en el que intentaremos extraer la respuesta buscada. Las técnicas de PLN, hasta el momento no reportan mucho beneficio en la Recuperación de Información, obteniéndose en muchos casos mejores resultados con sistemas basados en información estadística, debido al coste computacional y a los discretos incrementos logrados, con relación a precisión y cobertura de los sistemas que utilizan técnicas de PLN, sea la causa por la que muchos investigadores han preferido otras técnicas. Se puede afirmar que una de las causas es la cantidad de errores acumulativos con los que se debe lidiar por parte de las herramientas de PLN con que se cuenta en la actualidad, o se debe a que no se han aplicado dichas técnicas con la profundidad necesaria como para que se puedan obtener resultados más relevantes. Por ello se ha propuesto un modelo para un sistema de RI que haga uso del PLN pero que esté respaldado además por otros análisis; con su futura implementación y prueba se verificará su eficacia sobre otros sistemas existentes. Descripción del modelo de RI. En un principio se había ideado utilizar los métodos de RI mediante técnicas estadísticas y complementarlos con la utilización del PLN. Haciendo un análisis posterior, se llegó a la conclusión de que con esa idea sólo se incrementarían los tiempos de recuperación, ya que sería, prácticamente, adicionar a estas técnicas, todo lo correspondiente a PLN. Tal vez se lograría mejorar los resultados de precisión pero con un incremento sustancial del tiempo de respuesta. Por lo tanto que se hará es tener una indexación en la que se almacenen los términos y sus frecuencias de aparición, tanto en el documento como en la colección y combinada con ésta tener la que se realizará teniendo en cuenta información morfo-sintáctica. Sólo nos queda por resolver como conectar ambas indexaciones. El esquema de la propuesta para el módulo de RI sería el que aparece en la figura No.1 como el Motor de Búsqueda

7 Para poder hacer el indexado con información morfo-sintáctica es necesario un análisis de las estructuras sintácticas obtenidas a partir del procesamiento de los datos después de pasarlos por sendos procesos de etiquetado morfológico y sintáctico. El objetivo es poder determinar las entidades y sus modificadores dentro de un sintagma nominal, para con ello poder llenar la tabla No.1. Al mismo tiempo se aprovecha la salida del analizador morfológico para realizar el stem del lema, esta será la forma en que se almacenarán las palabras, en el proceso de indexación, con sus frecuencias de aparición, tanto del término en el documento, como del término en la colección. Las palabras que se almacenan en ambas bases de datos tienen que tener un elemento que las relacione. Del análisis realizado a documentos sobre temáticas agrícolas se han extraído algunos patrones de sintagmas nominales que servirán para obtener las entidades y sus correspondientes modificadores. Ejemplo, del fragmento de texto: Citoplasma, término que se utiliza para designar todo el protoplasma excepto el núcleo. El citoplasma contiene un gran número de moléculas pequeñas en disolución, así como moléculas grandes en suspensión, que forman el coloide citoplasmático. El citoplasma está rodeado por una membrana unitaria y dentro de él hay muchas estructuras membranosas. La mayor de esas estructuras es el retículo endoplasmático, sistema complejo de vesículas y canales intercomunicados que forma un retículo por todo el citoplasma En las células vegetales también se puede hallar el orgánulo pequeño, los microcuerpos Los citados sistemas membranosos están revestidos por membranas unitarias simples Se definieron los siguientes patrones: Patrones de sintagmas nominales: 1. Sólo núcleo: SN Citoplasma SN Núcleo 2. Núcleo compuesto : citoplasmático Núcleo SN coloide SN Núcleo compuesto 3. Núcleo compuesto + modificador Adj. + modificador SN / Aposición: endoplasmático Núcleo retículo, sistema complejo vesículas intercomunicadas Núcleo compuesto Núcleo Adj. Núcleo Adj. SN SN - Aposición SN - 7 -

8 4. Núcleo + modificador Adj + modificador SN sistema complejo vesículas intercomunicadas Núcleo adj. Núcleo adj. SN SN - Aposición 5. Modificador determinante + Núcleo + Modificador adjetivo el orgánulo pequeño Det. Núcleo Adj. SN 6. Modificador determinante + Adj. + Núcleo + Sintagma prep. un gran número de moléculas pequeñas Det. Adj. Núcleo SN 7. Modificador determinante + Adjetivo + Núcleo +Adjetivo los citados sistemas membranosos Det. Adj. Núcleo Adj. 8. Modificador determinante + Núcleo El citoplasma Det. SN Núcleo Explicación de cómo llenar la tabla de entidades-modificadores SP Supongamos que los procesos descritos son capaces de detectar bien la morfología y la sintaxis de los documentos. Utilizando como ejemplo el fragmento anterior, tomando la oración 2, tendríamos las siguientes entidades: Entidad Modificadores citoplasma [] Coloide citoplasmático [] moléculas [pequeñas en disolución, grandes en suspensión] coloide [citoplasmático] número [gran] disolución [] suspensión [] Tabla No. 1. EM, Entidades y Modificadores. Haciendo un análisis sólo para la primera cláusula, se pueden apreciar los siguientes patrones de sintagmas en los que nos apoyamos para confeccionar la tabla de Entidades- Modificadores: - Núcleo compuesto : citoplasmático Núcleo SN Coloide SN Núcleo compuesto - 8 -

9 Se tiene este Sintagma Nominal compuesto el que nos generara dos entidades, una en la que se almacenaría el sintagma compuesto como tal (Coloide citoplasmático) y la otra donde el núcleo (coloide) estaría siendo modificado por el otro núcleo (citoplasmático). De esta forma iríamos representando los demás SN hasta formar toda la tabla. Explicación de cómo hacer la indexación de los documentos. Como se muestra en la figura No.1. existe un proceso off line, el cual consta de una primera etapa que es obtener los textos originales. Los textos serían facilitados por los profesores de asignaturas agrícolas. Éstos serán pasados por el analizador morfológico, que hará el etiquetado de todas las palabras de los documentos, colocándoles su categoría morfológica. Este proceso aportará información para las dos indexaciones que se pretenden realizar, en un caso se realizará un proceso de estemizado y en el otro el análisis sintáctico. Posteriormente cada indexación realizará procesos diferentes hasta llegar al almacenamiento de los términos. El Analizador Indexador, sería el corazón del módulo de RI, pues aquí se hace todo el análisis de la información morfo-sintáctica para poder llenar la tabla de Entidades-Modificadores, en la que se almacenarán las entidades encontradas, con sus correspondientes modificadores. Esta información es almacenada en una base de datos textual que contendrá todos los documentos debidamente indexados con su correspondiente relación con el término estemizado en la otra base de datos. Como se puede apreciar pudieran existir casos en los que fuera imposible lograr una similitud de los términos de la pregunta con los de nuestra tabla. Para salvar esta problemática y tal vez para hacer algo más robusta la aplicación a los errores de las herramientas de PLN, se utiliza también el indexado complementario que se muestra en el modelo (ver fig. No.1). De éste aprovecharemos dos elementos importantes, la frecuencia de aparición del término en el documento, y del término en la colección, así como también podríamos constar con el stem. Estos elementos combinados con la información que se tiene permitirán mejorar la recuperación. Al comenzar la búsqueda se hará en la base de datos que ha sido obtenida a partir de la indexación con información morfo-sintáctica. Si los resultados de la similitud entre la pregunta y los documentos no alcanzan un valor considerablemente alto, entonces la recuperación se haría utilizando la base de datos que posee la información estadística. Si al realizar la búsqueda no se llegaran a encontrar documentos con un valor de similitud relativamente alto, entonces se realizaría la búsqueda en las otras bases de datos. 3. Selección de la zona del documento donde suponemos se encuentra la respuesta. Como el proceso de RI estará basado en la recuperación de pasajes [Llopis, 2003], este módulo debe dedicarse a la detección de los fragmentos relevantes en los que se buscaría la posible respuesta. Esto facilitaría en gran medida la extracción de la respuesta, pues se tendría que detectar en una pequeña porción del documento. Lo cuál resultaría además muy cómodo si se desea mostrar la justificación de la respuesta

10 4. Extracción de las respuestas. Aquí corresponde procesar aquellos pasajes que se han seleccionado en el proceso anterior y dentro de ellos intentar seleccionar la respuesta a la pregunta formulada. (ver figura No.1). Además desde este módulo se hace necesario llamar al módulo FAQ, para que se encargue de analizar si debe almacenar o no la pregunta realizada en la base de datos de preguntas frecuentes. También puede ser llamado este módulo desde que se realice el análisis de la pregunta del usuario para que a través del módulo FAQ, compruebe si existe o no una pregunta similar almacenada con su correspondiente referencia a la respuesta. 5. Respuestas a Preguntas Frecuentes (FAQ). En el instante en que es llamado este módulo, debe realizar una comparación entre la pregunta del usuario y las preguntas que tiene almacenada, si existe alguna con similitud pues se devolverá la misma respuesta. De lo contrario ya el sistema conoce que cuando se halle la respuesta a esa nueva pregunta deberá ser almacenada en la base de datos FAQ, con la referencia al pasaje y documento donde se encuentra la respuesta. Además se tendrá un conteo minucioso de la cantidad de veces que se realiza por parte del usuario una misma pregunta, para así contar con un coeficiente de frecuencia. Cuando se implemente el sistema se analizará como tratar las preguntas con menor índice de frecuencia, si serán eliminadas o no, en dependencia de la disponibilidad de memoria que se tenga. III. Conclusiones Este trabajo puede ser de gran ayuda en el marco educativo, ya que es la base teórica de un sistema, que puede constituir una ayuda importante para estudiantes que buscan una información concreta en el dominio de una asignatura en cuestión Es evidente que desarrollar un modelo eminentemente teórico corre el riesgo de presuponer muchas cosas que tal vez en la práctica no sean tan factibles como se piensen, pero es necesario e imprescindible para poder implementar cualquier sistema este primer paso. Por ello recomendamos la inmediata implementación y prueba del sistema de búsqueda de respuesta propuesto. Confiamos en que muchas de las ideas que aquí se han reflejado serán efectivas y eficientes y creemos firmemente que los modelos combinados pueden aportar mucho a la recuperación de información. La aplicación de técnicas de PLN a la BR debe incrementar en gran medida la precisión de dichos sistemas, ya que la búsqueda de respuesta necesita de algo más que información estadística. Por otra parte, se puede ver claramente las ventajas de las técnicas de RI basadas en pasajes en la BR, pues poder contar con pequeñas partes del documento donde buscar la respuesta, conlleva a una disminución de los esfuerzos necesarios de la búsqueda de la respuesta en la totalidad del documento

11 IV. Bibliografía [Cazorla, 1999]. Miguel A. Cazorla, Otto Colomina, Francisco Escolano, Domingo Gallardo, Ramón Rizo y Rosana Satorre. Técnicas de Inteligencia Artificial. Universidad de Alicante, Textos Docentes [Covington, 1994] M. A. Covington. Natural Language Processing for Prolog Programmers. Prentice Hall [Ferrández, 2002] Antonio Ferrández. Sistemas de Pregunta y Respuestas. Departamento de Lenguajes y Sistemas Informáticos, Universidad de Alicante [Llopis, 2003] F. Llopis. IR-n: Un sistema de Recuperación de Información basado en Pasajes. Tesis Doctoral [Moreno, 1993] L. Moreno. Formalismos Lógicos para el Análisis e interpretación oracional del Lenguaje Natural. Tesis Doctoral (FI - Universidad Politécnica de Valencia), [Moreno, 1999]. Lidia Moreno, Manuel Palomar, Antonio Molina y Antonio Ferrández (1999). Introducción al Procesamiento del Lenguaje Natural, Servicio de publicaciones de la Universidad de Alicante, Alicante. [Vicedo, 2002] José L. Vicedo. SEMQA: Un modelo semántico aplicado a los sistemas de Búsqueda de Respuestas. Tesis presentada en opción al grado de Doctor, Departamento de Lenguajes y Sistemas Informáticos, Universidad de Alicante, España En este apartado, se puede encontrar información adicional a la presentada en el trabajo. La bibliografía la hemos agrupado según esté relacionada con la propia Recuperación de Información, sobre los sistemas de Recuperación de Pasajes, sobre Sistemas de Búsqueda de Respuestas, el sistema de BR desarrollado en la Universidad de Alicante, sobre el sistema de procesamiento del lenguaje natural empleado (Slot Unification Parser for Anaphora Resolution o SUPAR), y finalmente sobre la base de datos léxica WordNet. Sobre Recuperación de Información se destaca: Ricardo Baeza-Yates, Berthier Ribeiro-Neto. Modern Information Retrieval. Addison Wesley G. G. Chowdhury. Introduction to modern information retrieval. Library Association Publishing London Tomek Strzalkowski (editor). Natural Language Information Retrieval. Kluwer Academic Publishers IR & NLP Course (curso disponible en la web y realizado por la UNED): Salton, Gerard A. Automatic Text Processing: The Transformation, Analysis, and Retrieval of Information by Computer, Addison Wesley. New York Bibliografía para los sistemas de Recuperación de Pasajes:

12 Llopis, F.; Vicedo, J.L.; Ferrández, A. Using a passage retrieval system to support question answering process. Actas del 2002 International Conference on Computational Science (ICCS). Lecture Notes in Computer Science. Springer- Verlag Sobre los sistemas de Búsqueda de Respuestas: Text REtrieval Conference (TREC) Home Page: Jaime Carbonell, Donna Harman, Eduard Hovy, Steve Maiorano, John Prange, Karen Sparck-Jones. Vision Statement to Guide Research in Question & Answering (Q&A) and Text Summarization John Burger, Claire Cardie, et al. Issues, Tasks and Program Structures to Roadmap Research in Question & Answering (Q&A) Moldovan, D.; Harabagiu, S.; Pasca, M.; Mihalcea, R.; Goodrum, R.; Girju, R.; Rus, V. LASSO: A Tool for Surfing the Answer Net. Actas del Eighth Text REtrieval Conference (TREC-8). Gaithersburg, Maryland (EEUU) Sobre el sistema de Búsqueda de Respuestas desarrollado en la Universidad de Alicante: Vicedo, J.L.; Llopis, F.; Ferrández, A. University of Alicante. Experiments at TREC Actas del Eleventh Text REtrieval Conference (TREC-11). Gaithersburg, Maryland (EEUU) Vicedo, J.L.; Ferrández, A.; Llopis, F. University of Alicante at TREC-10. Actas del Tenth Text REtrieval Conference (TREC-10). Gaithersburg, Maryland (EEUU) Vicedo, J.L.; Ferrández, A. A semantic approach to Question Answering systems. Actas del Nineth Text REtrieval Conference (TREC-9). Gaithersburg, Maryland (EEUU) Sobre el sistema de procesamiento del lenguaje natural, Slot Unification Parser for Anaphora Resolution (SUPAR): Palomar, M.; Ferrández, A.; Moreno, L.; Martínez-Barco, Patricio; Peral, J.; Saiz-Noeda, M.; Muñoz, R. An Algorithm for Anaphora Resolution in Spanish Texts. Computational Linguistics. Special Issue on Anaphora and Ellipsis Resolution. 27(4): Ferrández, A.; Palomar, M.; Moreno, L. An empirical approach to Spanish anaphora resolution. Machine Translation. Special Issue on Anaphora Resolution in Machine Translation. 14(3/4): Sobre la herramienta léxica WordNet: Miller, G. Wordnet: A Lexical Database for English, en Communications of the ACM 38(11):

13 Miller, G.; Beckwith, R.; Fellbaum, C.; Gross, D.; Miller, K. Five Papers on WordNet, CLS Rep. 43, Princeton University, Cognitive Science Laboratory