Resumen automático IA

Transcripción

1 Resumen automático IA Bernardo Garcés Chapero (bernardo.garces) Grupo /2009 Q1

2 Índice de contenido 1 Introducción Motivación Ejemplos de uso de resumen automático Resumen automático Historia del resumen automático Variables a considerar Fuente Idioma Genero Dominio Especificidad Contenido a extraer Formato de entrada Formato de salida Grado de compresión Genericidad Tipo de resumen Áreas relacionadas Tratamiento del lenguaje natural Comprensión del lenguaje natural Generación de lenguaje natural Minería de texto Traducción automática Enfoques Extracción Abstracción Resumen guiado Técnicas Análisis superficial Basada en entidades Basada en la estructura Evaluación Propiedades importantes Métricas reconocidas Enfoques Evaluación intrínseca Coherencia Informativo Precisión Ranking Similitud del contenido Evaluación extrínseca Juego de Shannon Test de preguntas Juego de clasificaciones Asociación de palabras clave Bibliografía...19

3 1 Introducción Conocemos el término resumen como la representación abreviada y precisa de una o varias fuentes. El resumen de una fuente debe representar las ideas principales de esta, ya que el contenido global de la fuente gira alrededor de estas ideas. Para que un resumen sea correcto, debe tener una serie de propiedades, entre ellas tenemos la objetividad, la coherencia y la facilidad de comprensión. Sin embargo, no siempre es suficiente evaluar la utilidad de un resumen en relación esas propiedad, ya que esta es altamente dependiente del usuario que lo esta leyendo. 1.1 Motivación En un proceso de búsqueda de información, a aquel que lo este llevando a cabo puede llegar a resultarle imposible leer completamente todas y cada una de las fuentes de las que dispone, por lo tanto, disponer de un pequeño resumen de cada una de ellas facilita la tarea de poder seleccionar aquellas que se puedan acercar más a lo que está buscando y poder descartar el resto (o darles menos prioridad). Un resumen también puede resultar útil para aquella persona interesada únicamente en conocer los conceptos o ideas principales de una o varias fuentes, no estando interesada en su totalidad, ya sea por falta de tiempo o por no ser necesario para su objetivo. Estos y otros motivos, hacen necesario que se plantee el hecho de querer encontrar formas de realizar resúmenes automáticos de fuentes de todo tipo. Si a esto se le añade la creciente avalancha de información en internet, el resumen automático se convierte en una gran herramienta para acceder a la información de forma coherente y resumida, ya que la cantidad de información que se encuentra en la red es inabordable sin este tipo de métodos. 1.2 Ejemplos de uso de resumen automático El mejor ejemplo que puede utilizarse para ilustrar una de las tantas aplicaciones que se le puede dar al resumen automático, es el del buscador Google, cuyo sistema de búsqueda producen un pequeño resumen de lo que considera significativo del enlace al que apunta. Además del resumen, Google marca con un tipo de letra más oscuro las palabras que se corresponden con los términos buscados.

4 También es un ejemplo de resumen la información que aparece en algunos blogs sobre los temas principales de los que se habla, con enlaces a las entradas de interés.

5 2 Resumen automático El resumen automático es pues, la técnica que se utiliza para generar resúmenes de una o varias fuentes mediante un programa informático. 2.1 Historia del resumen automático Las primeras muestras de interés hacia la elaboración de resúmenes automáticos aparecen en los años 60 en algunas bibliotecas de EEUU, donde querían indexar digitalmente el contenido de la biblioteca para facilitar su busqueda. Al existir restricciones en el volumen de almacenamiento disponible, era imposible almacenar la totalidad de los documentos, por lo que se hacia necesario almacenar pequeños resúmenes de estos para que quien los consultara pudiese conocer más acerca de ellos. Si bien algunos documentos ya disponían de un resumen para poder utilizarse en este caso, otros no lo tenían, y esto hacia que se despertase el interés por técnicas que permitiesen hacer resúmenes automáticos de las fuentes que no disponían de uno. Durante los siguientes 30 años se continuo usando y evolucionando esta técnica en otros ámbitos, pero no es hasta los años 90, con la expansión de la World Wide Web y la aparición de innumerables fuentes de información, cuando los resúmenes automáticos cobran mayor importancia. Sin embargo, la situación actual es completamente diferente a la de los años 60, pues a diferencia de aquel entonces, ahora la capacidad de almacenamiento es mucho mayor debido a que la unidad de almacenamiento es mucho más barata, y esto es algo que seguramente irá en aumento. Por eso, el problema actual es el de filtrar la abundante información disponible en pequeños resúmenes para que esta pueda ser abordable. De ahí la importancia que cobran en estos momentos las técnicas de resumen automático. 2.2 Variables a considerar Si bien es cierto que hay una serie de propiedades deseables en un resumen, no todos los resúmenes tienen las mismas necesidades. Hay diferentes variables o criterios que hay que considerar a la hora de hacer un resumen automático de una fuente, como por ejemplo la persona a la que va dirigido, el dispositivo que lo reproducirá, el medio de donde se extrae (con su tipo de datos, su idioma, la diversidad de fuentes), etc. Esto provoca que en ocasiones sea necesario que el resumen se ajuste a las necesidades individuales del momento, y que por lo tanto se generen diferentes resúmenes para unas mismas fuentes de entrada. Casos como estos, los podemos representar en las necesidades de los diferentes cargos de una compañía ficticia, donde un alto cargo como el presidente de la compañía puede necesitar un muy breve resumen de datos económicos, de un extenso mail o documento, para que le llegue a su reducido teléfono móvil y el pueda leerlo para tomar una decisión. Por otra parte, un jefe de proyecto de esa misma compañía puede necesitar un resumen de esa misma fuente en la que se detallen los recursos necesarios para llevarlo a cabo. En general, las propiedades que debe tener un resumen varían para cada persona y situación, lo que hace que las posibilidades sean infinitas.

6 2.2.1 Fuente Un importante factor a tener en cuenta es si se trata de una sola fuente o de un conjunto de ellas. Tratar con varias fuentes puede hacer mas compleja la tarea de búsqueda y la selección de información, pero también puede ayudar a esta última valorando las colisiones que aparecen entre las diferentes fuentes para encontrar contenido más identificativo Idioma El idioma en el que se encuentra la fuente es un factor importante, pues al ser necesario el tratamiento del lenguaje natural durante la elaboración del resumen, no siempre es posible encontrar una buena técnica para cualquier idioma. Esta dificultad inherente al tratamiento del lenguaje natural se ve agravada cuando aparece la posibilidad de que la fuente a consultar no sean en un solo idioma (monolingüe), sino que existan diferentes fuentes en diferentes idiomas (multilingüe), o que en una misma fuente se mezclen diferentes idiomas (multilingüe cruzado) Genero El genero de la fuente es también una característica que las herramientas de resumen automático deben tener en cuenta para generar buenos resúmenes. Existen muchos tipos de géneros, y todos ellos tienen peculiaridades a considerar en el momento en que el procesamiento de su contenido se lleva a cabo para extraer los datos relevantes. Cuando se esta intentando resumir una noticia, hay que darle especial importancia al titular y al subtitular de esta, además de a las diferentes citas que puedan aparecer en el contenido. En el caso de un libro, sería conveniente considerar el titulo, el indice, y el propio resumen que aparece en la contraportada de este, así como la sección donde se hable del objetivo y de la temática principal del libro. Otros géneros como los mails o las paginas web, tienen sus peculiaridades en el análisis de la sintaxis con la que se construye la estructura del documento, por ejemplo en un mail puede resultar interesante el campo que contiene el asunto, mientras que en una web puede interesar extraer la información de la etiqueta <meta> Dominio El dominio sobre el que se tiene que hacer un resumen es otra de las variables a considerar. Un sistema dedicado a realizar resúmenes automáticos de un dominio especifico (o de un conjunto de ellos), debe tener conocimiento y técnicas de tratamiento del lenguaje natural adaptadas y específicas para el dominio que trata. Si el dominio que trata utiliza términos médicos, se hace necesario que las técnicas utilizadas para tratar el lenguaje natural sean capaces de comprender correctamente lo que analizan, lo que implica el uso de un buen diccionario de términos médicos y del conocimiento de expertos en la materia para que el tratamiento sea el adecuado Especificidad A pesar de que se este tratando con un dominio especifico, cabe la posibilidad que los datos que se pretenden extraer sean de carácter más general, como por ejemplo cuando alguien no experto desea extraer información de fuentes con un dominio especifico que no

7 le es familiar y espera obtener un resumen en un dominio mas general. Esta característica será útil para poder orientar el resumen a una audiencia especifica Contenido a extraer También se tendrán que tener en cuenta las necesidades de la persona o el sistema que solicite el resumen cuando se trate de decidir la naturaleza de los datos que deben extraerse. Es posible que de todo el contenido de una fuente, solo se precisen datos relacionados con precios, o datos relacionados con otro tipo de referencias Formato de entrada Los resúmenes automáticos no tienen por que tratar solamente con fuentes textuales, la gran variedad de formatos de datos existentes en la red y en otros medios hacen interesante el hecho de que existan formas de realizar resúmenes automáticos de todo tipo de contenidos, ya sean documentos de texto, grabaciones de voz, gráficas de las que extraer conclusiones, tablas de las que extraer datos o cualquier tipo de elementos multimedia que contengan información susceptible a ser tratada y resumida. Sin embargo, cada uno de los medios utilizados necesitan un tratamiento especifico, por lo que en general, se habla de resumen automático cuando se esta tratando texto Formato de salida Si bien se debe poder generar un resumen a partir de cualquier formato de fuentes, también se debería poder generar el resumen en un formato adecuado a las necesidades del que lo solicita. Un buen ejemplo de formato de salida diferente al texto, podría ser la posibilidad de generar resúmenes en formato de audio para aquellas personas con discapacidades visuales, también puede ser útil que el contenido viniese en una tabla o en un gráfico, ya que estos últimos pueden ser considerados como formas de resumir el contenido Grado de compresión Dependiendo de las exigencias o necesidades de la persona, el sistema o el dispositivo que requiera el resumen, será necesario que este se ajuste a un volumen adecuado. Por ejemplo, un teléfono móvil de tamaño reducido necesitará que el resumen sea corto para que se pueda leer de forma cómoda, mientras que un resumen destinado a ser visualizado en una pagina web puede tener mayor tamaño. A la relación entre el tamaño del resumen generado y el tamaño total de la fuente o fuentes a resumir se le llama grado de compresión, y este puede variar del 0% al 100%. Para ilustrar a que hace referencia ese porcentaje, hay que considerar que un resumen con grado de compresión del 1% sería el que deseche el 99% del volumen total de la fuente, mientras que un resumen con grado de compresión del 99% sería el que escribe el contenido de la fuente prácticamente en su totalidad. Esta característica puede ser también útil para generar titulares a partir de una fuente, pues seleccionando un grado se compresión alto (cuanto más bajo sea el número, mayor el grado de compresión) se pueden obtener porciones muy pequeñas que no superen el tamaño de una frase.

8 Genericidad Esta característica es importante para indicar si lo que se busca es una resumen guiado por una consulta realizada o se busca un resumen más genérico. Los resultados que se reciben de una búsqueda en Google son un ejemplo de resumen guiado por una consulta Tipo de resumen Según el propósito que se tenga, será necesario un tipo de resumen u otro, entre los tipos de resumen conocidos tenemos: Resumen informativo: Sintetiza el contenido del texto, útil para dar una idea rápida y general del texto, no suele superar el 25% del total del texto. Resumen descriptivo: Explica la estructura del texto y sus partes fundamentales, útil en caso de estar tratando textos extensos. Resumen abstracto: Variante del resumen descriptivo que acostumbra a estar incluido en documentos científicos, después del titulo y en la primera página. Sirve para informar sobre el contenido del texto. Síntesis: Consiste en resumir diversos textos relacionados en uno solo que relacione el contenido de todos de forma coherente. Algunos de estos tipos de resumen traen implícitas otras de las características que se han definido, lo que hace que escoger el tipo de resumen sea especialmente útil para definir de forma general el propósito de este.

9 3 Áreas relacionadas 3.1 Tratamiento del lenguaje natural El tratamiento del lenguaje natural o NLP (Natural Language Processing) es la parte de la computación que se encarga de estudiar las interacciones entre los ordenadores y el lenguaje natural para dar salida a los problemas que se plantean. Algunos de los problemas que se tratan en este campo son el de la segmentación de texto y voz, para los que se requieren análisis a nivel textual y fonológico, la desambiguación de los diferentes sentidos que puede tener una misma palabra, la desambiguación sintáctica y la intención oculta que puede existir tras el lenguaje. Existen dos campos importantes en este área y que son de especial interés en la generación de resúmenes automáticos, son el de la generación de lenguaje natural y el de la compresión del lenguaje natural por parte de un ordenador Comprensión del lenguaje natural El objetivo de este campo, es conseguir que un ordenador comprenda la información que contiene un texto en lenguaje natural. Para lograr este objetivo, se hace necesario analizar el lenguaje a diferentes niveles como son el léxico, sintáctico, semántico, pragmático y ilocutivo. Este paso ya supone un reto importante, pues la ambigüedad del lenguaje natural y su variedad de idiomas y dialectos hacen que sea una tarea difícil. Una vez se poseen las técnicas y herramientas adecuadas para llevar a cabo ese análisis, hay que encontrar una representación del conocimiento que permita a un ordenador disponer de toda la información y poder tratarla de forma adecuada, para ello puede ser útil la utilización de ontologías. Una vez el conocimiento extraído del lenguaje natural está representado en una máquina, ya se pueden empezar a aplicar métodos sobre esta información para tratar los diferentes problemas que se precisen Generación de lenguaje natural La generación de lenguaje natural, tiene como objetivo generar lenguaje natural correcto a partir de los conocimiento que almacena un ordenador, o lo que es lo mismo, decidir como plasmar el conocimiento del que dispone en palabras que un humano pueda entender. El proceso para generar texto puede ser tan simple como se pretenda, pero no siempre se obtendrán buenos resultados si no se utiliza métodos mas sofisticados para generarlo. Las fases de un proceso sofisticado de generación de lenguaje natural son: En primer lugar, determinar el contenido que debe usarse para generar el texto (pueden usarse métodos de minería de datos para decidir que contenido utilizar). Organizar la estructura del conocimiento que se va a utilizar. Fusionar la información que este relacionada para mejorar la calidad del texto que se va a generar. Transformar los conceptos en palabras, también conocido como proceso de lexicalización. Referenciar los conceptos mediante pronombres y otros métodos para no repetir las mismas palabras durante todo el texto.

10 Generar el texto de forma que se cumplan las normas de sintaxis y morfología del idioma en el que se está escribiendo el texto. Corregir la ortografía para que el texto sea correcto y un humano que conozca el idioma que se ha empleado pueda leerlo sin dificultades. 3.2 Minería de texto El proceso de minería de texto, rama de la minería de datos, es aquel por el cual se intenta obtener información nueva de alta calidad a partir de textos. Esta información se obtiene tras derivar el texto a partir de ciertos patrones, tendencias o datos estadísticos, siendo necesario en ocasiones estructurar el texto de origen para poder proceder a la obtención de datos. La minería de texto esta altamente relacionada con el tratamiento del lenguaje natural, y es también en ocasiones un campo clave en la obtención de información para poder generar resúmenes automáticos. 3.3 Traducción automática Otro campo que esta fuertemente ligada y en actual desarrollo junto con el tratamiento del lenguaje natural es la traducción automática o MT (Machine Translation). Los avances de este campo, se producen en paralelo junto con los del tratamiento y generación del lenguaje natural, pues al igual que en el caso del resumen automático, aquí también son necesarios los procesos de comprensión, transformación y generación del lenguaje natural. La importancia de este campo en el resumen automático viene dada por la necesidad que puede existir de obtener resúmenes en un idioma diferente al de la fuente, algo de agradecer por parte de usuarios que no conozcan el idioma.

11 4 Enfoques Existen dos posibles formas de proceder o enfoques cuando se intenta generar un resumen automático, la extracción y la abstracción. Por otra parte, también hay que considerar los resúmenes que no son completamente automatizados. 4.1 Extracción El más simple de los enfoques es el de la extracción, que trata las fuentes como un conjunto de frases. Para llevar a cabo el proceso de extracción, el primer paso es identificar las frases más relevantes de las fuentes. Para proceder en esta fase se pueden utilizar criterios de selección basados en métodos estadísticos y otros tipos de heurísticos durante el tratamiento de la fuente, también puede resultar útil tener en cuenta las colisiones entre diferentes fuentes como indicativo de la bondad de la frase. En segundo lugar y a partir de los fragmentos extraídos previamente, hay que generar un resumen procurando perder la menor cantidad de información posible y evitando la redundancia. Por último, pueden aplicarse tratamientos posteriores al resumen para conseguir un texto coherente y bien cohesionado, uniendo los diferentes fragmentos o completando frases que puedan haber quedado incompletas. 4.2 Abstracción Los resúmenes por abstracción suponen un reto mucho mayor que el de los resúmenes por extracción, ya que las técnicas de tratamiento del lenguaje natural empleadas en estos son mucho más sofisticadas. Esto es debido a que los resúmenes por abstracción no se limitan a extraer fragmentos relevantes de un texto, sino que analizan el texto con mayor profundidad para poder comprenderlo y poder generar un nuevo resumen a partir de la información analizada de la fuente. Si el hecho de que exista la necesidad de comprender el texto de forma más profunda ya hace que el problema sea más difícil, a esto se le añade la dificultad de generar texto desde cero a partir de una base de conocimiento. El resumen por abstracción es por lo tanto similar al método que emplearía un ser humano para hacer un resumen propio de un texto, y la dificultad de reproducir ese método por un ordenador es lo que hace que los métodos de extracción sean los que han conseguido avances mas significativos. Será pues necesario esperar a que mejoren los métodos de tratamiento y generación de lenguaje natural para obtener aplicaciones que puedan conseguir buenos resúmenes por este método. 4.3 Resumen guiado Dada la dificultad de generar resúmenes completamente automáticos o FAS (Fully Automated Summarization), existen otros métodos que no están completamente automatizados y buscan que el usuario intervenga en el proceso de generación del resumen de una forma u otra.

12 Uno de estos métodos es el que llevan a cabo algunos sistemas que orientan al usuario para que este pueda realizar un buen resumen de una fuente. Estos sistemas son conocidos como MAHS (Machine Aided Human Summarization), y consisten en, por ejemplo, subrayar aquellos fragmentos de texto de un documento que un usuario debería considerar a la hora de hacer un resumen por su propia cuenta. A diferencia de los MAHS, existen otros sistemas que si que generan ellos el resumen de forma automática, pero guiados por el usuario. Estos últimos sistemas son conocidos como HAMS (Human Aided Machine Summarization). Sin embargo, con el paso del tiempo y si los sistemas de resumen automático mejoran lo suficiente como para no necesitar ayuda del usuario, estos sistemas quedarán relegados y su uso se sustituirá por los que están completamente automatizados.

13 5 Técnicas Ahora que ya se ha expuesto la información necesaria para conocer los aspectos básicos de un resumen automático, el siguiente paso es conocer las técnicas que se emplean para conseguir generarlos. Estas técnicas se dividen en tres familias distintas, las que se basan en un análisis superficial del texto (no aplican análisis lingüístico), las que se basan en entidades nombradas en el texto (aplican reconocimiento y clasificación del léxico utilizado) y las que se basan en la estructura discursiva del texto (utilizan un tratamiento estructural del texto). 5.1 Análisis superficial Los tratamientos superficiales tratan la fuente como si de una cadena de caracteres se tratase. Hay que decir que aunque a esta familia de técnicas no se le atribuye la realización de un análisis lingüístico del texto, no es del todo cierto que eso sea así, pues el simple hecho de fragmentar el texto en oraciones ya supone un análisis lingüístico mayor que el de separar el texto entre una letra mayúscula y un punto, esto es así porque existen letras mayúsculas y puntos que no indican el principio o el final de una oración (por ejemplo U.R.S.S). Es por eso que es necesario disponer de cierto conocimiento lingüístico y aplicarlo para poder identificar y filtrar los casos en los que los signos de puntuación o las mayúsculas no delimitan una frase. Un ejemplo de esta técnica, consiste en seleccionar los fragmentos más relevantes que se encuentran en la fuente aplicando operaciones de calculo sobre estos, como puede ser el usar aquellos que contengan las palabras que están siendo usadas en el texto con mayor frecuencia. Por ejemplo, se podrían seleccionar los fragmentos de texto que empiezan por una letra mayúscula y acaban con un punto y que contengan las palabras con mayor frecuencia de aparición en la fuente, de esta forma se obtendrían las frases que superficialmente pueden ser más relevantes y aptas para el resumen. Otro ejemplo de esta técnica, sería el de seleccionar los fragmentos de la fuente considerando la posición en la que se encuentren dentro de ella. Dependiendo del tipo y genero de la fuente, las posiciones a las que se les dará más relevancia pueden variar, mientras que en una noticia se le dará especial importancia al titular, a las entradillas y a las citas, en un articulo científico se valorará más el resumen abstracto, las conclusiones y la bibliografía. También puede aumentarse la relevancia de un fragmento de texto si en el se encuentran ciertas palabras o cadenas de palabras clave en su contenido. 5.2 Basada en entidades La familia de técnicas basadas en entidades ya utilizan un mayor nivel de análisis lingüístico que las técnicas de análisis superficial. Estas ya contemplan tratamientos que permiten reconocer unidades lingüísticas dentro de la fuente, para ello emplean analizadores morfológicos, gracias a los cuales pueden reconocer nombres, verbos, adjetivos, etc. También utilizan desambiguadores léxicos, ya que una misma palabra puede pertenecer a más e una categoría y hay que poder desambiguarlo (por ejemplo sano puede hacer referencia a un adjetivo o a la primera persona del presente de indicativo del verbo sanar). También es importante detectar palabras diferentes que pertenecen al mismo concepto (por ejemplo dos formas verbales distintas de un mismo verbo), para ello utilizaremos

14 herramientas que se encargan de separar la raíz de las palabras para trabajar con ella en vez de con la palabra original, estas herramientas son conocidas como herramientas de lematización o stemming. Todos estos métodos de análisis y otros más son aplicados a la fuente para poder conseguir análisis más sofisticados tanto de tipo sintáctico como semántico. Una vez se tiene conocimiento de las diferentes entidades existentes en la fuente, pueden empezar a detectarse relaciones establecidas entre ellas, como la recurrencia de formas o lemas, relaciones semánticas o también relaciones temáticas entre otras. Con todo ello, ya será posible construir una representación de conectividad del texto, de forma que se pueda determinar los fragmentos de texto que son especialmente relevantes y que pueden ser buenos candidatos a formar parte del resumen que se pretende generar. Como se ha podido observar, estos técnicas presentan mejoras evidentes sobre los de análisis superficial, sin embargo, para poder emplearlas, son necesarios volúmenes de conocimiento enormes con una gran labor de investigación detrás de ellos, como pueden ser bases de conocimiento léxico, reconocedores de entidades o sistemas de resolución de referencias anafóricas. Esto hace que la mayoría de aplicaciones de este tipo de técnicas se encuentren dentro del ámbito de la investigación y no en el de los productos comerciales como ocurre con las técnicas basadas en el análisis superficial. 5.3 Basada en la estructura Estas técnicas existen con la intención de aprovechar al máximo lo que puede proporcionarnos la estructura de las fuentes para obtener conocimiento para generar el resumen. Un buen ejemplo de empleo de este tipo de técnicas es el de intentar extraer información contenida en un documento construido con un lenguaje de marcas como podría ser XML. El hecho de que exista una estructura bien definida donde aparezca el contenido, es de gran utilidad para que se pueda aprovechar el conocimiento que se tiene sobre esta estructura y extraer la información más relevante. En el caso de HTML, es posible aprovechar el contenido que encierran las etiquetas <meta> y <title> para conocer el contenido de la página, así como dar especial relevancia a texto incluido entre las etiquetas <strong>, que es texto marcado por su importancia. Otro ejemplos ejemplos de esta técnica se ven en textos que representan una argumentación, ya que conociendo a priori la estructura principal y las particularidades de un texto argumentativo, puede estructurarse este fácilmente y identificar aquellos fragmentos que se cree que pueden ser mas relevantes. Para identificar los puntos mas relevantes de la estructura bastará con prestar especial atención a aquellos fragmentos donde aparezcan conjunciones y adverbios del tipo en primer lugar, finalmente, por el contrario o también. Esta técnica será también valida para otros tipos de textos de los que se conozca previamente una estructura y como extraer información relevante de esta.

15 6 Evaluación Algo importante en cualquier sistema o método, es la posterior evaluación y validación de los resultados obtenidos para determinar aspectos como la correctitud o utilidad de estos. En el caso de los tratamientos del lenguaje natural y de los resúmenes automáticos no existe una excepción, sin embargo, evaluar y validar de forma empírica los resultados obtenidos en estos campos es una tarea que sigue en curso en la actualidad. La causa de esto, son las irregularidades existentes en el lenguaje natural que utilizan los humanos para comunicarse, así como el juicio que finalmente emitiría un humano sobre el resultado, pudiendo ser considerado bueno para algunos y malo para otros. Además, el hecho de que la mayoría de las soluciones en la actualidad estén basadas en la extracción y no en la abstracción hace que sea difícil decidir la validez de un resumen, ya que este no está generado a partir de conceptos de los que se tiene conocimiento, sino a partir de lo que se ha obtenido del texto y de su posterior tratamiento para comprimir el contenido y combinar el contenido. La posibilidad de realizar evaluaciones manualmente no es viable, pues hace necesario que haya personas dedicadas a leer no solo los resúmenes para comprobar que son coherentes y están cohesionados, sino también las fuentes originales de estos para comprobar que realmente representan sus ideas principales. Otro aspecto que también complica las cosas es la realidad de que puede existir mas de un resumen considerado correcto para una misma fuente, por lo que no se pueden utilizar métodos de evaluación con mucha rigidez, o de lo contrario se estarán evaluando negativamente soluciones que pueden ser validas. Así pues, resulta difícil confiar en un solo método de evaluación, y eso lleva a la conclusión de que, hasta encontrar una mejor solución para este problema, se hace necesaria la combinación de diferentes métodos de evaluación para garantizar una mínima calidad en el resumen. 6.1 Propiedades importantes Si bien muchos de los aspectos a evaluar acarrean una carga de trabajo y investigación importante, algunas propiedades evaluables de los resúmenes resultan fáciles de calcular y pueden ser de gran ayuda. Una de estas propiedades es el ya nombrado nivel de compresión, que se limita a calcular cual es la relación entre el volumen del resumen generado y el de la fuente original. La otra propiedad que resulta bastante útil para proceder en una evaluación es el nivel de retención, que calcula la relación entre la información del resumen generado y la de la fuente original. Esta propiedad ya es mas compleja de calcular que el nivel de compresión, pues entra en juego el determinar que es información dentro de una fuente, así como tener la capacidad de evitar considerar la información repetida como otro tipo de información por el hecho de estar representada de forma diferente. Aunque estas propiedad resultan de interés para la evaluación de resúmenes, deben considerarse otro tipo de métodos antes de dar un veredicto sobre la calidad de este. 6.2 Métricas reconocidas A pesar de todas estas dificultades, se han confeccionado algunos tipos de métricas para evaluar los resúmenes generados automáticamente. Un ejemplo de estas métricas es

16 conocida como ROUGE (Recall-Oriented Understudy for Gisting Evaluation), que ha sido presentada por el NIST (National Institute of Standard and Technology) y llevada a cabo por grupos de investigación. Esta métrica consiste principalmente en calcular solapamientos entre los resúmenes generados automáticamente y las fuentes originales de estos resúmenes. Un alto nivel de solapamiento debería indicar un alto nivel correspondencia entre los conceptos de ambos documentos. Sin embargo, esta métrica tiene los problemas clásicos que ya se han discutido, como la incapacidad de comprobar la coherencia o la cohesión del resumen generado. 6.3 Enfoques Con todo lo visto hasta ahora sobre la evaluación de resúmenes automáticos, es el momento de presentar los dos enfoques básicos para llevarla a cabo, estos enfoques son el intrínseco (que no tiene en cuenta la audiencia a la que va dirigida) y el extrínseco (que tiene en cuenta la audiencia a la que va dirigida). Es importante diferenciar entre ambos, pues como se ha comentado anteriormente, los resúmenes son algo altamente dependiente de a quien va dirigido y conviene separar los conceptos para que resulte más fácil identificar las propiedades que se deben evaluar y como deben evaluarse Evaluación intrínseca El enfoque intrínseco intenta evaluar el resumen sin considerar la audiencia a la que este va dirigida. Para lograr este objetivo, se intenta dar mayor peso a aspectos como la coherencia o lo informativo del resumen generado. Es común pues, llevar a cabo la evaluación comparando los resúmenes generados con modelos reconocidos de aquellos aspectos que un resumen de calidad deba presentar. Estos modelos reconocidos, suelen ser resúmenes de referencia generados por sistemas de generación de resúmenes automáticos que gozan de reconocimiento, o directamente por equipos de investigación humanos. Algunas de las propiedades a evaluar y como se procede para llevarlo a cabo son las siguientes Coherencia Los problemas de coherencia en los resúmenes vienen dados por el hecho de utilizar métodos de extracción en lugar de abstracción para generarlos, esto es así porque al sacar fuera de su contexto a una frase, es posible que esta deje de tener sentido en el lugar donde se introduzca como resultado de referencias anafóricas mal resueltas Informativo Para evaluar lo informativo que puede ser un resumen aparecen varios métodos, uno de ellos consistiría en calcular el ya comentado nivel de retención para dar un resultado de cuanta información de la fuente mantiene el resumen, otro posible método sería el de comparar el resumen generado con un resumen de referencia sobre el mismo tema y evaluar cuanta información de este aparece también en el resumen generado.

17 Precisión También puede evaluarse cuantas frases del resumen de referencia aparecen en el resumen generado, sin embargo, este método tiene inherente el problema de no poder diferenciar conceptos idénticos expresados con diferentes palabras y por lo tanto puede no ser capaz de identificar resúmenes diferentes pero completamente validos ambos Ranking Otras medidas consisten en evaluar cada una de las fragmentos del resumen de referencia entre un determinado rango de valores y, tras generar el resumen automático, calcular cual es la bondad de este basada comparándolo con el de referencia y obteniendo un valor que viene dado por los rangos de los fragmentos utilizados. Este método ya no tiene la problemática que presenta el anterior, pues diferentes resumen son susceptibles a tener valores de bondad diferentes que hagan que uno sea considerado mejor que otro Similitud del contenido La última medida expuesta, es la de comparar la similitud del resumen generado con el resumen de referencia, pero con la peculiaridad de que esta comparación se realiza a nivel semántico, por lo que resulta adecuado tanto para resúmenes generados con métodos de extracción, como para los generados por métodos de abstracción. El problema de esta medida, es que al utilizar métodos que van más allá del análisis sintáctico aparecen las dificultades típicas del tratamiento del lenguaje natural, sin embargo, esta es la métrica más útil para la evaluación de resúmenes generados por métodos de abstracción, lo que hace interesante que se continúe investigando sobre ella Evaluación extrínseca La evaluación extrínseca de un resumen tiene su enfoque en el usuario al que va dirigido el resumen, teniendo más en cuenta la utilidad que este puede tener sobre ese usuario que su calidad como resumen. Una de las formas de evaluar ese aspecto, es asegurarse de que el texto que se usa para el resumen es fácil de entender para el usuario que lo recibe. Algunos de los métodos para la evaluación extrínseca de los resúmenes son los siguientes Juego de Shannon Este método de evaluación es una variante de las medidas de Shannon en la teoría de la información, el método consiste en intentar evaluar la información intentando adivinar que información viene después. Si se consigue reconstruir fácilmente la información mediante este método indica que será fácil de comprender por parte de un usuario. El problema radica de que este método es altamente dependiente del conocimiento del usuario, que es algo difícil de conocer a priori. Así pues, cualquier cambio ya sea en el conocimiento del dominio o de la lengua en la que se genera el resumen alteraría el resultado de forma notable Test de preguntas Este otro método de evaluación intenta medir lo que los usuarios han entendido del

18 resumen y si de este han podido entender satisfactoriamente las ideas principales de la fuente. La evaluación consiste en dos pasos. En primer lugar, los encargados de probar el método leen el documento fuente y marcan aquellas ideas o conceptos que consideran importantes, entonces construyen preguntas relacionadas con esos conceptos clave. Entonces, otros usuarios deben contestar las preguntas en tres ocasiones diferentes, primero sin mirar ningún tipo de documento, después leyendo el resumen que se ha generado, y finalmente leyendo la fuente original. Un buen resumen para este criterio será aquel que consiga que los resultados de las respuestas por parte de los usuarios mejores tras notablemente tras leer el resumen, pero que no lo hagan demasiado tras leer la fuente original Juego de clasificaciones Este método consiste en que los encargados de probar el método clasifiquen tanto los resúmenes generados como las fuentes originales en una de las categorías de las que disponen. Para que un resumen sea bueno, tendrá que haber sido clasificado en la misma categoría que su propia fuente Asociación de palabras clave Este último método de evaluación consiste en generar una lista de palabras clave de cada una de las fuentes y generar a partir de ellas un resumen. Con esto los encargados de probar el método tendrán que asociar a cada uno de los resúmenes la lista de palabras que se ha obtenido de esa fuente. El resumen será considerado bueno si la asociación de las palabras clave con el resumen es correcta, ya que eso es un indicativo de que el resumen representa esas palabras.

19 7 Bibliografía La bibliografía principal que se ha utilizado en el desarrollo de este documento es: Articulo de Wikipedia sobre resumen automático Articulo de Wikipedia sobre la minería de texto Articulo de Wikipedia sobre tratamiento del lenguaje natural Arituclo de Wikipedia sobre generación del lenguaje natural Articulo de Wikipedia sobre extracción de frases Articulo sobre resumen automático de la UOC: Preview del libro Automatic Summarization, de Inderjeet Mani Resource Lean and Portable Automatic Text Summarization, KTH Otra bibliografía que convendría consultar en caso de querer ampliar conocimientos sobre el tema es: Summarizing Information Endres-Niggemeyer, Brigitte (1998) Automatic Summarization Mani, Inderjeet (2001) Advances in Automatic Text Summarization Mani, Inderjeet and Maybury, Mark T. Pagina web del ACM SIGIR