Generación automática de resúmenes personalizados

Transcripción

1 Geeracó automátca de resúmees persoalzados Igaco Acero, Matías Alcojor, Alberto Díaz, José María Gómez Departameto de Itelgeca Artfcal, Escuela Superor de Iformátca, Uversdad Europea-CEES, 28670, Vllavcosa de Odó, Madrd Tel.: (34) ext. 67. Fax: (34) achoa@telcom.es, alcojor@retemal.es {alberto, jmgomez}@dar.es.uem.es Mauel Maña Departameto de Iformátca, Uversdad de Vgo, Campus As Lagoas s/, 32004, Orese, Spa. Tel.: (34) Fax: (34) mjlopez@uvgo.es Resume. E la actualdad los servcos de formacó presetes e la Web y e partcular los peródcos dgtales ofrece a los usuaros ua seleccó de documetos basada e crteros bastate smples que lleva a los usuaros a recbr ua gra catdad de formacó rrelevate. Nuestro trabajo pretede dsmur la sobrecarga de los usuaros de dos maeras: aportado u modelo de usuaro más completo que permta defr mejor los tereses de los usuaros y costruyedo u geerador de resúmees automátco que permta al usuaro detectar las otcas que realmete le teresa medate la vsualzacó de resúmees adaptados a su modelo. Se ha obtedo resultados aletadores e ua evaluacó de los dsttos tpos de resúmees para varos modelos de usuaro. El trabajo está emarcado detro del sstema Hermes, u evador persoalzado de otcas que maeja formacó e glés y e español.. Itroduccó Los servcos persoalzados de formacó so cada vez más populares e la Web. Los peródcos dgtales más mportates ofrece a sus usuaros la posbldad de recbr por correo electróco ua seleccó de las otcas del día. La mayoría de los peródcos evía todas las otcas (o sólo los ttulares) de ua o varas seccoes que el usuaro ha seleccoado prevamete, o també aquellas que cotee certas palabras elegdas por el usuaro. Ua defcó ta smple de los tereses de u usuaro puede hacer que mucha de la formacó recbda sea realmete rrelevate. La creacó de modelos de usuaro que mejore la defcó de esos tereses juto co la tegracó de tareas de clasfcacó de texto permte mejorar la seleccó de las otcas relevates para cada usuaro. Ejemplos represetatvos de sstemas de acceso a la formacó que tegra este tpo de téccas so WebMate [5], News Dude [3] y SIFT [8]. E todo caso, auque la seleccó se mejore, el usuaro recbe u cojuto de otcas e su correo todos los días de las cuales es probable que o todas le terese, o uas le terese más que otras, o cluso le terese coocer alguas e profuddad y otras superfcalmete. Para evtar que el usuaro tega que leer todas las otcas, ua mejora que puede troducrse, es clur u resume de cada otca, e vez de evar la otca completa. De esta maera, el usuaro lee solamete el resume de las otcas y e caso de que le terese, puede acceder a la otca completa. Reemplazar la otca completa por u resume es ua mejora sgfcatva, pero podríamos mejorar aú más estos sstemas s el resume fuera persoalzado para cada usuaro. Así cada usuaro podría leer u resume adaptado a sus preferecas defdas e su modelo de usuaro.

2 Este trabajo está cludo e el proyecto Hermes, el cual tee como objetvo la persoalzacó telgete e servcos de evío de otcas medate la tegracó de téccas de aálss automátco del cotedo textual y modelado de usuaro co capacdades blgües. El sstema de geeracó de resúmees es u módulo detro del proyecto. E este trabajo descrbmos el fucoameto para el doma español, pero se ha desarrollado de tal maera que la mayor parte del msmo es depedete del doma y el coste de adaptacó al glés es, por tato, mímo. 2. Geeracó de resúmees E la actualdad, buea parte de la formacó que leemos a daro os llega a través de medos electrócos. El amplo uso que de estos medos se está realzado para la dfusó de formacó colleva ua excesva carga para el lector, que hace cada vez más ecesara la dspobldad de herrametas que permta resumr estos textos. Por geeracó automátca de resúmees de texto etedemos el proceso por el cual se detfca la formacó sustacal proveete de ua fuete (o varas) para producr ua versó abrevada destada a u usuaro partcular (o grupo de usuaros) y ua tarea (o tareas) []. Bajo esta defcó se agrupa dferetes tpos de resúmees que puede clasfcarse atededo a su propósto, efoque y alcace [8]. Atededo al alcace, el resume puede lmtarse a u úco documeto o a u cojuto de ellos que trate sobre el msmo tema. Segú su propósto, esto es, atededo al uso o tarea al que está destados, los resúmees se clasfca e: Idcatvos, s el objetvo es atcpar al lector el cotedo del texto y ayudarle a decdr sobre la relevaca del documeto orgal, Iformatvos, s pretede susttur al texto completo corporado toda la formacó ueva o trascedete, y Crítcos, s corpora opoes o cometaros que o aparece e el texto orgal. Este proyecto ha sdo facado parcalmete por el Mstero de Ceca y Tecología (PROFIT, 2000/020) Falmete, atededo al efoque, podemos dstgur etre resúmees: Geércos, s recoge los temas prcpales del documeto y va destados a u grupo amplo de persoas, y Adaptados al usuaro, s el resume se cofeccoa de acuerdo a los tereses (.e. coocmetos prevos, ámbtos de terés o ecesdades de formacó) del lector o grupo de lectores al que va drgdo. Es claro que, sobre todo para veles de compresó altos, u resume que o tega e cueta las ecesdades del usuaro puede ser demasado geeral como para ser útl. E cocreto, e u etoro de recuperacó de formacó, ya ha sdo demostrada la superordad de los resúmees adaptados a la cosulta realzada por el usuaro [2]. E otros ámbtos relacoados, como el fltrado o los servcos persoalzados de formacó, e los que el sstema puede dspoer de u mayor coocmeto sobre las preferecas de los usuaros, cabría esperar ua seleccó más adecuada de los cotedos. Ate la varedad de tpos y domos de los documetos dspobles, las téccas de seleccó y extraccó de frases resulta muy atractvas por su depedeca del domo y del doma. El método se cetra e ua fase de aálss e el que se detfca los segmetos de texto (frases o párrafos, ormalmete) que cotee la formacó más sgfcatva. Durate esta fase se aplca u cojuto de heurístcas a cada ua de las udades de extraccó. El grado de sgfcacó de cada ua de ellas puede obteerse medate combacó leal de los pesos resultates de la aplcacó de dchas heurístcas. Éstas puede ser poscoales, s tee e cueta la poscó que ocupa cada segmeto detro del documeto, lgüístcas, s busca certos patroes de expresoes dcatvas, o estadístcas, s cluye frecuecas de aparcó de certas palabras. El resume resulta de cocatear dchos segmetos de texto e el orde e que aparece e el documeto orgal [0]. Los posbles problemas de cossteca e el resume resultate costtuye el prcpal coveete de esta aproxmacó. Ua forma de palar este problema es utlzar el párrafo e lugar de la frase como udad de extraccó [4], esperado que al proporcoar éste u

3 cotexto más amplo se mejore los problemas de legbldad. Otro cojuto de téccas, que podemos deomar rcas e coocmeto, se caracterza por utlzar métodos de compresó profuda del texto [9]. Esta aproxmacó puede coducr a crear sstemas que evta alguos problemas, como los mecoados de cossteca. S embargo, estos sstemas ecesta gra catdad de coocmeto sobre el domo. Además, estos domos so ecesaramete muy restrgdos y de característcas coocdas. Como cosecueca, los sstemas so poco flexbles y de dfícl adaptacó a otros casos de aplcacó u otros domas. 3. Modelado de usuaro El modelo srve, como se dca e la troduccó, para fltrar las otcas que más le teresa a u usuaro [6]. El modelo de usuaro está dseñado para represetar los tereses del usuaro desde varos putos de vsta []. Este perfl descrbe las ecesdades de formacó del usuaro, es decr, lo que el usuaro realmete está buscado. El modelo de usuaro almacea 3 tpos de formacó: Iformacó geeral (ombre, log, password, dreccó de correo electróco). Iformacó sobre sus preferecas (días de la semaa que desea recbr mesajes, máxmo úmero de otcas por mesaje, desactvacó temporal del servco). Iformacó sobre los tereses del usuaro: () seccoes, (2) categorías geerales, (3) térmos. La formacó sobre las preferecas es muy útl para los usuaros. La posbldad de fjar u máxmo úmero de otcas por mesaje y el hecho de poder desactvar temporalmete el servco evta la sobrecarga de formacó. Establecer u úmero mímo de otcas ha sdo cosderado cotraproducete porque puede llevar a la clusó de formacó o relevate s o se alcaza dcho úmero co la formacó relevate. Como se ha descrto e la troduccó, los servcos de otcas ormalmete realza la persoalzacó de sus evíos utlzado formacó sobre las seccoes y palabras claves seleccoadas por el usuaro. Nuestro modelo soporta ambos aspectos. Por ua parte, los usuaros puede seleccoar sus seccoes preferdas. Las seccoes de u peródco so u cojuto defdo de categorías basadas e el cotedo de las otcas. Este cojuto de 8 categorías procede de la orgazacó tradcoal de u peródco. Los usuaros puede asgar u peso a cada seccó, para dar mayor mportaca a las otcas que perteezca a dchas seccoes. Ejemplos de seccoes e u peródco so Iteracoal o Cultura. Por la otra, los usuaros també puede troducr u cojuto de térmos y asgar u peso a cada uo de ellos que represete su mportaca para los tereses del usuaro. Nuestro modelo permte otro sstema de refereca adcoal utlzado u sstema dferete de categorías. Los usuaros de Iteret está famlarzados co los sstemas de categorías utlzados e los motores de búsqueda, por ello se ha elegdo el sstema de categorías de Yahoo! España como sstema alteratvo para represetar los tereses de u usuaro. Al ser u sstema de mayor cobertura que las seccoes de u peródco costtuye ua buea seguda opó. Se ha elegdo el prmer vel de 4 categorías para represetar esta formacó. Los usuaros puede asgar u peso a cada categoría, para dcar su terés e ella. La exsteca de muchos métodos de seleccó puede llegar a cofudr al usuaro, hacédole teer ua dea borrosa del fucoameto del sstema. Por ello, exste u vel adcoal de especfcacó de los tereses del usuaro. Cada uo de los 3 sstemas de refereca del modelo (seccoes, categorías y térmos) tee u peso que represeta la mportaca para el usuaro de cada uo de ellos. Por ejemplo, s el peso de las seccoes es bajo y el peso de las categorías es alto, los valores de relevaca procedetes de la categorzacó automátca de las otcas co respecto a las categorías tedrá mayor mportaca para la seleccó de las otcas. De esta maera, cada ua de las 3 dmesoes del perfl de usuaro puede ser defda y cotrolada por el usuaro, costtuyedo u mecasmo fo de ajuste para obteer ua caracterzacó flexble de sus tereses. El modelo puede ser edtado por el usuaro: se puede modfcar los pesos de seccoes y térmos, y se puede borrar o añadr térmos.

4 E el proceso de seleccó se aplca categorzacó de texto [4, 6] co las categorías respecto de las otcas y recuperacó de formacó [2] co los térmos co respecto a las otcas. Adcoalmete las otcas so procesadas para comprobar s perteece a algua de las seccoes seleccoadas por el usuaro. Los dferetes resultados obtedos se tegra usado el vel de terés asgado por el usuaro a los dferetes sstemas de refereca. 4. Geeracó de resúmees persoalzados. Para la cofeccó de los resúmees uestro sstema utlza tres heurístcas de seleccó de frases. Las dos prmeras se utlza para la obtecó de resúmees geerales metras que la tercera se refere a la persoalzacó de los msmos. Nuestra vestgacó se cetra prcpalmete e las téccas de persoalzacó. Para geerar los resúmees utlzaremos la combacó poderada de las dsttas heurístcas. Vamos a descrbr cada ua de ellas por separado y después cometaremos como modfcamos los dferetes parámetros para obteer resúmees geerales o persoalzados. Las tres heurístcas tee u objetvo comú y es dar putuacoes a cada ua de las frases del texto objeto del resume, para más tarde poder elegr las más relevates. 4. Heurístca de poscó Esta heurístca cosste báscamete e dar mayor putuacó a las cco prmeras frases de u texto [7]. E domos perodístcos, el título y las prmeras frases de u texto da ua dea aproxmada al lector del cotedo del texto que va a leer a cotuacó. Por esta razó asgaremos los sguetes pesos a las N prmeras frases del documeto que estemos resumedo. U valor típco de N podría ser 5 y los pesos asgados podría ser: Peso frase :.0 Peso frase 2: 0.99 Peso frase 3: 0.98 Peso frase 4: 0.95 Peso frase 5: Heurístca de palabras clave Cada texto tee u úmero de palabras clave, que so bastate represetatvas de su cotedo. Esta heurístca cosste e extraer las M palabras más sgfcatvas de cada texto y comprobar a cotuacó, cuatas de esas palabras clave se ecuetra e cada frase. De esta forma asgaremos mayor peso a las frases que cotega mayor úmero de palabras clave del texto [7]. Para obteer las M palabras más relevates de cada otca dexamos todas las otcas obteedo así el peso de cada palabra e cada documeto utlzado el método tf df [5]. Seleccoamos así las ocho palabras que más peso tega para cada documeto. Para obteer el peso de la frase e el documeto se dvde el úmero de palabras clave del documeto que aparece e la frase por el úmero total de palabras de la frase: 4.3 Heurístca de persoalzacó El objetvo de esta heurístca cosste e potecar aquellas frases que tega mayor relevaca para u modelo de usuaro dado, co el f de persoalzar el resume. E lugar de obteer ua dea geeral del texto resumdo, oretamos la eleccó de frases de tal forma que se elja aquellas que tega mayor smltud co las preferecas del usuaro. El potecal de persoalzar u resume es alto, ya que u documeto que resumdo (de forma geeral) podría ser descartado, o lo será s se acerta a elegr las frases adecuadas para despertar el terés de dcho usuaro. El cálculo de los pesos para las frases se realza de la sguete maera. Del modelo de usuaro obteemos la formacó co respecto a los pesos que el usuaro ha asgado a sus categorías y a sus térmos persoales. També extraemos del modelo los térmos que represeta cada categoría así como los térmos que el usuaro haya defdo. Co toda esta formacó calculamos la smltud exstete etre el modelo y la asgado u peso a la frase de acuerdo co la sguete smltud: pcat sm( Categorías) + pter sm( Térms) PesoFrase= pcat+ pterm Dode:

5 sm( Categorías) sm( tc ) pc = pc sm( t ) pt sm( Térms) = Se pt do, pcat el peso geeral de las categorías, pterms el peso geeral de los térmos, tc los térmos que detfca a la categoría, pc el peso asgado a la categoría, t el térmo y pt el peso asgado al térmo. 4.4 Combacó de las tres Heurístcas. Para poder combar las tres heurístcas y obteer así u solo peso para cada frase utlzaremos la sguete ecuacó: ( α pesoh) + ( β pesoh2) + ( γ pesoh3) PesoTotalFrase = α + β + γ Los parámetros α, β y γ os srve para dar más mportaca a ua heurístca que a otra. Los cálculos de smltud que realza uestro sstema se basa e el modelo del espaco vectoral [5], utlzado para la represetacó de textos, vectores de pesos de térmos. Para su obtecó, se elma las palabras más frecuetes usado ua lsta de parada estádar y las restates se reduce a ua forma caóca usado el extractor de raíces de Porter adaptado al español [3]. 5. Evaluacó E este apartado se descrbe las téccas de evaluacó que hemos aplcado, así como los resultados cuattatvos de la msma y su dscusó. Los dos aspectos más mportates de la evaluacó so la costruccó de la coleccó de prueba y la eleccó de las métrcas de evaluacó. 5. Coleccó de evaluacó Hemos costrudo ua coleccó de evaluacó cosstete e 09 otcas obtedas e la edcó electróca del daro ABC electróco, para u día determado. També hemos seleccoado tres perfles de usuaros reales del sstema Hermes, atededo a que sea relatvamete dsttos etre sí, y a que posea dsttos grados de elaboracó. De este modo, el prmer usuaro está teresado e formacó deportva y e Iteret, y posee u perfl relatvamete pobre. El segudo usuaro posee u perfl más rco, cocetrado e temas ecoómcos y polítcos, metras que el tercer usuaro posee u perfl muy completo que cubre temas ecoómcos como la bolsa. U experto depedete ha examado cada otca, decdedo s es relevate o o de acuerdo a los tereses mostrados e cada perfl. Se ha ecotrado 38, 52 y 78 otcas relevates para cada perfl respectvamete. 5.2 Métrcas de caldad A f de determar la caldad de ua sere de resúmees desde el puto de vsta de lo dcatvos que so para juzgar el terés de las otcas evadas por u sstema, es razoable comparar los resultados de la recuperacó de las otcas completas co respecto a u perfl co los resultados de la recuperacó de las msmas cuado sólo se utlza el resume. Este tpo de evaluacó cuattatva es característco de sstemas de extraccó de resúmees que se emarca detro de u sstema más complejo que realza otras fucoes, como u sstemas de recuperacó o de fltrado de formacó como el uestro. La métrca de evaluacó más popular e el marco de la recuperacó de formacó es la precsó meda sobre oce veles de recall [5]. Esta métrca permte comparar umérca y gráfcamete (por medo de ua gráfca recallprecsó) dsttos efoques de recuperacó. Nosotros calculamos la precsó meda y la gráfca recall-precsó de los sguetes efoques: La utlzacó de las otcas completas e la recuperacó. La utlzacó de los resúmees geerales e la recuperacó, co los parámetros α = 0.5 y β = 0.5 (es decr, se da gual mportaca a las dos heurístcas geerales). La utlzacó de los resúmees persoalzados e la recuperacó, co los parámetros α = 0.5 y β = 0.5, y γ =, 2,..., 5 (es decr, la heurístca de persoalzacó es gual de mportate que las dos heurístcas geerales, o el doble, etc.). E geeral, cuato más próxma se ecuetra la precsó meda o la gráfca obteda para u

6 método de extraccó de resúmees a la obteda usado todo el texto de las otcas, la caldad es mayor porque se retee más formacó. La herrameta de recuperacó utlzada es el motor de seleccó de otcas para su evío a los usuaros e el proyecto Hermes. 5.3 Resultados y dscusó E la fgura presetamos u grafo recallprecsó comparado los sete efoques aterores, calculada e meda para los tres usuaros. E la tabla se muestra los valores de la precsó meda sobre oce veles de recall para cada uo de los efoques comparados, sobre cada usuaro y e meda sobre éstos. precsó,0 0,8 0,6 0,4 0,2 0,0 0,0 0,2 0,4 0,6 0,8,0 recall Texto completo Resume geeral Resume pers. () Resume pers. (2) Resume pers. (3) Resume pers. (4) Resume pers. (5) Fgura.Gráfca recall-precsó para los efoques evaluados Las etquetas de la forma Resume pers.() detfca los resultados correspodetes a los resúmees persoalzados co valor de γ =. rg rp() rp(2) rp(3) rp(4) rp(5) u() 0,87 0,860 0,86 0,850 0,854 0,859 0,83 u(2) 0,957 0,905 0,900 0,890 0,902 0,902 0,905 u(3) 0,745 0,59 0,527 0,622 0,638 0,6 0,60 Meda 0,858 0,785 0,763 0,788 0,798 0,79 0,776 Tabla. Valores de precsó medos para cada uo de los efoques comparados y para cada uo de los usuaros y e meda. Las etquetas, rg y rp() detfca los resultados obtedos utlzado el texto completo de las otcas, los resúmees geerales y los persoales co valor de γ =, respectvamete. La etqueta u() detfca los resultados para el usuaro ésmo. E la fgura se puede observar que para valores bajos y medos de recall, o exste dfereca perceptble etre la utlzacó del texto completo frete al uso de cualquer tpo de resume e la recuperacó, auque los resultados so levemete mejores para los resúmees persoalzados co γ = 3. Para valores altos de recall, es decsvamete preferble utlzar el texto completo frete a utlzar u resume e la recuperacó, auque los resultados so poco homogéeos. E la tabla se observa gra varacó de resultados depededo del usuaro, auque e geeral, los resúmees persoalzados so levemete mejores e meda para γ = 3. S embargo, o exste u valor de γ óptmo para todos los usuaros, depededo éste de la catdad de formacó dspoble e el perfl, y de la smltud exstete etre el perfl del usuaro y las otcas dspobles. Por ejemplo, auque el tercer usuaro posee gra catdad de formacó e su perfl, ésta es poco útl para seleccoar otcas porque cluye varos ombres propos, que raramete aparece e las otcas. E geeral, los resultados so muy aletadores auque las dferecas so poco sgfcatvas. Es acosejable realzar ua evaluacó co u mayor úmero de usuaros y otcas, que muy probablemete mostrará que es preferble la utlzacó de resúmees persoalzados frete a resúmees geerales e sstemas de recuperacó y fltrado de formacó. 6. Coclusoes y trabajo futuro E este artículo se ha presetado u sstema de elaboracó de resúmees persoalzados e el marco de u sstema de evío persoalzado de otcas llamado Hermes. El sstema de extraccó de resúmees geera resúmees adaptados a las ecesdades de formacó del usuaro de acuerdo co u perfl e Hermes. Los resúmees obtedos tee como f ayudar al usuaro e la decsó de leer o o el texto completo de la otca. Los resultados de la evaluacó de la técca de extraccó de resúmees persoalzados vs. resúmees o persoalzados so aletadores. E uestro trabajo futuro, plaeamos mejorar las téccas de extraccó de resúmees persoalzados utlzado uevas heurístcas y

7 la formacó de recursos léxcos como WordNet y EuroWordNet. Asmsmo, realzaremos ua evaluacó de la caldad de los resúmees persoalzados basada e téccas oretadas al usuaro y la tarea. Falmete, portaremos el sstema al doma glés, tarea que platea u coste sgfcatvamete pequeño, y evaluaremos uestras téccas de extraccó de resúmees e el cotexto multlgüe. Bblografía [] Amato, G., Stracca, U.: User Profle Modelg ad Applcatos to Dgtal Lbrares. I: Proceedgs of the Thrd Europea Coferece o Research ad Advaced Techology for Dgtal Lbrares, Pars, Frace (999) [2] Baeza-Yates, R. ad Rbero-Neto, B. (999). Moder Iformato Retreval. ACM Press Books, New York. [3] Bllsus, D., Pazza, M.J.: A Hybrd User Model for News Story Classfcato. I: Proceedgs of the Seveth Iteratoal Coferece o User Modelg, Baff, Caada (999) [4] Bueaga, M., Gómez, J.M. ad Díaz B. (997) Usg WordNet to Complemet Trag Iformato Text Categorzato. I Proceedgs of the Secod Iteratoal Coferece o Recet Advaces Natural Laguage Processg (RANLP). [5] Che, L., Sycara, K.P.: WebMate: A Persoal Aget for Browsg ad Searchg. I: Proceedgs of the Secod Iteratoal Coferece o Autoomous Agets, Meapols, (998) [6] Díaz Esteba, A., Gervás Gómez-Navarro, P., García Jméez, A.: Evaluatg a User- Model Based Persoalsato Archtecture for Dgtal News Servces. I: Proceedgs of the Fourth Europea Coferece o Research ad Advaced Techology for Dgtal Lbrares, Lsbo, Portugal (2000) [7] Edmudso, H.P New Methods Automatc Abstractg. Joural of the ACM, 6(2): [8] Hah, Udo ad Iderjeet Ma The Challeges of Automatc Summarzato. Computer, 33(): [9] Hah, Udo ad Ulrch Remer Kowledge-Based Text Summarzato: Salece ad Geeralzato Operators for Kowledge-Based Abstracto. I Ma, I. ad Maybury, M.T. (eds.), Advaces Automatc Text Summarzato, The MIT Press, Cambrdge, Massachusetss. [0] Kupec, Jula, Ja O. Pederse, ad Frace Che A Traable Documet Summarzer. I Proceedgs of the 8th Aual Iteratoal ACM/SIGIR Coferece o Research ad Developmet Iformato Retreval, 68-73, Seattle, Washgto. [] Ma, Iderjeet ad Mark T. Maybury (eds) Advaces Automatc Text Summarzato. The MIT Press, Cambrdge, Massachusetss. [2] Maña, Mauel J., Mauel de Bueaga, ad José María Gómez Usg ad Evaluatg User Drected Summares to Improve Iformato Access. I S. Abteboul ad A.M. Vercoustre (eds.), Proceedgs of the Thrd Europea Coferece o Research ad Advaced Techology for Dgtal Lbrares (ECDL'99), Lecture Notes Computer Scece, Vol. 696, 98-24, Sprger-Verlag. [3] Porter, M.F. A algorthm for suffx strppg. Program, 4(3): [4] Salto, G., J. Alla, C. Buckley, ad A. Sghal Automatc Aalyss, Theme Geerato ad Summarzato of Mache- Readable Texts. Scece, 264, [5] Salto, G. (989). Automatc Text Processg: the trasformato, aalyss ad retreval of formato by computer. Addso Wesley. 989 [6] Sebasta, F. "A Tutoral o Automated Text Categorsato". Proceedgs of the Frst Argetea Symposum o Artfcal Itellgece (ASAI-99) [7] Teufel, Smoe ad Marc Moes Setece extracto as a classfcato task. E Proceedgs of ACL/EACL Workshop o Itellget Scalable Text Summarzato, Madrd. [8] Ya, T.W., Garca-Mola, H.: SIFT A Tool for Wde-Area Iformato Dssemato. I: Proceedgs of the USENIX Techcal Coferece, (995)