Clasificación Jerárquica de contenidos Web.

Transcripción

1 Clasfcacón Jerárquca de contendos Web. Álvaro Gascón y Marín de la Puente Unversdad Carlos III Madrd @alumnos.uc3m.es Mguel María Rodríguez Aparco Unversdad Carlos III Madrd @alumnos.uc3m.es ABSTRACT Además de explcar la mportanca de una apropada clasfcacón de documentos en el entorno web, aquí se explcan los prncpales métodos empleados para ello, como son el crawlng y los métodos de clasfcacón basados en SVM, así como sus ventajas e nconvenentes, y los pasos que son necesaros para aprovechar dcho proceso, como es el ndexado y el empleo de metadatos. Se hace una pequeña reseña de uno de los métodos de clasfcacón más smple (fltro ant-spam) basada en texo. Tambén se explcan las cuáles son las meddas de prestacones de los clasfcadores y los parámetros más relevantes que permten estmar dchas prestacones. hacendo basándose úncamente en la nformacón textual, gnorando el contendo de las mágenes. Sería bueno ver cómo afecta la consderacón de las mágenes a la clasfcacón de contendos web. Desgracadamente, el papel y la mportanca de cada una de las fuentes de datos puede ser bastante dfícl de dentfcar. Combnar de manera smple las característcas de mágenes y texto puede no ser útl a la hora de mejorar los resultados de la clasfcacón. La gran dferenca entre sus característcas y comportamentos puede ocasonar problemas y, por tanto, una peor clasfcacón tras combnar ambos tpos de nformacón (textual y de mágenes). Keywords SVM, Crawlng, Precsón, Recall. 1. INTRODUCCIÓN Debdo a la explosón de Internet en los últmos años, el contendo web se ha convertdo en una de las mayores fuentes de datos e nformacón para estudos, nvestgacones, desarrollo de aplcacones, etc. Puesto que la cantdad de nformacón dsponble aumenta de forma cas exponencal, se hace necesaro ordenarla y clasfcarla de forma jerárquca para hacerla más fáclmente accesble. Pero dcha estructura jerárquca sería muy costosa de mantener manualmente ya que exge actualzacones muy frecuentes. Lo deal sera poder automatzar el proceso y que dcha tarea fuera hecho por Aprendzaje Automátco (Machne Learnng). La razón para aplcar algortmos de clasfcacón jerárquca a documentos web es ayudar a mantenerlos y clasfcarlos dentro de certos térmnos taxonómcos. Para llevarlo a cabo han sdo desarrolladas numerosas técncas que, en algunos casos, parten de unas taxonomías predefndas o, en otros, comenzan en un punto ncal propo. Asmsmo, la técnca empleada puede tener alcance local (nterno a una organzacón o un grupo de págnas web lmtado) o, por el contraro, un alcance global (Google). En una págna web coexsten varos tpos de nformacón, sendo los más comunes texto e mágenes. A pesar de la exstenca de dversos tpos de datos, la mayoría de las clasfcacones se sguen Hay muchas formas de utlzar las característcas de dstntas fuentes. Una de ellas es la combnacón de múltples clasfcadores. Los clasfcadores múltples basados en la combnacón de un conjunto de clasfcadores smples proporconan muy buenas prestacones como sstemas de clasfcacón de contendos. De hecho, estudos recentes [7-9] ndcan que el empleo de estos clasfcadores múltples proporconan mejores resultados que aquellos casos en los que se emplean los clasfcadores smples. Esto ocurre cuando se cumplen certos requstos y los clasfcadores componentes son razonablemente buenos o comenten dstntos errores. La aproxmacón más utlzada es aquella que combna las dferentes saldas de los clasfcadores sguendo unas normas o fundones sencllas de combnacón. Algunas de ellas son: clasfcadores ponderados de Bayes, dstntas combnacones lneales de probabldades a posteror, reglas de máxmo y mínmo, threshold votng, majorty vote, reglas de producto [10-13]. Aunque todos estos estudos muestran característcas nteresantes, no garantzan el dseño del stema de múltples clasfcadores óptmo. Dado que la mejor combnacón de un conjunto de clasfcadores depende de la aplcacón (los datos a tratar) y de los clasfcadores a combnar, no puede decrse que haya un mejor esquema de combnacón n una relacón clara entre la precsón de un clasfcador múltple y los clasfcadores smples que lo componen. Es muy mportante reseñar que, antes de aplcar cualquer clasfcador, es necesaro extraer las característcas relevantes de los datos a tratar.

2 2. TÉCNICAS DE CLASIFICACIÓN 2.1 Fltros Bayesanos (ant-spam) Probablemente, una de las formas más smples de clasfcar contendos sea medante el uso de lo que se conoce como fltros bayesanos. Este tpo de fltros está basado en el teorema de Bayes para determnar un correo electrónco como spam o no. El teorema probablístco de Thomas Bayes resulta útl cuando conocemos el resultado fnal de un expermento, pero desconocemos alguno de los pasos ntermedos en el que estamos nteresados. El teorema de Bayes vene dado por el sguente enuncado: Sea {B 1, B 2,, B n } un sstema completo de sucesos con P(B ) > 0 para todo. S A es un suceso cualquera se verfca: P( B k A) = n P( A B ) P( B ) 1= 1 k P( A B ) P( B ) k 2.2 Crawlng Un crawler, que en nglés sgnfca oruga, debe su nombre a la tarea o movmento que realza a través de la web. Su funcón es r recorrendo todos los domnos a partr de un punto ncal prefjado, descargando el contendo de los stos atravesados. El movmento que sgue dcha oruga puede obedecer dstntos algortmos, pero en todos ellos va recorrendo los enlaces a otras págnas que se encuentran en cada una de las que va atravesando y los encola para r sacándolas de ella según un algortmo predefndo para, posterormente, repetr el proceso. Tras esto se transforma la nformacón almacenada en texto y metadatos que resulten fáclmente clasfcables. Estos metadatos no son más que una transformacón de la nformacón orgnal que haga más fácl su almacenamento y posteror búsqueda. Aquí se muestra el esquema básco de un crawler. sendo: P(B ): probabldades a pror P(B A): probabldades a posteror P(A B ): verosmltudes En [14] se descrbe su funconamento de la sguente manera: la probabldad de que un correo electrónco sea spam, consderando que haya certas palabras en él, es gual a la probabldad de encontrar esas certas palabras en un correo basura por la probabldad de que algún correo sea spam, dvddo entre la probabldad de encontrar esas palabras en algún correo. Esto matemátcamente es: Fgura 1. Dagrama de bloques de un crawler. p ( spam palabras) = p( palabras spam) p( spam) p( palabras) El fltro bayesano necesta una base de datos que contenga palabras y otros crteros (dreccones IP, hosts, ), para calcular la probabldad de que un correo determnado sea spam, sacados de un ejemplo de correo basura y otro de correo váldo. A cada palabra se le asgna un valor de probabldad basado en la frecuenca de aparcón de dcha palabra en un correo basura frente a la msma frecuenca de aparcón en un correo váldo. Estas asgnacones se realzan a través de un proceso de análss del correo. Dsponendo de la base de datos el fltro podrá actuar. Cuando se recbe un nuevo correo, el análss consste en descomponer el texto en palabras y selecconar las más relevantes, las cuales el fltro bayesano procesará calculando la probabldad de que el correo que hemos recbdo sea spam o no. S la probabldad supera un umbral establecdo se consderará spam. Para que esta tarea tenga sentdo es necesaro que supere dos retos mportantes. El prmero de ellos es ser capaz de gestonar el enorme volumen de nformacón necesaro que se maneja en esta tarea (actualmente se estma que el número de págnas exstentes supera los mllones). Por otro lado, el contendo de cada una de ellas no es algo estátco en su gran mayoría. Y este cambo debe verse tambén reflejado en los metadatos generados por medo de sucesvos procesos de crawlng que garantcen la frescura de la nformacón almacenada. Este proceso está comandado por varas polítcas que procuran el más adecuado funconamento del proceso. Éstas son: Polítca de seleccón, que establece qué pagnas descargar Polítca de revsta, para establecer cuándo comprobar s se han producdo cambos Polítca de educacón, que establezca cómo evtar sobrecargar los stos vstados Polítca de paralelzacón, para establecer cómo coordnar varos crawlers dstrbuídos.

3 Resulta nteresante la ntroduccón de dos magntudes nteresantes desde el punto de vsta del motor de búsqueda. Éstos son la edad (age) y la frescura (freshness).esta últma es una funcón de valor bnaro que determna s una copa local de un documento es o no fresca en un determnado nstante t. Su valor es 1 en caso de que sí lo sea o 0 en caso contraro. La edad no es una funcón bnara. En este caso es una medda de cuánto está desfasada la copa local presente en el repostoro en un nstante t. Estas dos funcones sguen la sguente representacón matemátca: Fgura 2.Defncones de frescura (freshness) y edad (age). Según un estudo de Edward Coffman en 1998, que defnó el objetvo de un crawler medante un térmno equvalente al de freshness. En dcho estudo se defne como objetvo consegur mnmzar la fraccón de tempo que una págna está desfasada. O lo que es lo msmo: mantener ese valor de freshness tan alto como sea posble y, consecuentemente, reducr al máxmo el valor de age. De esta manera, el objetvo debe ser lograr un perfl de comportamento del crawler que sga un modelo como el defndo en la sguente fgura: Métrcas de la mportanca Por últmo, ahora que un crawler ha quedado defndo, para realzar una adecuada jerarquzacón de los contendos que de él se extraen es necesaro el manejo de métrcas adecuadas que den sentdo a dcha clasfcacón. Aquí se presentan algunos de los métodos empleados para realzar la menconada jerarquzacón. El empleo de uno frente a otro depende de cuál sea el fn que se persgue. 1. Smltud con una petcón determnada Q: Se defne un térmno, I(P), como la smltud textual entre un determnado documento P y el documento de partda Q. Para ello cada documento puede ser vsto como un vector de m dmensones donde cada térmno representa la sgnfcacón de la palabra -ésma del vocabularo. Esa sgnfcacón se calcula multplcando el número de veces que dcha palabra aparece en el documento por la frecuenca nversa del documento (df). Este últmo térmno es el nverso del número de veces que la palabra aparece en el conjunto total de documentos bajo estudo. La smltud, fnalmente, es el producto entre los vectores de los dos documentos P y Q. Este cálculo necesta de la estmacón del térmno df porque durante el proceso de crawlng aún no se dspone de nformacón global. Por tanto se estma un valor IS (P) como ndcador de la mportanca relatva de la págna P. Fgura 3.Comportamento deal de un crawler en térmnos de freshness y age. Fgura 4a. Métodos de jerarquzacón: basado en smltud.

4 3. PageRank. En este caso todos los enlaces son tratados por gual. Sn embargo, es necesaro otorgar mayor mportanca a unas págnas que a otras. No es lo msmo un enlace que parte de un blog personal que de una págna como Amazon, Ebay o Yahoo!. Y no lo es no sólo por una cuestón ntutva sno porque, además, el ndcador IB anteror es mayor en un caso que en otro. En PageRank aparece un nuevo ndcador, IR(P), que es la suma ponderada de los enlaces que apuntan haca P y se calcula del sguente modo: IR(P) = (1 d) + d ( IR(T 1 )/c IR(T n )/c n ), sendo T cada una de las págnas que apuntan a P y sendo c el número de enlaces que salen desde T. Tras este cálculo el resultado obtendo es la probabldad de que una persona esté en un momento determnado en el sto P. 4. Locaton Metrc. Esta métrca, que se representa medante IL(P), no consdera el contendo de la págna. Se establecen dstntos crteros para otorgar mayor o menor mportanca a dcha págna como por ejemplo que sea un domno.com o que su URL tenga menos /.La lsta de crteros no acaba aquí, evdentemente. Fgura 4b. Métodos de jerarquzacón: basado en smltud modfcado. A contnuacón se muestran los pseudocódgos de algunos de los métodos arrba descrtos. El objetvo de mostrar estos códgos es poner de manfesto que la complejdad es baja en cualquera de ellos: 2. Backlnk count. En este caso I(P) se calcula a partr de enlaces haca P a lo largo de la web y en este caso se denomna IB(P). Para este algortmo son mucho más mportantes, obvamente, los enlaces que otras págnas hacen con la págna bajo estudo que aquellas págnas que son autoenlazadas. En este caso el cálculo de IB(P) requere del recuento de todos aquellos enlaces que desemboquen en P a lo largo de la web. Fgura 4d. Métodos de jerarquzacón. Ahora que las métrcas han sdo defndas es necesaro dseñar el crawler de manera que vste prmero aquellas págnas que tengan un alto I(P). Sn embargo, durante el desarrollo, tal y como se ha explcado antes, sólo se dspondrá de I (P) por lo que el crawler habrá de ntur cuáles son esas págnas para nsertarlas prmero en su cola. Fgura 4c. Métodos de jerarquzacón: backward lnk based. Exsten tres modos dstntos de operacón para el crawler que no serán detallados en este documento porque sus detalles escapan al objetvo fnal del msmo. Son los sguentes: Crawl and stop,

5 Crawl and stop wth threshold y Lmted buffer crawl. Exsten asmsmo multtud de crawlers web de propósto general que han sdo publcados y donde está a la cabeza el de Google por la repercusón que ha adqurdo, no porque sea el óptmo (es necesaro recordar que exsten dstntos tpos de crawler y cada uno puede estar enfocado a una funcón determnada, sendo dferentes crawlers óptmos en escenaros dstntos). La lsta de crawlers es larga, habéndolos ncluso de códgo aberto: DataparkSearch, GNU Wget, RBSE, World Wde web Word Después del proceso de crawlng el sguente paso es ndexar la nformacón de manera adecuada para que no resulte tedosa la espera tras cada petcón. Una búsqueda no refnada de, por ejemplo, 1000 documentos llevaría horas mentras que con el ndexado el motor de búsqueda tarda mlsegundos en realzar la tarea. Como contrapartda está la necesdad de espaco de almacenamento extra. Otro factor mportante es la posbldad, o no, de rastrear a través de documentos de dstntos formatos. No toda la nformacón que se vsta en la web está dsponble en formato texto. Las varedades de formato son bastante amplas e ncluye, entre los más populares, Word, Excel, Powerpont, ASCII, PDF, HTML o XML, como ejemplos más conocdos de una lsta mucho más larga y que se ampla con el tempo. 2.3 Clasfcadores basados en SVM En prmer lugar, se ha de explcar brevemente en qué conssten las Máqunas de Vectores Soporte (Support Vector Machna, SVM) Extraccón de característcas Antes de poder llevar a cabo cualquer clasfcacón del contendo de la web a analzar, es necesaro certo pre-procesado de la nformacón que dcha web contene. Con esto se persgue extraer las característcas más relevantes de la nformacón textual,los metadatos y las mágenes. Para poder usar las característcas en cálculos de smltud, hay que asgnar un peso adecuado a cada característca. Para los pesos de las característcas textuales se emplea la funcón frecuenca del térmno y frecuenca nversa del documento (TFIDF) como suele ser habtual en la extraccón de nformacón. Para las característcas vsuales se emplea un análss PCA (Prncpal Component Analyss) del color para representar el color global y las característcas de los pxels Característcas textuales Se defnen las sguentes cuatro conjuntos de tpos de datos: Págna: ncluye texto completo, hpervínculos, título y metadatos. Cas todas las palabras que aparecen en el texto son consderadas. Resumen: ncluye título, descrpcón y los campos de palabras clave (keywords) de los metadatos de descrpcón. Título: palabras que aparecen en el título del texto. Texto relaconado con mágenes: palabras relaconadas con la magen, así como las palabras cercanas o vecnas de la magen. Los pesos se asgnan como se muestra a contnuacón: W d [ 1+ log n( t, d) ] ( t) = 2 log 2 D n( t) sendo n(t,d) la frecuenca del térmno t en el documento d, y n(t) la frecuenca total del térmno t en el conjunto de documentos D Característcas vsuales Para representar el contendo vsual de una web, se emplea el PCA (Prncpal Component Analyss). El PCA permte representar una magen como un vector en un base ortogonal. Supongamos que tenemos K vectores de entrenamento x 1, x2,..., x K. La matrz de covaranzas C puede calcularse como: C = X donde X = [ x m x m,..., x m], 1 2 K, sendo m el vector de esperanzas de x. Obtenendo los autovectores y los autovalores de la matrz C, se pueden representar las mágenes a clasfcar. De esta forma, se puede obtener el vector de característcas de una magen sn más que multplcar dcha magen por el conjunto de los autovectores de C. donde y * = V * y es el vector de característcas, y la magen a clasfcar V = e e,..., la matrz de autovectores. Es decr, se, 1 2 e k obtenen las proyeccones de la magen en cada una de las dreccones defndas por cada uno de los autovectores e. y [ ] Normalmente se representan las mágenes por los valores de los píxeles de los tres canales de colores prncpales (RGB: Red, Green, Blue). T T Support Vector Machne Los SVM son unos poderosos clasfcadores, amplamente utlzados en la clasfcacón de texto e mágenes. X y

6 De forma abrevada, un SVM construye el Hyperplano de Separacón Óptma, el cuál separa un conjunto de muestras postvas de un conjunto de muestras negatvas maxmzando el margen (la separacón). Nos refermos a la frontera de separacón como hyperplano ya que las característcas pueden almacenarse en forma de vectores n-dmensonales. Exsten muchas fronteras o planos de separacón, pero sólo uno (el Hyperplano de Separacón Óptma) que proporcona la máxma separacón o dscrmnacón Ventajas e nconvenentes Los clasfcadores basados en SVM tenen las sguentes ventajas: Clasfcacón muy efectva. Pueden trabajar con datos de dmensnaldad alta. No se suele necestar reduccón de dmensonaldad. Como contrapartdas presentan: Puede llegar a ser costosas, pero exsten algortmos muy efcentes. Seleccón de parámetros y del kernel. Un ejemplo [15] de la aplcacón de clasfcadores de este tpo (el clasfcador SVM lneal para los datos textuales y el SVM no lneal RBF para datos vsuales), proporcona los sguentes resultados: Fgura 5. Hyperplanos de separacón. El HSO se caracterza por: Es el elemento ntermedo del conjunto más amplo de superfces de decsón paralelas. La mínma dstanca a cualquer vector de entrenamento es máxma. En el caso de que las clases no sean lnealmente separables, el SVM deberá utlzar funcones base no lneales, para mapear el espaco de los datos de entrada en el espaco n-dmensonal de las característcas. De esta forma, se puede resolver el problema de no lnealdad. Las funcones base no lneales más comunes son las denomnadas Radal Bass Functons (RBF). Fgura 6. Estructura jerárquca de datos. Los resultados muestran claramente [15] que la combnacón sempre mejora los clasfcadores ndvduales, excepto cuando las prestacones de los dos son muy dstntas. donde: f ( x) = sgn( M = 1 a 2 exp( r x x r: parámetro de anchura defndo por el usuaro. A : multplcadores de Lagrange defndos por el algortmo SVM Los algortmos SVM son unos algortmos basados en el resultado de salda (store based), es decr, la dstanca al Hyperplano de Separacón Óptma (HSO). )) Fgura 7.a. Resultados de clasfcacón basados en texto e mágenes 3. EVALUACIÓN DE CLASIFICADORES Necestamos conocer el rendmento de los clasfcadores. Normalmente se lleva a cabo expermentalmente, más que analítcamente. Comparando ese rendmento bajo un msmo banco de datos se pueden establecer los mejores clasfcadores. Normalmente, se defne la Efectvdad del clasfcador como una funcón que mde cuántas decsones correctas ha realzado el clasfcador.

7 Para llevar a cabo dcha evaluacón es necesaro dsponer de bancos de datos específcamente dseñados para ello. A contnuacón se muestran los parámetros que pueden evaluarse en un clasfcador. 3.1 Efcenca Son los tempos de entrenamento y prueba, así como los requermentos de espaco. Rara vez se utlza, pero es muy mportante para clasfcadores reales. Resulta dfícl de comparar porque los entornos camban. Hay dos tpos de efcenca: Efcenca en el entrenamento: tempo medo para construr un clasfcador por categoría con el conjunto de entrenamento. Efcenca de la clasfcacón: tempo medo de clasfcacón de un nuevo documento. Fgura 8. Precsón y Recall. Para estmar la precsón y el recall, se emplean dos métodos: Mcroaveragng: contar los verdaderos postvos y falsos postvos de todas las clases. La precsón y el recall se calcula utlzando los valores globales. 3.2 Efcaca Es la habldad de tomar las decsones de clasfcacón correctas. Para medrla, una vez construdo el clasfcador utlzando el conjunto de prueba, se evalúa la efcenca utlzando el conjunto de test, calculando, para cada categoría c : TP : verdaderos postvos para la clase c. Es el conjunto de ocumentos que, tanto el clasfcador como los jucos almacenados en el conjunto de prueba, se clasfcan bajo c. FP : falsos postvos. El conjunto de documentos que el clasfcador clasfca bajo c, pero el conjunto de prueba ndca lo contraro. TN : verdaderos negatvos. El conjunto de documentos que, tanto el clasfcador como los jucos almacenados en el conjunto de rueba, no pertenecen a c. FN : falsos negatvos. El conjunto de documentos que el clasfcador no clasfca bajo c, pero el conjunto de prueba ndca lo contraro, que debían ser clasfcados como c. Macroaveragng: meda de la precsón (recall) de las categorías ndvduales. Con estos parámetros, se defnen a su vez la precsón y el recall. Precsón: Recall: Gráfcamente: p TP = TP + FP TP r = TP + FN Ambas meddas pueden dar resultados muy dferentes, s las categorías tenen dferente grado de generaldad (número bajo de ejemplos de entrenamento postvos). La habldad de comportarse ben con categorías poco generales será resaltada por la medda macroaveragng.

8 Hay que resaltar que ambas meddas (precsón y recall) no tenen sentdo de manera aslada. S, por ejemplo, clasfcamos cada documento bajo su categoría, recall=1,pero la precsón sería muy baja. Así pues, un clasfcador debe ser evaluado con una medda que combne precsón y recall, como la sguente curva: Fgura 9. Curva Recall-Precsón. Como últmo apunte, el rendmento depende de factores expermentales como las característcas del conjunto de documento, el número de ejemplos de entrenamento por categoría, etc. 4. CONCLUSIONES Se ha puesto de manfesto la mportanca y las ventajas del empleo de técncas adecuadas para la clasfcacón y la jerarquzacón de los contendos presentes en Internet. Sn esta herramenta Internet no sería un nstrumento tan extenddo, útl y, sobre todo, rápdo en el mundo actual. 5. REFERENCIAS [1] Junghoo Cho, Hector Garca-Molna y Lawrence Page. Effcent crawlng through URL orderng [2] Wkpeda [3] A. Gull y A. Sgnorn. The ndexable Web s more than 11.5 bllon pages [4] John M. Perre. On the automated classfcaton of Web stes. [5] Chuang Wang, Xng Xe, Lee Wang, Yansheng Lu y We- Yng Ma. Web resource geographc locaton classfcaton and detecton [6] Kunal Punera, Suju Rajan y Joydeep Ghosh. Automatcally learnng document taxonomes for herarchcal classfcaton. [7] B. F. Buxton, W. B. Langdon and S. J. Barreto Data Fuson by Intellgent Classfer Combnaton. [8] Zhang and Srhar. Class-wse mult.classfer combnaton based on Dempster-Shafer thery. [9] R. Floran, Ittycherah, Jng and Zhang. Named Entty Recongnton through Classfer Combnaton. [10] J. Kttler. On Combnng Classfers. [11] J. Kttler and F. Rol. Multple Classfer Systems. [12] K. Chen and H. Ch. A method of combnng multple probablstc classfers through soft competton on dfferent feture sets. [13] Xao, Wang and Da. Adaptve Combnaton of Classfers and ts Applcaton to Handwrtten Chnese Character Recognton. [14] Paul Graham. A Plan for Spam [15] Shou-Bn Dong. The Herarchcal Classfcaton of Web Content by the combnaton of Textual and Vsual features.