Gestión Dinámica de Estructuras de Documentos mediante Mecanismos de Comparación Borrosos

Transcripción

1 Gestión Dinámica de Estructuras de Documentos mediante Mecanismos de Comparación Borrosos Francisco P. Romero Centro I+D Soluziona UCLM Ronda de Toledo, s/n Ciudad Real, SPAIN José A. Olivas Departamento de Informática, Universidad de Castilla-La Mancha, Paseo de la Universidad 4, Ciudad Real, SPAIN Pablo J. Garcés Departamento de Informática, Universidad de Alicante Ctra. S. Vicente del Raspeig s/n Alicante, SPAIN Resumen En este trabajo se presentan las técnicas necesarias para realizar una gestión dinámica e inteligente de repositorios de documentos. La base de este sistema es una estructura de conocimiento en la que se sustenta la organización del repositorio. Las características principales de esta estructura son, por una parte la distribución jerárquica y borrosa de los documentos, la conformación basada en conceptos extraídos a través de relaciones semánticas borrosas y por último, la representación de las agrupaciones mediante Prototipos Deformables Borrosos. El tratamiento de documentos entrantes al repositorio se realiza a través de mecanismos de comparación e inferencia borrosos que permiten su clasificación y el desencadenamiento de acciones posteriores. La estructura se actualiza automáticamente para adaptar el conocimiento a la evolución temporal del repositorio. Palabras Clave: Repositorios de Documentos, Prototipos Deformables Borrosos, Gestión Dinámica de Documentos. 1 INTRODUCCIÓN AL PROBLEMA El término repositorio de documentos tiene diversos significados según el ámbito en el que se utilice. Una interpretación clásica del término daría lugar a su definición como una biblioteca física. Extrapolando este término al mundo digital, un repositorio de documentos sería una biblioteca de documentos electrónicos. Este enfoque se ve superado en la actualidad dado que los documentos que manejamos las personas no son únicamente libros, artículos o boletines, sino que pueden ser páginas web, blogs, correos electrónicos, noticias, etc. La realidad actual nos incita a ampliar el término más allá de las bibliotecas formalizadas llevándonos a incorporar como repositorios documentales todas las colecciones de documentos más o menos organizadas que circulan por Internet. De esta forma, calificamos repositorios de documentos a todo grupo de documentos electrónicos que puede llegar a tener entidad por si mismos. Ejemplos de este tipo de repositorios son el correo electrónico, los foros de discusión, los grupos de noticias, incluso las conversaciones en discusiones y debates, etc. Entre todo el compendio de este tipo de documentos existe un conocimiento subyacente que debe ser accedido y aprovechado por parte del usuario final. Una característica especial de estos nuevos repositorios es su accesibilidad y su dinamismo. El número de personas que tiene acceso sencillo a un gran número de documentos crece cada día. En cuando al dinamismo, viene dado por el constante cambio de contenidos y el creciente tráfico de documentos que existe en Internet. Esta nueva situación produce que la estructuras estáticas y cimentadas en criterios expertos en las que se basaba la anterior organización de los repositorios documentales haya quedado obsoleta, necesitándose nuevas estructuras, basadas en el significado de los documentos, claras para el usuario y fácilmente actualizables con el fin de conservar su validez y utilidad en el tiempo. Las estructuras estáticas normalmente están basadas en reglas definidas por el usuario que conforman la gestión de cada uno de los documentos entrantes al repositorio, un ejemplo de ello, son las reglas que sobre la gestión del correo electrónico disponen los sistemas comerciales. Por otro lado, existen herramientas de filtrado que permiten de alguna forma aligerar la carga en la gestión eliminando la posible basura (spam, información no relevante) de los documentos que entran en el repositorio. Las técnicas basadas en Soft Computing han sido ampliamente utilizadas en estas tareas con rendimientos debidamente contrastados [15][19]. Estos estudios van desde los procesos de clustering para la estructuración [3] y el filtrado de colecciones de documentos [17], como la utilización de clasificadores probabilísticos [11][8] u otras técnicas [13].

2 El trabajo propuesto propone la gestión dinámica de un repositorio basándose en su estructuración a partir de los conceptos manejados en los documentos que contiene. La estructura básica del repositorio posee una organización jerárquica de grupos en la cual los documentos pueden pertenecer a varios grupos con distintos grados de pertenencia. A esta estructura básica se incorpora una representación formal de cada grupo de documentos basada en conjuntos de términos relevantes y Prototipos Deformables Borrosos[6]. El mecanismo de tratamiento de los documentos entrantes al repositorio también será conceptual. De esta manera, se establece un vínculo entre los conceptos relevantes que se definen en cada uno de los grupos de la estructura con los aparecidos en el documento entrante. 2 DESCRIPCIÓN DE LA ESTRUCTURA DEL REPOSITORIO La organización del repositorio está basada en una jerarquía de carpetas de documentos. La base de conocimiento que sustenta esta organización está basada en los componentes que se obtienen tras un proceso de representación conceptual mediante el modelo FIS-CRM [5], de clustering borroso y de Representación del Conocimiento basado en Prototipos Deformables Borrosos [9]. Al basarse en componentes cabe la posibilidad de transformar otras estructuras, obtenidas mediante procesos distintos al utilizado en este trabajo, a las especificaciones de la estructura propuesta ESTRUCTURA GENERAL Las características principales de la propuesta de estructura de repositorio son las siguientes: - Automática: Se obtiene mediante un algoritmo de funcionamiento desasistido por lo que se evita que el usuario defina grandes cantidades de reglas para su gestión. - Clara: Su representación es simple no basándose en complicadas fórmulas probabilísticas que pueden quedar lejos de la comprensión que el usuario debe tener sobre la organización del repositorio. - Conceptual: Los criterios que se siguen tanto para agrupar los documentos como para clasificar los nuevos documentos entrantes al repositorio se basan en el contenido conceptual de los mismos utilizándose para ello las técnicas definidas en el modelo FIS-CRM[5]. - Dinámica: Su actualización no depende directamente del usuario sino que dinámicamente y a partir de los conceptos manejados en los documentos entrantes se realizará una adaptación automática de la estructura. El artículo se organiza de la siguiente forma; en el siguiente apartado se definirán los componentes de la estructura del repositorio que nos permiten realizar una gestión dinámica y conceptual de éste. En el apartado 3 se definirá de forma completa el mecanismo de tratamiento de un documento entrante al repositorio, y posteriormente en el aparado 4 se presentará el proceso de actualización de la estructura. Se finalizará con la sección de conclusiones que incluirá las líneas directrices del trabajo futuro a realizar. Se utilizará para los ejemplos prácticos una colección de documentos no estándar, concretamente la extraída de subconjuntos de los documentos incluidos en las actas de la Conferencia Internacional de Estadística en Estudios Medioambientales del año 2001(EMA 01) [1]. Figura 1: Diagrama de componentes de la estructura del repositorio. La estructura general del repositorio se basa en carpetas (clusters) que contienen documentos. Estos documentos podrán ser ubicados en varias carpetas diferentes según los conceptos que se manejan en él. Dentro de cada una de las carpetas obtenidas poseerán el grado de pertenencia correspondiente. La jerarquía posee una carpeta de ruido, ésta representa a aquel grupo de documentos que no puede ser encuadrado conceptualmente en ninguna de las agrupaciones encontradas. El número de documentos almacenado en esta grupo debe ser reducido ya que un número alto de no clasificados indica que la estructura no ha logrado representar la realidad conceptual del repositorio. Para realizar esta labor es muy importante elegir adecuadamente el algoritmo de cluster a aplicar con el fin de la construcción de la estructura. En este caso se ha obtenido la agrupación por un proceso de clustering mixto combinando y adaptando dos algoritmos, de tipo jerárquico y particionante respectivamente [10]. 2.1 Estructura de Carpeta Enriquecida. Una carpeta o agrupación de documentos normalmente únicamente contiene una etiqueta que la define y los documentos que pertenecen a ella.

3 En este trabajo las carpetas de la estructura tienen un contenido enriquecido con el fin de que se conviertan en los componentes de la base de conocimiento que sustenta al repositorio. De esta manera, la carpeta, además de poseer documentos con un cierto grado de pertenencia al grupo, contará con un vocabulario propio conformado por los términos más relevantes de entre los que han sido reflejados directa o indirectamente en sus documentos. Las estructuras de conocimiento están basadas en Categorías Prototípicas Borrosas [6] de pertenencia a la carpeta (prototipos de documentos con respecto a la agrupación). Además, se cuenta con una serie de reglas de usuario, necesarias para personalizar la gestión de los documentos. 2.2 Vocabulario de estructura. El vocabulario de la estructura son aquellos términos que definen completamente a la estructura del repositorio independientemente de la carpeta a la que pertenezcan. Contiene al conjunto de términos más relevantes procedentes de las diferentes agrupaciones obtenidas. En este vocabulario los términos no cuentan con pesos asociados a los términos, sino que únicamente se tiene en cuenta su presencia/ausencia. De esta manera, se obtendrá un vector binario que conformará la representación del documento de la estructura, el cual, será objeto de traducción o transformación en el tratamiento multidioma. De este vocabulario se obtendrán las estructuras (mapas) que contienen todas las relaciones semánticas entre las palabras del vocabulario. Estas relaciones serán claves para el tratamiento conceptual y los procesos de desambiguación de los documentos entrantes al repositorio. Otra de sus utilidades será el dar soporte a las diferentes funcionalidades de filtrado de documentos basura que se implementen en el sistema ESTRUCTURA DE UNA CARPETA Figura 2: Diagrama de componentes de la estructura de una carpeta de documentos. Con el fin de conservar funcionalidades de etiquetado, cada carpeta contendrá una palabra o palabras que la identifiquen que o bien pueden ser los términos más relevantes de la carpeta, o bien pueden ser establecidos directamente por el usuario Vocabulario de la carpeta. Como se ha indicado anteriormente cada carpeta posee un vocabulario propio obtenido a partir de los términos de los documentos que contiene, con ello disponemos de un vector FIS-CRM que representa a la carpeta. Debido a que un porcentaje reducido de los términos determinan el contenido de la carpeta (ley de Pareto) es necesario establecer mecanismos para identificar los grupos de términos importantes dentro de ella. La extracción de los términos que definen el contenido de la agrupación se consigue mediante un algoritmo adaptado de las ideas presentadas [2]. La relevancia de un término dentro de una carpeta se calcula de la siguiente forma: Siendo w = ( wi ) * (1 + Ln( d( i) ) d i (1) - w i :La suma del valor del término dentro de cada uno de los documentos del cluster Ln( d( i) ) : Factor logarítmico del número de documento en los que aparece. Este factor sirve para dar importancia limitada al número de documentos en los que aparece un término dentro del cluster. A partir de este valor se establecen tres grupos diferentes de términos: - Otros Términos: Son los conceptos que apareciendo en los documentos de la carpeta no son relevantes en su definición. Su grado de relevancia es inferior a la media de los términos que aparecen en el cluster. - SubRelevantes: Grupo conformado por aquellos términos que no siendo suficientemente significativos para identificar la carpeta frente al usuario pero que son fundamentales para la clasificación de un nuevo documento en la carpeta. Conformarán este grupo, los términos situados entre el percentil 2 y 3 de la distribución de relevancia de los términos. - Relevantes: Está conformado por los términos que representan a la etiqueta conceptual del cluster, obtenida de forma automática y que puede coincidir o no con la del usuario. Son aquellos términos con mayor grado de relevancia en el grupo.

4 Ejemplos de carpetas con sus términos relevantes se pueden observar en la tabla 1: Tabla 1: Ejemplo de título de una tabla. Etiqueta Descripción M.Amb. Andalucía Medio ambiente, andalucía, metales, estadistica Vertidos Tóxicos Vertido, suelo, guadiamar, zn, cu, pb, as Estudios Contaminación Contaminación, predicción, proceso, programa Suelos contaminados especies, metales, pesado, suelo,,planta Prototipos Deformables Borrosos. Cada carpeta de la estructura representa un prototipo de mensaje por lo que deberá de estar caracterizado de forma que se permita definir una función de pertenencia al grupo a partir de los conceptos que aparecen en el documento. Se definen los Prototipos Deformables Borrosos [6], como una combinación lineal de Prototipos Borrosos [18] con la capacidad de adaptarse a una situación real, cuyos coeficientes son los grados de pertenencia a cada uno de estos Prototipos Borrosos. Cada prototipo viene definido por un número borroso y un marco de definición de la situación de datos de los que no se dispone a priori (en este caso los marcos de acción). Los prototipos han sido representados formalmente como números borrosos, los cuales permitirán obtener un grado de pertenencia de un documento con los prototipos borrosos que definen la carpeta. Para calcularlos se necesita contar con un grado de pertenencia de los documentos al cluster. Este valor se basa en los conceptos que se encuentran expresados en el documento. A partir de este grado se establece un proceso de post-clasificación que terminará con el cálculo de los valores que definen al prototipo. Figura 3: Ejemplos de números borrosos triangulares que representan prototipos de carpetas de documentos. En la figura 3 se pueden ver tres ejemplos de números borrosos que representan prototipos de carpetas extraídos de la colección del ejemplo. Las funciones de pertenencia representan claramente que dentro de una misma carpeta existen dos tipos de documentos: los afines a la carpeta y los que son destacadamente afines. Estas diferencias marcarán la realización de ciertas acciones con los documentos entrantes (priorización de los destacadamente afines, etc.) Marcos de Acción. El marco de definición de cada prototipo determinará las acciones especiales a realizar (priorización, eliminación, auto-respuesta, reclasificación, etc.) con cada documento entrante según su afinidad a la carpeta. Cada carpeta tendrá un marco con toda la serie de acciones que se pueden realizar cuando un documento sea clasificado en ella. Dentro de estos marcos podrá haber actividades de la lista que no se realicen nunca (probabilidad 0) o se realicen siempre (probabilidad 100%) o que se realicen dependiendo de cierta probabilidad que se va a ver condicionada por el grado de afinidad del documento entrante al prototipo; por ejemplo acciones que solo se realizarán cuando el prototipo sea muy afín a la carpeta. Los marcos están conformados por pares acciónprobabilidad. Las acciones que se pueden ejecutar ante la llegada de un documento entrante son las siguientes: leer inmediatamente, reenviar, clasificar, priorizar, poner en espera, descartar, etc. Las probabilidades de acción o bien vendrán dadas de forma automática o definidas por el usuario mediante variables lingüísticas como las siguientes: seguro (100%), muy probable (75%), probable (50%), poco probable (25%), no realizable (0%). Un ejemplo de marcos de probabilidades de acciones según la afinidad a la carpeta se puede ver en la Tabla 2. Tabla 2: Ejemplo de marcos de acciones. Vertidos Tóxicos (Vertido, suelo, guadiamar, zn, cu, pb, as) Documento Afín Documento Muy Afín Acción Probabilidad Probabilidad Leer Muy Probable (75%) Seguro (100%) Reenviar No Realizable (0%) No Realizable (0%) Clasificar Seguro (100%) Seguro (100%) Priorizar Probable (50%) Muy Probable (75%) Poner en espera Poco Probable (25%) No Realizable (0%) Descartar No Realizable (0%) No Realizable (0%) La definición de este marco puede provenir de diversas fuentes, como pueden ser las especificaciones por defecto que establezca el usuario, la reutilización de la información existente en una estructura previa, o un proceso de aprendizaje adaptativo Controlador de usuario. Llamamos Controlador de usuario a aquel conjunto de reglas o especificaciones que permiten al usuario perfilar según sus necesidades los procesos automáticos conceptuales que se realicen en la gestión dinámica del repositorio. Se podrán distinguir dos niveles de reglas, las reglas de estructura y las reglas de carpeta.

5 Las reglas de estructura implican la funcionalidad de filtrado existente en diversas herramientas comerciales. Permite que a partir de los campos fijos de un documentos (títulos, origen del documento, etc.) establecer una serie de reglas que faciliten su gestión. Las reglas de carpeta serán reglas de usuario expresadas mediante etiquetas lingüísticas. Este conjunto de especificaciones terminarán conformando un controlador borroso que modificará los resultados de la inferencia automática realizada sobre la definición formal de la carpeta (números borrosos). 3 PROCESAMIENTO DE UN NUEVO DOCUMENTO ENTRANTE El proceso de tratamiento de un mensaje entrante, que es transparente al usuario, se realiza en diversas fases que confluyen en la comparación entre el documento entrante y cada una de las carpetas en las que puede ir almacenado. Previa a esta comparación es necesario preprocesar lingüísticamente el documento y realizar su representación conceptual según el modelo FIS-CRM [5]. Figura 4: Proceso de tratamiento de un mensaje entrante 3.1. Preproceso del documento. El preproceso del documento es muy sencillo simplemente supone la eliminación de stop words [12] que aparezcan, se realizará el stemming [7] sobre los lexemas que existentes Representación Conceptual. Como producto del preproceso obtendremos un vector del documento entrante siguiendo el modelo espacio vectorial [15]. Con el fin de poder extraer que conceptos se tratan en el documento se realizará un reajuste de estos vectores mediante el uso de las técnicas de FIS-CRM[5] Este proceso se realiza siguiendo los siguientes pasos: 1. Incrementar el conjunto de términos perteneciente al vector del documento con todos los pertenecientes al vocabulario de la estructura. Esto es, se incorporarán al vector todos los términos que, existiendo en el vocabulario de la estructura, no aparecen explícitamente en el documento. De esta forma se construye el vector extendido de documento. 2. Obtención a partir de los diccionarios de relaciones semánticas (sinonimia, ontologías, etc.) de los mapas de reajuste utilizando todos los conceptos que entran en juego en esta comparación. 3. Reajustar el vector introduciendo pesos en aquellos términos del vocabulario de la estructura que están referenciados conceptualmente en el documento. El mecanismo de reajuste es idéntico al utilizado dentro del proceso de creación de la estructura y está especificado en el modelo FIS-CRM[5] Comparación entre documento entrante y carpetas. Para poder clasificar el mensaje dentro de las carpetas de la estructura se necesita obtener un valor X que sea indicativo de la similitud entre cada una de las carpetas y el documento entrante. Para ello, no se realiza una comparación entre los documentos del cluster y el nuevo documento sino que se realiza un proceso de comparación entre los conceptos que definen el vocabulario de la carpeta y los que aparecen en el documento entrante. Este valor X se obtiene mediante la siguiente fórmula. d Ln( wi X = Ln Siendo: w ) ( D (( R + S) ( R S) D ) ) - R: conjunto de términos relevantes de la carpeta. - S: número de elementos del conjunto de términos subrelevantes de la carpeta - D: conjunto de términos del vector extendido del documento con peso (originales + procedentes del reajuste conceptual). - w i d : Peso del término en el documento. - w i c : Peso del término dentro del cluster La utilización del logaritmo en la fórmula viene dada la por la utilización en las fórmulas de funciones no acotadas. Estas funciones provocan que los resultados se puedan disparar a valores en los que no están acotados los números borrosos. La utilización de funciones, como el logaritmo, que suavizan la curva dentro de unos límites permite minimizar el efecto desborde del intervalo de validez de los números borrosos [0,1] y se pueda utilizar la regla que X > 1 X = 1. Un ejemplo de la obtención de similitudes con las diferentes carpetas se puede ver en la tabla 3 en la que un artículo sobre un vertido tóxico se compara con los carpetas de la tabla 1. c i (2)

6 Tabla 3. Similitudes entre documento entrante y carpetas Carpeta Afinidad M.Amb. Andalucía 0 Vertidos Tóxicos 0,654 Estudios 0 Contaminación Suelos 0,274 contaminados Se puede destacar que el documento será clasificado en dos carpetas pero hay una de ellas con un contenido conceptual más afín, el cual será determinante para ejecutar las acciones definidas en la carpeta. 3.3 Utilización de los prototipos borrosos y reglas de usuario. El valor de similitud obtenido es un valor calculado de forma automática que es totalmente ciego en cuanto a preferencias del usuario. Este valor de similitud es necesario modificarlo con la definición de reglas a partir del usuario. Este proceso se realizará siguiendo los siguientes pasos: - Comparación con reglas de estructura con el fin de comprobar para ver si es un documento aceptable o no para la estructura. - Comparación de las reglas establecidas en la carpeta. Estas reglas en forma de controlador recibirán el valor X como entrada y regresarán un nuevo valor X tras ser tratado por las reglas definidas mediante etiquetas lingüísticas. Una vez obtenido este valor de similitud modificada se debe obtener la afinidad del valor X para cada uno de los números borrosos que definen la Categoría Prototípica Borrosa de la carpeta. Como fruto de este cálculo obtendremos diferentes grados de afinidad a los prototipos de documento definido dentro de la carpeta Figura 4: Afinidad calculada de un documento a los números borrosos de una carpeta Posteriormente se determina el prototipo correspondiente al documento mediante la modificación de los prototipos originales. Este proceso se realiza mediante una combinación lineal modificada de éstos mediante el grado de afinidad a los prototipos y los parámetros que los definen. 1 donde: C p ( w1... wn ) = µ pi ( v1... vn ) (3) - Cp: Prototipo correspondiente al documento entrante. - (w1... wn) Parámetros que describen el marco correspondiente al prototipo del documento entrante. - µpi: Grado de afinidad del documento entrante al cada uno de los prototipos. - (v1... vn): Parámetros que describen el marco correspondiente a cada uno de los prototipos definidos en la carpeta Ejecución de acciones. Una vez obtenido el prototipo correspondiente al documento entrante hay que ejecutar las acciones necesarias a su tratamiento. La primera de las acciones, correspondientes a las labores de clasificación propias del sistema, es almacenar el documento en los grupos en las que haya conseguido una afinidad positiva superior a un umbral medio. Para cada carpeta en la que se almacene se dispondrá de un marco de acción. Estos marcos de acción podrán resumirse de diferentes formas. - Tomar únicamente el más afín y efectuar las acciones correspondientes a éste. - Resumir mediante funciones de agregación todos los marcos relevantes en uno solo. Actualmente la utilización de marco sobre la carpeta más afín es la solución elegida y ofrece buenos resultados, pero no deja de ser una opción incompleta. De esta forma se propone como trabajo futuro desarrollar la segunda opción teniendo en cuenta la utilización de utilización de operadores de agregación (OWA)[14]. Las probabilidades de acción se gestionarán mediante la generación de números aleatorios siguiendo una distribución normal. 4 ACTUALIZACIÓN DINÁMICA DE LA ESTRUCTURA Dada la constante llegada de documentos entrantes en este tipo de repositorios de documentos tan dinámicos, por ejemplo, el correo electrónico, es inviable el rehacer la construcción de la estructura ante un cierto volumen de cambios. De esta situación surge la necesidad de que la clasificación de un nuevo documento entrante suponga algún cambio en la estructura a la que ha pasado a formar parte, conservándose, de esta manera, la vigencia de la estructura en el tiempo sin detrimento de la eficiencia.

7 Ante un nuevo documento entrante se realizarán las siguientes modificaciones en la estructura: - En el vocabulario de la estructura se introducirán los términos nuevos que haya introducido el documento, los cuales pasarán a formar parte a la bolsa de términos no relevantes, pero que podrán pasar a serlo en el transcurso del tiempo. - La jerarquía se verá afectada en cuanto se superen los factores de mezcla y división que se definan sobre ella. Estos factores permiten tratar situaciones en las que, dada la evolución del sistema, se den lugar a carpetas conceptualmente parecidas o carpetas con demasiados documentos que pueden ser a su vez organizadas para mejorar la manejabilidad. - Cada carpeta individualmente se verá afectada por la inclusión del documento. Esto afectará tanto a Categorías Prototípicas Borrosas como a su vocabulario. - Recálculo de probabilidades de acción potenciando aquellas que el usuario haya dado como buenas. Se utiliza para ello un aprendizaje parcialmente supervisado. Adaptar también las reglas del controlador de usuario ACTUALIZACIÓN DE LOS TERMINOS QUE DEFINEN EL CLUSTER Ante un nuevo documento es necesario actualizar tanto el conjunto de términos de la carpeta como los grados de relevancia correspondientes. Esta actualización se realizará con el fin de que la definición de la carpeta sea similar a la que se hubiera obtenida si el documento entrante hubiera estado disponible en el proceso de construcción de la estructura. Con este fin, para las carpetas en las que se ha clasificado el nuevo documento se realiza el siguiente proceso: 1. Para todos los términos del nuevo documento (utilizando el vector extendido del documento) : a. Si existe el término en el vocabulario de la carpeta se añade su relevancia para tenerla en cuenta en el vector que define la carpeta. b. Si no existe, se incorpora con la relevancia existente en el vector extendido del documento entrante. Normalmente, estos términos pasarán a formar parte del conjunto de otros términos. 2. Actualización/ recálculo de los términos relevantes según el algoritmo utilizando en la creación de la estructura. Este proceso puede tener los siguientes efectos: a. Un término relevante/subrelevante permanece en el conjunto en el que estaba situado pero se aumenta su relevancia debido a su presencia conceptual en el documento entrante. b. Un término subrelevante a partir de su nueva relevancia por su presencia conceptual en el documento entrante pasa a ser un término relevante. c. Un término relevante/subrelevante no presente en el documento entrante mantiene su relevancia pero debido a la nueva distribución de grados de relevancia pierde su categoría y pasa al grupo inferior (subrelevante u otros términos respectivamente) ACTUALIZACIÓN DE LAS CATEGORÍAS PROTOTÍPICAS BORROSAS Esta fase consistirá en la modificación del centro de los prototipos y/o en la definición paramétrica de ésta. Esta representación facilita la actualización de los coeficientes relevantes en la definición del cluster. Dado que el documento ha sido almacenado en la carpeta, el documento entrante poseerá afinidad a uno o más prototipos de los definidos en esa carpeta. El documento por lo tanto entrará a formar parte dentro del grupo de documentos que definen a ese prototipo teniendo en cuenta su grado de afinidad a ellos. Esto producirá un cambio en los parámetros que definen los prototipos de los prototipos más afines, el cual, puede ser muy simple, cambiando únicamente su prototipo más afín, o causar un recálculo de todos los números borrosos (efectos frontera). 4 CONCLUSIONES Y TRABAJO FUTURO En este trabajo se ha presentado una metodología de gestión dinámica de repositorios de documentos. En primer lugar se parte de una estructura jerárquica y borrosa que se obtiene de forma automática a partir de los conceptos inherentes a los documentos que conforman la colección. En segundo lugar, se utiliza la estructura de conocimiento para procesar convenientemente todos los documentos entrantes al repositorio a partir de los conceptos que se traten en él. El objetivo final es poder clasificar el documento entrante en las diversas carpetas a las que sea conceptualmente afín y ejecutar las acciones vinculadas a su llegada (priorización, rechazo, etc.). Por último, la estructura debe adaptarse al entorno cambiante representando por sus documentos entrantes. Para ello, se establecen mecanismos para actualizar y adaptar todos los componentes de la estructura, asegurando su vigencia, adaptabilidad y utilidad en el tiempo.

8 Una de las ampliaciones más importante de este sistema es su aplicación en repositorios de documentos multiidioma. Actualmente este método de gestión está preparado para actuar sobre colecciones de documentos que estén en inglés o en español de forma exclusiva. Como trabajo futuro se pretende que las agrupaciones conceptuales de la estructura puedan contar con documentos en diferentes idiomas que sean conceptualmente similares. Para ello se puede recurrir a la utilización del material procedente a la iniciativa UNL [16] de la UNESCO cuyo objetivo obtener una representación semántica unificada para frases expresadas en diferentes idiomas. Dentro de los diversos cálculos efectuados en el proceso de construcción y gestión de la estructura se presentan diversas situaciones problemáticas a la utilización de funciones no acotadas. Un objetivo por tanto será solucionar o reducir el problema del cierre en cuanto a la utilización de combinaciones lineales como formas de agregación de resultados. Para ello se realizará un estudio exhaustivo de la utilización de los operadores de agregación avanzados (OWA) [14] y su aplicación en los procesos de construcción y gestión de la estructura de conocimiento. También es necesario establecer mecanismos más avanzados de aprendizaje en la gestión del repositorio que pueden ser muy importantes tanto en el aprendizaje de reglas de usuario como en la modificación de las probabilidades de acción dependientes de las carpetas. Se plantea para ello la utilización de procesos de coentrenamiento [4] que puedan combinar perfectamente las virtudes del aprendizaje supervisado con el no supervisado para realizar esta labor más eficientemente. Referencias [1] Almorza Gomar, D. y otros. Conferencia Internacional de Estadística en Estudios Medioambientales Cadiz [2] Beil, F., Ester, M.,Xu X.: Frequent Term-Based Clustering. Proceedings of the SIGKDD'02, Edmonton, Canada (2002) [3] Debole F., Sebastiani F., Supervised Term Weighting for Automated Text Categorization. In Proc. SAC-03, 18th ACM Symposium on Applied Computing, [4] Kiritchenko S. & Matwin S. Classification with Co-training, CASCON'02 (IBM Centre for Advanced Studies Conference ), Toronto, [5] Olivas J.A., Garcés P., Romero F.P., An application of the FIS-CRM model to the FISS metasearcher: Using fuzzy synonymy and fuzzy generality for representing concepts in documents. International Journal of Approximate Reasoning (Soft Computing in Recognition and Search) 34, pp , [6] Olivas, J. A. (2000): Contribution to the experimental study of the prediction based on Fuzzy Deformable Categories, PhD Thesis, University of Castilla-La Mancha, Spain. [7] Porter, M. F., "An Algorithm for Suffix Stripping". Program, 14(3), , (1980). [8] Provost J., "Naïve-Bayes vs. Rule-Learning in Classification of ". University of Texas at Austin, Artificial Intelligence Lab. Technical Report AI-TR , [9] Romero, F.P., Olivas J.A., Garces, P.,Proposal of a Document Cluster Representation based on Fuzzy Deformable Prototypes. Proceedings of EUSFLAT Barcelona, Spain. [10] Romero, F.P., Olivas J.A. A Soft Approach to Hybrid Models for Document Clustering, Proceedings of the IPMU 2006, (Aceptado para su publicación) [11] Sahami, M. et al A Bayesian Approach to Filtering Junk , in Proceedings of the AAAI Symposium. [12] Salton G. and McGill M.J. "Introduction to Modern Information Retrieval". McGraw-Hill, [13] Secker A., Freitas A., Timmis J.:"AISEC: an Artificial Immune System for Classification", Proc. of the Genetic and Evolutionary Computation Conference (GECCO), San Francisco, USA, [14] Yager, R., On Ordered Weithted Averaging Aggregation Operations in Multicriteria Decision making. IEEE Transactions on Systems, Man and Cybernetics 18, pp , [15] Y. Yang, "An Evaluation of Statistical Approaches to Text Categorization", Journal of Information Retrieval, Vol 1, No. 1/2, pp , 1999 [16] H. Uchida, M. Zhu, Senta T. Della. "UNL: A Gift for a Millennium". The United Nations University, [17] Ungar, L.H., Foster, D.P.: Clustering Methods for Collaborative Filtering. Proceedings of the Workshop on Recommendation Systems, AAAI Press, Menlo ParkCalifornia, [18] Zadeh, L. A note on prototype set theory and fuzzy sets. Cognition, , 1982 [19] Y. Zhao and G. Karypis. "Evaluation of hierarchical clustering algorithms for document datasets". In Proceedings of CIKM, pp ACM Press, 2002.