Tema 34. Sistemas de información documental 31/05/2011

Transcripción

1 TEMA 34: LOS SISTEMAS DE INFORMACIÓN DOCUMENTALES. SGBD's TRADICIONALES, SISTEMAS DE GESTIÓN DE DOCUMENTOS Y SISTEMAS DE GESTIÓN DOCUMENTAL. Índice 1 Introducción Sistemas de información documentales Recuperación de información en SI Documentales Organización de los documentos Recuperación de los documentos (El modelo vectorial) Arquitectura de los motores documentales SGBD tradicionales, Sistemas de gestión documental y sistemas de gestión de documentos SGBD tradicionales Sistemas de gestión de documentos Sistemas de gestión documental Clasificación de los SGBDD Aplicaciones asociadas a los SGBD Documentales Implementación de un SGBD Documental Gestión de documentos en Internet: Introducción Las empresas y organismos oficiales tienen la necesidad de guardar información y transmitirla a sus departamentos cuando la necesiten. Para ello, se crearon centros de documentación encargados de recoger, distribuir y almacenar la información en forma de documentos. Se conoce como sistemas de información documental los sistemas de información en los cuales la unidad básica de información es el documento. Actualmente estos sistemas se están informatizando por dos motivos: Aprovechas las nuevas tecnologías para facilitar el trabajo y reducir costes. Ante la necesidad, pues los documentos se han diversificado, tanto en su formato (vídeo, presentaciones...) como en su soporte (CD-ROM, papel impreso...). Los SI documentales tradicionales han quedado obsoletos. La informatización de estos sistemas de información se ha encontrado con el problema que el concepto tradicional de base de datos en el cual los ficheros contienen información estructurada en campos de longitud fija, no satisface las necesidades de gestión de documentos, porque la falta de estructura clara es una de las cualidades de los documentos. Página 1 de 10

2 2 Sistemas de información documentales Son los sistemas de información donde la información se encuentra contenida en forma de documentos. La finalidad principal de estos sistemas es conservar los documentos de forma inalterada y permitir su rápida localización. Las actividades de un sistema de gestión de documentos son: Recogida de documentos: Es la entrada del documento al sistema. Se registra la entrada del documento (fecha de entrada y procendencia). Se realiza un primer análisis del documento, descartando los que no tengan valor. Ordenación: Los documentos recogidos son ordenados y clasificados. El sistema de organización elegido es clave, afecta tanto al rendimiento de la recuperación de los documentos, como al diseño del sistema. Conservación: El sistema debe almacenar los documentos, sin perderlos ni alterar su contenido o estado. Recuperación: Los documentos se almacenan para ser utilizados en otros procesos de la organización. Por ello, cuando sean requeridos es necesario que la recuperación sea rápida y efectiva. Los beneficios de la informatización de los sistemas documentales son: En la ordenación: Reduce el tiempo necesario para la ordenación, a diferencia de los sistemas tradicionales en papel, el método de ordenación no está tan condicionado a facilitar su recuperación y permite varias clasificaciones sobre los documentos. En la conservación: La información en formato electrónico es fácil y barata de conservar, y necesita menos espacio físico. En los casos en que es necesario conservar también el documento en papel (Ej: contratos), la copia electrónica ayuda a preservar el original, pues se trabaja sobre ella y no sobre el original. En la recuperación: La búsqueda sobre documentos electrónicos es más rápida y potente que la clásica, los sistemas de fichas. Además permite distribuirlo de forma rápida. 2.1 Recuperación de información en SI Documentales La recuperación de documentos consiste en interpretar una necesidad de información con el fin de seleccionar los documentos que más interesen a los usuarios. Para ello, se tienen que resolver los siguientes puntos: Identificar y representar necesidades de información del usuario. Identificar y representar el conocimiento contenido en los documentos Seleccionar y mostrar los documentos más relevantes de acuerdo con las necesidades del usuario. En los SI documentales la información no está estructurada, por lo que puede que no exista o no se usen identificadores únicos de documentos. Esto provoca que la recuperación de información sea compleja. Página 2 de 10

3 2.1.1 Organización de los documentos En el modelo básico de un SI documental, un documento se representa por un conjunto de términos, palabras o frases. Estos términos, denominados descriptores, pueden obtenerse de dos formas: Por derivación, mediante una indexación automática de su contenido. Se indexa todas las palabras no vacías del documento. Posee inconvenientes si aparece de forma circunstancial la palabra coche en un documento, se indexará por esa palabra. Por asignación, a través de indexación manual con utilización de un lenguaje documental externo. Por ejemplo el uso de tesauro, que son términos que representan conceptos. Ejemplo: Si en un documento trata de coches y motos, se puede usar el término vehículos como descriptor. El uso de un léxico controlado para definir los descriptores de un documento permite una búsqueda de documentos relevante más eficaz. El inconveniente es que no existen técnicas automáticas para obtener estos términos, por lo que es más costoso. Así, un documento se compone de: Un documento primario que contiene el texto íntegro. Un documento secundario que contiene un resumen y las palabras clave que lo representan (descriptores). Se crean índices para permitir una rápida localización de los documentos. Los índices de crean usando los descriptores de los documentos Recuperación de los documentos (El modelo vectorial) En la recuperación de información intervienen tres elementos: Una colección de documentos, que están almacenados e indexados en una base de datos. Preguntas a la base de datos que traducen las necesidades de información de los usuarios Una función de comparación de documentos/preguntas que selecciona un conjunto de documentos relevantes. Un método de comparación de las preguntas con los documentos es el modelo vectorial. Se trata de la representación abstracta de documentos y consultas. Permite calcular el grado de parecido o similitud entre ellas. Básicamente, se representa cada documento mediante un vector con el conjunto de descriptores usados por el sistema. Hay, pues, un vector para cada documento. Di = <di1, i2,, din> Página 3 de 10

4 A cada elemento del vector (din) se le asigna un valor numérico. Este valor puede ser: Booleano: En un sistema sin ponderación, el valor del término sólo puede ser 0 (no asignado) o 1 (asignado). No booleano: En un sistema ponderado el valor se calcula teniendo en cuenta factores, como el número de veces que aparece y dónde. A este valor se denomina peso del término en el documento. Éste señala la importancia o valor informativo del término en el documento. Cada documento dará lugar a un vector con una configuración característica y diferente. Las consulta al sistema, formuladas en lenguaje natural, se representan también mediante el mismo sistema, es decir, mediante otro vector con los mismos n elementos, cada uno de los cuales tiene el peso de cada uno del términos de la consulta. Ph = < ph1, ph2, phn > Se calcula la relevancia de los documentos respecto a una pregunta al sistema utilizando la formula de Similitud entre los vectores de la pregunta y del documento. Una posible forma es calcular el sumatorio de los productos de cada par de elementos de los vectores respectivos. Ejemplo: Di = <1,1,0,1,0> Ph = <0,1,0,1,0> SIM(Di, Ph) = (1*0)+(1*1)+(0*0)+(1*1)+(0*0) = 2 Los modelos utilizados para calcular la similitud son: El modelo booleano puro. Utilizado en sistemas sin ponderación de la relevancia de los términos. Se aplica la operación AND entre los términos del mismo grado del documento y la pregunta, con los resultados se realiza la operación OR. Éste modelo devuelve VERDADERO si hay alguna similitud o FALSO sino la hay, sin establecer ningún grado de relevancia. El modelo vectorial puro. Se representan los vectores de los documentos y preguntas en un espacio vectorial de n dimensiones. El grado de cercanía de los vectores de los documentos a la pregunta señalan su grado de relevancia respecto a ella. El resultado del modelo vectorial puro es un valor numérico que pretende indicar el grado de ajuste o parecido entre la consulta y cada uno de los documentos, de forma que los documentos que den una cifra más alta serán los que se ajustan más a la consulta que se ha formulado Se suele utilizar el modelo booleano para rápidamente localizar los documentos relacionados con la pregunta, y el modelo vectorial para calcular el grado de relevancia. Página 4 de 10

5 2.2 Arquitectura de los motores documentales En un sistema de información que usa el modelo vectorial y consulta en lenguaje natural, está formado por dos módulos: uno de indexación, que construye los vectores de los documentos, y otro de consulta, que calcula la similitud con una consulta dada Módulo de indexación Su diseño básico es el siguiente: a) Un procesador de documentos. Su función es: 1. Obtención de palabras de cada documento. 2. Filtrado y eliminación de palabras vacías. 3. Normalización de caracteres (mayúsculas, minúsculas, acentos, etc.). 4. Lematización (agrupación de las palabras con significado semántico parecido). 5. Almacenamiento en una tabla de cada término resultante, con la referencia a los documentos en qué aparece. b) Cálculo y almacenamiento de los vectores de términos para cada documento, a partir de la información anterior Módulo de consulta Dado que una consulta en lenguaje natural tiene que ser tratada como cualquier otro documento, requiere las mismas operaciones: a) Procesamiento del texto de la consulta (obtención de palabras, eliminación de palabras vacías, normalización de caracteres, lematització, etc.). b) Cálculo del vector de los términos de la consulta. c) Cálculo de similitud entre la consulta y cada uno de los documentos Página 5 de 10

6 3 SGBD tradicionales, Sistemas de gestión documental y sistemas de gestión de documentos Los sistemas de gestión documental tradicionalmente se han considerado como una variedad especializada de los SGBD clásicos. Pero no es cierto, pues son SGBD diferentes, que se caracterizan en manejar información en un formato distinto y con unos requerimientos funcionales diferentes. Los SGBD clásicos almacenan la información de forma estructurada y, actualmente, la organizan utilizando el modelo relacional. Por ejemplo: Las bases de datos Oracle. Los SGBD clásicos están orientados a facilitar las operaciones sobre los datos almacenados. Permiten realizar de forma eficiente operaciones complejas sobre datos simples. Los SGBD documentales almacenan la información de forma no estructurada o poco estructurada. Los SGBD documentales están más orientados a los datos que a su tratamiento. Permiten realizar de forma eficiente operaciones simples sobre datos complejos. El concepto de sistema de gestión de documentos no está claro. Si entendemos éste como Document Management System, entonces son las aplicaciones destinadas a convertir y almacenar en formato electrónico los documentos en papel. Por ejemplo: Una asesoría legal trabaja sobre documentos enteros: leyes, contratos... no sobre pequeñas partes de ellos. Los requisitos de aplicación de gestión de esta documentación sería realizar eficientemente operaciones simples sobre los documentos (Guardar documentos, buscarlos...). En cambio, una asesoría contable manejaría datos simples y bien estructurados: facturas, nóminas... sobre los que realizaría cálculos complejos. Por ello, le convendría un SGBD tradicional 3.1 SGBD tradicionales Los SGBD tradicionales son las aplicaciones especializadas en almacenar de forma eficiente información, manteniendo su coherencia, integridad y confidencialidad. Permiten que los usuarios puedan consultar y manipular la información de forma fácil y eficaz. Como he comentado anteriormente, los SGBD tradicionales están orientados a almacenar información estructurada. Los primeros SGBD aparecieron a finales de los años 60 y utilizaban el modelo jerárquico o el modelo de red para organizar los datos. Actualmente los SGBD organizan los datos siguiendo el modelo relacional. La información en los SGBD relacionales se organiza en tres niveles de abstracción: El nivel físico. Indica como se almacena de forma física los datos: dispositivo de almacenamiento, fichero y organización física del mismo. Son datos que quedan ocultos a los usuarios habituales de la base de datos. El nivel conceptual. Contiene la organización lógica de los datos, independiente de su almacenamiento físico. En el modelo relacional, una base de datos se compone de tablas, las relaciones entre ellas y las restricciones (constraints) que aseguran la coherencia de los datos. Página 6 de 10

7 El nivel externo. Es la visión adaptada a un usuario en particular del esquema descrito a nivel conceptual. 3.2 Sistemas de gestión de documentos Son las aplicaciones destinadas a permitir la gestión de documentos en papel a través de sistemas informáticos. Actualmente, los sistemas de gestión de documentos aparecen integrados dentro de otros sistemas, como los sistemas de gestión documentales. La conversión a formato electrónico puede realizarse de dos formas: Almacenamiento de la imagen del documento en papel, a través de su escaneado. Creación de un documento electrónico a partir de su imagen escaneada. Se utilizan técnicas de OCR Optical Character Recognition- sobre la imágen. Las técnicas de OCR no son útiles a la hora de tratar grandes cantidades de documentos o documentos con tipografías poco claras, porque comenten frecuentes errores. Es frecuente combinar ambos sistemas cuando se quiere almacenar grandes cantidades de documentos. El documento se almacena como imagen, fiel al original en papel, la técnica OCR se utiliza para obtener del documento los descriptores necesarios para indexar el documento y permitir su recuperación posterior. Un ejemplo sería el IBM Domino.Doc Imaging Cliente: una aplicación que permite escanear, y almacenar la imagen como un documento electrónico en un servidor Domino.Doc. Página 7 de 10

8 3.3 Sistemas de gestión documental Los sistemas de gestión documental y bibliográfica son las aplicaciones diseñadas para permitir a los usuarios manejar documentos en formato electrónico. Ofrece una serie de servicios como: Almacenamiento de documentos poco estructurados, de forma eficiente y segura. Recuperación de documentos almacenados en un sistema informático mediante la utilización de métodos y criterios de busca diferentes. La navegación a través de grupos de documentos de contenido y naturaleza diferentes mediante al utilización de sistemas de referencias cruzadas. Funciones de gestión documental y bibliográfica como: catálogos, control de circulación, gestión de depósitos, edición, etc.. Existe una gran variedad de estos sistemas. Se pueden clasificar según la función principal a la que están destinados Clasificación de los SGBDD El método más adecuado de clasificación es según la naturaleza de las funciones que soportan. Tenemos tres tipos: 1. Sistemas orientados a la busca y recuperación Permiten almacenar documentos poco estructurados y con una gran variedad de formatos. Tiene gran importancia los sistemas de indexación y búsqueda de documentos relevantes. Existen dos métodos principales de busca y recuperación: 1) Busca estructurada por palabra clave. Se usan descriptores de los documentos tal como he explicado anteriormente.. 2) Busca en texto libre, que permito la localización de cualquier palabra o conjunto de palabras existentes en el texto. Hay variaciones que permiten la busqueda por parecidos ortográficos y/o sintácticos. 2. Sistemas orientados a la navegación También denominados de referencias cruzadas. Permiten establecer una serie de vínculos entre los documentos del sistema. Los usuarios consultan los documentos a partir de cualquiera de ellos, utilizando las referencias entre ellos.. Dentro de estos tipos hemos de incluir los sistemas de hipertexto, que permite tener documentos multimedia relacionados de forma arbitrária. Los documentos se describen utilizando el lenguaje de marcas html. Es la base del servicio www de Internet. Página 8 de 10

9 3. Sistemas orientados a la gestión documental y bibliográfica Son aquellos que basados en alguno de los dos sistemas anteriores, tienen como objetivo el apoyo a departamentos como bibliotecas y centros de documentación. Son sistemas dirigidos a un conjunto de aplicaciones concretas, como catalogación de documentos, gestión de fondo, control de la circulación, edición de catálogos La mayoría de los sistemas comerciales pueden clasificarse dentro este tipo. Por lo general la implantación de este tipo de herramientas en un entorno de aplicación en concreto exige la adaptación del paquete en cuanto a las particularidades bibliográficas, organizativas o de funcionamiento del cliente Aplicaciones asociadas a los SGBD Documentales Además de las aplicaciones de gestión de documentos para archivos o hemerotecas, los SGBDD se utilizan en otro tipo de aplicaciones en las que de deba manejar documentos, como en aplicaciones de Workflow o de trabajo en grupo. En las aplicaciones de flujo de trabajo, se define un ciclo de vida de un documento. El documento fluye de un puesto de trabajo a otro, en los cuales se trabaja sobre él. En las diferentes fases del ciclo de vida, el documento puede mostrarse de diferentes formas Implementación de un SGBD Documental El motor documental puede estar construido de dos formas completamente distintas: Como gestor documental puro: directamente maneja todas las estructuras vistas (vectores, listas de palabras vacías...) con un desarrollo completamente dedicado a esta funcionalidad. La persistencia se consigue almacenando directamente en ficheros. Construido sobre una base de datos relacional: La persistencia de los datos se delega a un SGBD relacional. Los documentos como las estructuras de control (índices, vectores...) se implementan como tablas. El uso de un SGBD relacional permite aprovechar sus ventajas: minimización de la redundancia y la inconsistencia, flexibilidad de utilización, estandarización, uso de SQL, etc. Los primeros SG Documentales no usaban SGBD Relacionales porque estos tenían limitaciones como no tener campos de medida variable o no poder almacenar datos binarios. Limitaciones que actualmente no existen. Como ejemplo tenemos IBM Domino.Doc. Es un sistema de gestión documental de IBM para entornos de red distribuidos, que permite organizar, gestionar y almacenar cualquier documento que un entorno empresarial requiera, así como distribuirlo entre grupos de usuarios. Para Domino, un documento es cualquier tipo de información susceptible de ser gestionada, ya sea un documento de texto, una imágen, una hoja de cálculo... Página 9 de 10

10 4 Gestión de documentos en Internet: Un caso particular y de éxito de sistemas de documental es la World Wide Web (WWW), base del principal servicio de Internet. WWW es un conjunto de documentos de hipertexto. Los documentos de hipertexto se caracterizan por contener enlaces a otros documentos de Internet. Forman un grafo orientado dónde los nodos son documentos y los arcos son los vínculos. Los documentos pueden contener, además de texto, cualquier tipo de información (imágenes, sonido, ). Existen millones de documentos en Internet, identificados por un localizador URLúnico con poca información sobre el contenido de los documentos. La busqueda y recuperación de información en la WWW consiste en la identificación de una o más referencias de documentos que sean relevantes por satisfacer las necesidades de información de los usuarios. La búsqueda básica de documentos por los usuarios es mediante la navegación dentro del grafo de documentos web de Internet. Este método es poco productivo dado el volumen de documentos existente actualmente. Es por ello, que han aparecido aplicaciones web de búsqueda de documento dentro de la WWW. Existen dos tipos principales de buscadores: 1. Los primeros fueron los directorios de web. Estos directorios utilizan una clasificación manual de los documentos. Los descriptores son seleccionados de forma manual y las webs aparecen clasificadas por temáticas. Los directorios tienen la ventaja de ser más coherentes al clasificar las webs pero tienen el inconveniente de dudar de la objetividad de la clasificación y de no poder contener todas las webs en el directorio dado el gran tamaño de Internet. Un ejemplo es Yahoo. 2. Actualmente se utilizan más los buscadores de clasificación automática. La clasificación de las páginas se realiza de forma informatizada. Para crear la base de datos existen unos programas denominados robots que analizan a intervalos regulares las webs. Para calcular la relevancia de los documentos se tiene en cuenta su contenido, sus etiquetas autodescriptivas (meta etiquetas) y la importancia de la web dentro de Internet. Ejemplo característico: Google. Página 10 de 10