Lineamientos para la Construcción de un Archivo Histórico de la Información Digital Producida en Venezuela 1

Transcripción

1 Lineamientos para la Construcción de un Archivo Histórico de la Información Digital Producida en Venezuela 1 Andrés Sanoja, Claudia León y Gustavo Torres Centro de Computación Paralela y Distribuida. Escuela de Computación Facultad de Ciencias, Universidad Central de Venezuela Caracas - Venezuela {andres.sanoja, claudia.leon}@ciens.ucv.ve, gustavotorresf@gmail.com Abstract Whether a document is on paper or digital both have something in common: is the direct or indirect result of human intellect. There are several efforts to preserve documents, books, among others, for public consultation and for future generations. Each day the information is in digital format, the news is generated and posted on the World Wide Web. Preserving this kind of information is a necessity for today s Venezuela. This paper describes an approach used to build the Digital Archive of Venezuela, its constituent s elements, techniques and related work. We briefly describe a proposal for obtaining documents from the web using custom web bots or crawlers, coordinated by BPEL (Business Process Execution Language) processes, following the resource-oriented approach and implementing translations to Ruby code for their implementation, finally a Datawarehouse for the storage and management of data. 1. Introducción Actualmente se observa que una gran parte de la información producida en casi todos los ámbitos de la actividad humana de almacena en medios digitales, usando como soporte los computadores y las redes. Sin embargo, la persistencia de la información no está garantizada de por sí depende de factores humanos, técnicos y económicos para que sean preservados a lo largo del tiempo. Imaginemos por un momento que las grandes bibliotecas del mundo permitieran que varias de sus obras fueran destruidas debido a falta de espacio, recortes presupuestarios, accidentes o simplemente mala praxis. Muchas de las obras son preservadas para la consulta del público en general y para las generaciones futuras. Al igual que el contenido en medios impresos, el digital es un resultado de la actividad intelectual humana, entonces por que no darle el mismo peso y valor a estas contribuciones? Es cierto que el manejo de colecciones de contenido digital se presenta en formatos y maneras diferentes lo que las hace difícilmente medibles, por lo tanto complejas de gestionar. Preservar esta información que incluye, por ejemplo, informaciones científicas, datos de investigación, productos de medios de comunicación, obras de artes digitales, entre otros plantea retos y problemas que deben ser afrontados de manera integral desde un punto de vista humano y tecnológico. Pensar en realizar un gran archivo general de la web supone la disponibilidad vasta de recursos de almacenamiento y de conectividad. Casos como los del sitio Internet Archive [2] y el sub-proyecto de ésta (The WayBack Machine) han logrado desde 1996 recolectar gran parte de la información pública disponible en la web. Otros trabajo se han enfocado en confeccionar archivos locales, por país, especializados en su cultura y necesidades de preservación y que puedan interactuar con otros de una manera distribuida. [1] Venezuela no es ajena a estos problemas, más cuando su desarrollo de contenidos en la web ha ido en aumento en los últimos años, hoy más que nunca es necesario preservar la información digital ya que se observa en ella registrada una buena parte de la historia y acontecimientos recientes del país. En este trabajo se presenta una propuesta con lineamientos generales para el desarrollo de la propuesta del Archivo Digital de Venezuela (ADV). Se 1 Proyecto financiado por el Consejo de Desarrollo Científico y Humanístico (CDCH) de la Universidad Central de Venezuela (UCV). Proyecto No. PG

2 describe el enfoque de la solución, la arquitectura general, los procesos que la conforman y su descripción. 2. Antecedentes El tema de conformación de archivos de documentos web es un tema ampliamente estudiado, y que viene desarrollándose en los últimos años. El proyecto Internet Archive ha logrado desarrollar una infraestructura y un conjunto de procesos para obtener y almacenar documentos digitales web, según reportan los autores, poseen actualmente cerca de 500TB de versiones históricas de páginas web y más de 500TB de documentos relacionados (Ej.: videos, imágenes, audio, etc.) [3]. Aun cuando se empezó a recolectar datos desde 1996, en el año 2000 fue puesto al servicio del público. El proyecto CARTEC [4, 5] se enfoca en optimizar los crawlers, indexación, almacenamiento y consultas temporales adecuadas a un repositorio de datos multimedia. Se presenta la segmentación visual de páginas, donde éstas se descomponen en bloques semánticos organizándolos en un árbol semántico (Vi- XML). Este último se compara con uno previo para detectar cambios (Vi-DIFF). Los cambios son categorizados según su importancia y se les asigna un peso entre 0 y 1. Dependiendo del peso se planifican actualizaciones que son llevadas a cabo por los web crawlers. Otros trabajos describen experiencias en archivos nacionales digitales, como el presentado en [1] presentan el módulo AOLAP (Austrian On-Line Processing Module) para trabajar con los datos del Archivo Nacional de Austria utilizando técnicas de Análisis de Datawarehouses; incorporan a la metadata elementos provenientes del servicio WHOIS. Varios son los países que han construido sus Archivos Digitales. En el portal de la International Internet Preservation Consortium están listados 24 archivos nacionales y/o regionales [6]. Se destacan archivos nacionales de países como Francia, Reino Unido, Corea, Australia, el Estado de California (EE.UU.) y Cataluña (España), entre otros. En la lista mencionada no se muestran archivos latinoamericanos, sin embargo a nuestro entender y con los datos a nuestro alcance cada país posee sus Archivos Nacionales Generales y en cuanto a los archivos digitales algunos los presentan organizados por temas. En el caso de Argentina tienen publicado, por ejemplo, la biblioteca digital del Ministerio de Justicia y Derechos Humanos y la Biblioteca Virtual de Salud [7]. 3. Vista General del Sistema En este trabajo se visualiza el ADV como un sistema distribuido el cual utiliza datos provenientes de la web: paginas web. El procesamiento básico de los datos se realizara utilizando técnicas de computación paralela, destacando en éste, el análisis del contenido de las páginas. Este tipo de procesamiento en general se realiza de manera secuencial. Se identificaron los elementos que conformaran el sistema y la relación entre éstos. Se presenta como un sistema distribuido basado en la web. Los elementos identificados son los siguientes: Editor, BPELScript, Controlador General, Traductor, Motor de Ejecución, Crawlers, Sitios Web, Indexación/Clasificación, Datawarehouse, Portal Web y Aplicaciones. En la Figura 1 se muestra la arquitectura general del sistema. Figura 1. Arquitectura General del Sistema A continuación una breve descripción de los elementos que conforman el sistema: Datawarehose: repositorio para almacenar los datos obtenidos por los crawlers que puede ser analizada y presentada a usuarios y/o sistemas. Controlador Central: Elemento de software que permite la interconexión de los demás elementos y define el pase de mensajes en el sistema. Editor de Procesos: aplicación web para la edición de procesos en formato BPELScript. Interfaz de Administración del Sistema

3 Traductor: aplicación que traduce un código en BPELScript (orientado a recursos) a código Ruby. Motor de Ejecución: aplicación que ejecutar procesos escritos en BPELScript, previamente traducidos a código Ruby. Crawlers de descarga y actualización: Componentes encargados de la actualización de los datos. Crawlers de selección: Aplicaciones para seleccionar URL semillas. PortalWeb: Aplicación web para visualizar los datos y realizar consultas. 4. Enfoque de la Solución Para la conformación de un ADV se dividió en los siguientes aspectos: 4.1. Identificación de URL semilla Como primera medida se necesita contar con crawlers web (robots) para la búsqueda y selección de los sitios y/o páginas de interés. Cada crawler tiene un conjunto de criterios para determinar si una página es de interés o no, utilizando el algoritmo SharkSearch[15]. Se le proporcionan URL semillas y en base a los enlaces encontrados va navegando la web En general los archivos nacionales de este tipo toman como criterio todas aquellos sitios que estén debajo de un dominio nacional (Ej.: el dominio.ve), sin embargo hemos observado que, en Venezuela, no todas las páginas se encuentran registradas bajo éste, por lo que es necesario definir criterios más amplios. Los crawlers consideraran cualquier página bajo el dominio.ve como de interés. Para aquellas paginas que no correspondan se aplicara un filtro utilizando un Clasificador Bayesiano Ingenuo [13] entrenado inicialmente para determinar, y con que probabilidad, si una página corresponde o está relacionada con Venezuela. Esta actividad se realiza solamente una vez, y tiene como objetivo descubrir URL semilla para iniciar el archivo. En la Figura 2 se muestra la relación de los URL semilla y sus Contextos. Figura 2. Relación de los URL semilla y sus Contextos 4.2. Adquisición de Datos El elemento fundamental en nuestro enfoque es la página, sin embargo necesitamos contar con una copia del sitio que la contiene; incluyendo los documentos relacionados. Luego que los crawlers identifican las páginas de interés debemos identificar el sitio al cual pertenecen. En una segunda instancia otro conjunto de crawlers analizan el contenido de las páginas recolectadas y la ubican dentro de un sitio utilizando la técnica de Pathascending crawler [14]. Cada sitio es explorado en profundidad teniendo especial cuidado de descargar el contexto particular de la página y no todo el sitio. Por ejemplo, si la página corresponde a un Blog hospedado en blogspot.com, no descargaremos todo el contenido de Blogspot, pero si el Blog como tal Descripción de las Actividades de de Adquisición Un usuario, mediante una herramienta de diseño (específica para este proyecto), determina las páginas o sitios que deben ser descargados o actualizados e inicia, evalúa o detiene la operación. Dicha herramienta sirve como interfaz de administración del sistema. Cada actividad de adquisición o descarga de datos es descrita por el usuario y toma la forma de un proceso de negocios, usando la notación BPELScript [12]. Según la especificación de BPELScript, al igual que WS-BPEL (Web Service Business Process Execution Language), se representan los endpoints siguiendo el enfoque RPC (Remote Procedure Call) por lo que, cada endpoint contiene un conjunto arbitrario de métodos u operaciones. Dichas operaciones se describen usando el Lenguaje de Descripción de Servicios Web (WSDL) y se manipulan bajo la definición de PartnerLinks [10]. En

4 el enfoque Orientado a Recursos [8], se ofrecen un conjunto bien definido de métodos que corresponden con los especificados para el protocolo HTTP [11]; usualmente GET, POST, DELETE y UPDATE. En este trabajo seguiremos el enfoque orientado a recursos y se tomará en cuenta la extensión descrita en [9] para el uso de WS-BPEL y será adaptada, y particularizada a BPELScript Motor de Ejecución Con la finalidad de poder llevar a cabo lo descrito para cada actividad de adquisición, es necesario contar con un componente que permita realizar las acciones concretas para cada caso. Uno de los objetivo es desarrollar un motor de ejecución de BPELScript, ajustado a los requerimientos del proyecto. El motor esta dividido en dos fases: traducción y ejecución. La traducción de un BPELScript conlleva al desarrollo de un traductor que utilice ANTLR v3 (ANother Tool for Language Recognition) como generador de parsers utilizando algoritmos LL(*) de parsing para Ruby. Este tipo de técnica es utilizada para la traducción de WS-BPEL y BPELScript, y viceversa, reportado en [12]. Al procesar un BPELScript se debe tener como resultado un documento con el código Ruby equivalente. En la Figura 3 se muestra un extracto de ejemplo de la traducción de BPEL siguiendo el enfoque orientado a recursos, BPELScript siguiendo el mismo enfoque y finalmente el código en Ruby correspondiente. El código Ruby resultante puede ser ejecutado, y en cada caso realiza las invocaciones necesarias poner en funcionamiento los crawlers para actualizar los sitios, tal y como lo indico el usuario. Cada página obtenida por un crawler es almacenada en un formato de archivo comprimido y almacenada temporalmente, junto con todos los documentos relacionados (Ej.: imágenes, videos, hojas de estilo en cascada, etc.). Figura 3. Extracto de Ejemplo de BPEL4Rest, BPELScript4Rest y ActiveResource de Ruby 4.5. Datawarehouse Para almacenar el contenido se diseñará un datawarehouse. Cada archivo comprimido, almacenado temporalmente, se descomprime su contenido y se realiza un proceso de indexación y clasificación. Durante este proceso, se determina la importancia del cambio respecto a una versión anterior (si aplica), tal como se especifica en [4]. Dependiendo del nivel de importancia del cambio se planifica una nueva actualización, lo cual se materializa creando un elemento en un nuevo BPELScript, el cual será ejecutado a cabo cuando corresponda. En la Figura 4 se muestran las dimensiones del Datawarehouse.

5 Luego de haber alcanzado dicho objetivo, podremos obtener métricas y medidas precisas sobre la información digital relacionada y referente a Venezuela. 6. Referencias Figura 4. Dimensiones del Datawarehouse 5. Conclusiones En este trabajo presentamos el enfoque propuesto tomado por el grupo de investigación del Centro de Computación Paralela y Distribuida de la Universidad Central de Venezuela para la construcción del Archivo Digital de Venezuela. Se muestra el interés de obtener soluciones alternativas a problemas bien conocidos: diseñar un motor de ejecución de BPEL utilizando nuevas técnicas, paralelizar el análisis del contenido web aplicando técnicas de computación paralela usando un cluster e integrarlo con los demás elementos del sistema. Por otro lado abrir las posibilidades para la creación de líneas de investigación sobre procesamiento paralelo, particularmente de contenido web. En este momento se cuenta con un prototipo funcional del sistema. El proyecto y los resultados obtenidos hasta el momento serán presentados a la directiva del Archivo General de la Nación lo cual nos permitirá medir el alcance y limitaciones de nuestra propuesta, y los ajustes a los que deba ser sometido para adaptarse a la realidad de la institución. El primer paso es realizar la selección de los URL semilla, entrenando a los crawlers con palabras claves seleccionadas por la institución. Verificar la clasificación, es decir si las páginas seleccionadas corresponden al dominio de Venezuela. Luego, realizar una actualización de datos para dichas semillas. Como tercer paso tenemos la incorporación de los datos al datawarehouse. [1] Andreas Rauber and Oliver Witvoet and Andreas Aschenbrenner and Robert Bruckner. Putting the World Wide Web into a Data Warehouse: A DWH-Based Approach to Web Analysis. Database and Expert Systems Applications, International Workshop on. 2002, p: 822 [2] [3] Elliot Jaffe and The Selim and Rachel Benin School Of. Architecture of The Internet Archive [4] Saad, M. B. and Gançarski, S Using visual pages analysis for optimizing web archiving. In Proceedings of the 2010 EDBT/ICDT Workshops (Lausanne, Switzerland, March 22-26, 2010). EDBT 10, vol ACM, New York, NY, 1-7. [5] Myriam Ben Saad, Stéphane Gançarski, Zeynep Pehlivan. A NovelWeb Archiving Approach based on Visual Pages Analysis. 9th InternationalWeb ArchivingWorkshop (Corfu 2009) collocated with ECDL09. [6] [7] ml? pagina=2147 [8] L. Richardson & S. Ruby (2007). RESTful Web Services. O Reilly Media, Inc., illustrated edition edn. [9] Pautasso, C BPEL for REST. In Proceedings of the 6th international Conference on Business Process Management (Milan, Italy, September 02-04, 2008). M. Dumas, M. Reichert, and M. Shan, Eds. Lecture Notes In Computer Science, vol Springer-Verlag, Berlin, Heidelberg, [10] Web Services by G. Alonso, F. Casati, H. Kuno, and V. Machiraju, Springer-Verlag, 2004 [11] [12] Bischof, Marc; Kopp, Oliver; van Lessen, Tammo; Leymann, Frank: BPELscript: A Simplified Script Syntax for WS-BPEL 2.0. In: th Euromicro Conference on Software Engineering and Advanced Applications (SEAA 2009) [13] Vangelis Metsis, Ion Androutsopoulos y Georgios Paliouras. Spam Filtering with Naive Bayes Which Naive Bayes?. CEAS [14] Cothey, Viv (2004). Web-crawling reliability. Journal of the American Society for Information Science and Technology 55 (14): [15] Michael Hersovicia, Michal Jacovi, a,,, Yoelle S. Maareka, Dan Pellegb, Menachem Shtalhaima and Sigalit Ura. The shark-search algorithm. An application: tailored Web site mapping