APLICACIONES EN INTERNET2: PROCESAMIENTO DE IMAGENES GRID S

Transcripción

1 APLICACIONES EN INTERNET2: PROCESAMIENTO DE IMAGENES GRID S ING. MANUEL A. NOGUEIRA Caracas Venezuela m_nogueira@intecable.net.ve RESUMEN El concepto de GRID se relaciona con la generación de Internet2. El nuevo protocolo de Internet2 IPv6 permitirá trabajar con una Internet más rápida y accesible. Una de las ideas clave en la superación de las limitaciones actuales de Internet IPv4 es la aparición de nuevos niveles de servicio que harán uso de la nueva capacidad de la red para intercomunicar los ordenadores. Así que, centros de investigación y empresas de alta tecnología vienen desde algún tiempo desarrollando herramientas computacionales utilizando como soporte la altísima conectividad de Internet2 dentro de su propia red. Además, GRID surge con la intención de aprovechar las actuales capacidades de los ordenadores en su conjunto para permitir simular un gran supercomputador y así poder disponer de una alta capacidad de cálculo y almacenamiento. Palabras Claves: protocolo IPv6, altísima conectividad de Internet2 y alta capacidad de cálculo y almacenamiento. ABSTRACT The GRID concept is related to the generation of Internet2. The new protocol of Internet2 IPv6 will allow to work with one more a faster and accessible Internet. One of the key ideas in the beating of the present limitations of Internet IPv4 is the service of new levels apparition that will make use of the new capacity of the network to link the computers. So, centers of investigation and businesses of high technology come since some computational time developing tools utilizing as backup the highest one connection of Internet2 inside their own network. Besides, GRID arises with the intention to take advantage of the present capacities of the computers in its entirety to permit to simulate a great supercomputer and thus to be able to have a high capacity of calculation and storage. Keywords: protocol IPv6, highest one connection of Internet2 and high capacity of calculation and storage. INTERNET2 El objetivo principal de Internet2 es suministrar a las instituciones académicas, científicas y tecnológicas, nacionales e internacionales, los recursos precisos para desarrollar nuevas y mejores tecnologías y aplicaciones, que puedan ser utilizadas en la futura generación de Internet. Sus objetivos principales son: Propiciar el desarrollo de redes de alto rendimiento (alta velocidad, baja latencia (retardo) y enlaces de gran capacidad con calidad de servicio y alta seguridad) y ponerlas al servicio de la comunidad científica y de investigación. Facilitar el desarrollo de aplicaciones avanzadas con alta demanda de recursos. Garantizar la transferencia rápida de los nuevos servicios, tecnologías y aplicaciones a la comunidad Internet. DESARROLLO EN INTERNET2 Los objetivos antes mencionados son llevados a cabo mediante actividades de desarrollo y prueba de nuevos protocolos y aplicaciones para Internet2. Estos desarrollos son hechos en comités llamados Grupos de Trabajo (Working Groups, WG). Cada WG pertenece a alguna área técnica del desarrollo de Internet2: Ingeniería, Middleware (interfaz software que provee funcionalidades rutinarias en una conexión típica Internet. Entre estas, como ejemplo se pueden mencionar las autentificaciones de usuario) y Aplicaciones. Cada una de estas áreas posee un Director de Área que es el responsable de las actividades de sus áreas 1

2 respectivas. Los miembros de estos grupos de trabajo pueden ser tanto miembros de Internet2 como empresas de apoyo externo (las empresas de apoyo económico por ejemplo). Si un miembro de Internet2 tiene alguna idea a desarrollar entonces se debe contactar al Director de área apropiada. Los actuales grupos de trabajo por área son: Ingeniería: IPv6, Measurement, Multicast, Network Management, Routing, Security, Topology. Middleware: MACE-Architecture,MACE- DIR (Directories), HEPKI-TAG (PKI Technical), HEPKI-PAG (PKI Policy). Applications: Arts and Humanities Initiative, Digital Imaging, Digital Video Initiative, Network Storage, Health Science Initiative, Research Channel, Video Conferencing (subcomité de Digital Video Initiative), Voice over IP. Las dos primeras áreas poseen labores que son transparentes al usuario y que solo sirven para ofrecer un mejor servicio a las aplicaciones de la tercera área, Applications. A partir de los nombres de los grupos de trabajo del área Applications se puede concluir a grandes rasgos de qué se trata. En el grupo de trabajo de Network Storage, se desarrolla la Infraestructura de Almacenamiento Distribuido en Internet2 (o, en inglés, Internet2 Distributed Storage Infrastructure), abreviado I2-DSI. El objetivo de esto es el almacenar datos replicados a través de la red y cuando un cliente intente acceder a los datos entonces el sistema le provea los datos que se encuentran en el servidor más cercano (en la red) a él, manteniendo así el tráfico lo más local posible. En el grupo de trabajo de Digital Video Initiative de Internet2 se desarrolla en una extensa gama la capacidad de video digitales avanzados para la comunidad de investigación nacional. Estos esfuerzos están desarrollando una nueva generación de los usos de video digitales que toman la preeminencia completa del potencial de las redes del alto rendimiento. Los participantes de este grupo están emprendiendo y conduciendo actividades de investigación y desarrollo de la tecnología en aquellas áreas donde se requiera. Algunos de estos esfuerzos se dirigen en diseñar y desplegar servicios y capacidades dirigidos a Internet2 en una escala nacional. Otros se dirigen en explorar y en divulgar las pautas de recomendación y estándares para la comunidad I2, y la representación en foros a esa comunidad acerca del desarrollo de los estándares. A partir de todas estas aplicaciones, la actividad científico-tecnológica maneja la simulación de situaciones como un instrumento frecuente, tanto para explorar inconsistencia en los planteamientos teóricos, como para buscar ventanas de parámetros para realizar experimentos. Mediante interfaces web semánticas con agentes y programas de búsqueda cada vez más inteligentes, la información es accedida, preprocesada y consolidada utilizando técnicas de representación del conocimiento y minería de datos. La ciencia y la tecnología forman una actividad humana y mayoritariamente artesanal en su proceder. Las interacciones entre equipos de trabajo, geográficamente distribuidos, son el común denominador de la creación y diseminación del conocimiento. Las videoconferencias de salón y de escritorio representan las herramientas cotidianas para encontrarnos. Por ello es imperioso que se empiece a utilizar este tipo de herramienta de forma intensiva. RED INTERNET2 La red de Internet2 está compuesta por redes principales o backbones en USA, a los cuales se conectan los llamados gigapops y backbones internacionales a los cuales a su vez se conectan gigapops o nodos en 2

3 particular tales como Universidades. Un gigapop es una red regional (con ancho de banda del orden de los gigabits por segundo) conectada a Internet2. En la actualidad existen dos grandes backbones en USA (aunque hoy en día el backbone Abilene es mucho mayor en ancho de banda, 2.4 Gbps), de los cuales se distribuyen enlaces hacia backbones en otros países. Uno de estos backbones internacionales es Reacciun2 (Red Académica de Centros de Investigación y Universidades Nacionales de Alta Velocidad), al cual se conectaría nuestra Universidad como nodo simple o bien se podría formar un gigapops con otra universidad nacional por ejemplo. Para la conexión a Internet2 no es necesario nuevo equipamiento ni nuevas conexiones por el lado de los usuarios de las respectivas Universidades conectadas a Internet2. Los backbones son los responsables de encaminar el flujo de datos por Internet2 o Internet comercial según corresponda. REACCIUN2 El proyecto de Internet2 del Centro Nacional de Tecnologías de Información (CNTI), denominado Reacciun2 (Red Académica de Centros de Investigación y Universidades Nacionales de Alta Velocidad), interconectará siete (7) laboratorios de universidades nacionales y centros de investigación, con las redes internacionales experimentales de Internet de alta velocidad (Internet2). También incluye la instalación, en dos (2) instituciones, de equipos de laboratorios para capacitación e investigación en la tecnología Internet2, con el objeto de incentivar la formación del talento humano (investigadores, docentes y estudiantes) en el desarrollo e investigación de las telecomunicaciones. Reacciun2 fue suscrito al proyecto Ampath de la Universidad Internacional de Florida en abril del 2003 y se ha instalado un enlace de 45 Mbps (DS3) con la empresa Global Crossing, de los cuales se están utilizando 15 Mbps para el Internet comercial y 30 Mbps están en reserva para ser utilizados en el proyecto de Internet2. En la actualidad ya existe conectividad de la red Reacciun2 con la red principal de Internet2 en América (Abilene) a través de la Universidad Internacional de Florida (FIU, en Inglés). En relación a la organización del Proyecto Reacciun2, se han realizado dos reuniones del Comité Educativo del CNTI que han tratado el tema de Internet2; se han comenzado mesas de trabajo con proveedores de esta tecnología para la adquisición de equipos del proyecto y se ha capacitado personal en la tecnología de IPv6 y de Multicasting. También se han adelantado gestiones para que Reacciun2 sea incorporada al Proyecto CLARA, que tiene como finalidad interconectar las redes académicas, científicas y de investigación de los países de Latinoamérica y el Caribe con el backbone europeo de alta velocidad GEANT. GRID El término GRID se refiere a una infraestructura que permite la integración y el uso colectivo de ordenadores de alto rendimiento, redes y bases de datos que son propiedad y están administrados por diferentes instituciones. Puesto que la colaboración entre instituciones envuelve un intercambio de datos, o de tiempo de computación, el propósito del GRID es facilitar la integración de recursos computacionales. Universidades, laboratorios de investigación, empresas, etc. se relacionan para formar GRID para lo cual utilizan algún tipo de software que implemente este concepto. El concepto de GRID se relaciona con la generación de Internet2. El nuevo protocolo de Internet2 IPv6 permitirá trabajar con una Internet más rápida y accesible. Una de las 3

4 ideas clave en la superación de las limitaciones actuales de Internet IPv4 es la aparición de nuevos niveles de servicio que harán uso de la nueva capacidad de la red para intercomunicar los ordenadores. FUNCIONAMIENTO DE GRID El funcionamiento del GRID se puede describir de forma concisa de la siguiente manera: GRID descansa sobre un software, denominado "middleware", que asegura la comunicación transparente entre diferentes ordenadores repartidos por todo el mundo. El segundo componente es un motor de búsqueda que no sólo encontrará los datos que el usuario necesite, sino también las herramientas para analizarlos y la potencia de cálculo necesaria para utilizarlas. En la última etapa del proceso, GRID distribuirá las tareas de computación a cualquier lugar de la red en la que haya capacidad disponible y enviará los resultados al usuario. Este funcionamiento se sostiene en cinco pilares básicos: La posibilidad de compartir recursos. La seguridad - acceso seguro. El uso eficiente de los recursos. Redes de comunicaciones fiables que eliminen las distancias. Estándares abiertos. LA ARQUITECTURA DEL GRID Normalmente se describe la arquitectura del GRID en términos de "capas", ejecutando cada una de ellas una función específica. Como es habitual en este tipo de enfoque, las capas más altas están más cerca del usuario, en tanto que las capas inferiores lo están de las redes de comunicación. Empezando por los cimientos, nos encontramos con la capa de red, responsable de asegurar la conexión entre los recursos que forman el GRID. En la parte más alta está la capa de recursos, constituida por los dispositivos que son parte del GRID: ordenadores, sistemas de almacenamiento, catálogos electrónicos de datos e incluso sensores que se conecten directamente a la red. En la zona intermedia está la capa de "middleware", encargada de proveer las herramientas que permiten que los distintos elementos (servidores, almacenes de datos, redes, etc.) participen de forma ordenada y coordinada en un entorno GRID unificado. El middleware, es el auténtico "cerebro" del GRID y tiene a su cargo las siguientes funciones: Encontrar el lugar conveniente para ejecutar la tarea solicitada por el usuario. Optimiza el uso de recursos que pueden estar muy dispersos. Organiza el acceso eficiente a los datos. Se encarga de la autenticación de los diferentes elementos. Se ocupa de las políticas de asignación de recursos. Ejecuta las tareas. Monitoriza el progreso de los trabajos en ejecución. Gestiona la recuperación frente a fallos. Avisa cuando se haya terminado la tarea y devuelve los resultados. UTILIDAD DE LA TECNOLOGÍA GRID En principio, GRID puede hacer todo lo que podamos hacer con nuestros ordenadores; después de todo es, en cierto sentido, equivalente a una enorme computadora. Qué grupos tendrán la suficiente motivación para invertir en la infraestructura necesaria para "compartir sus recursos"? Veamos algunos candidatos. * Gobiernos y Organizaciones Internacionales: En respuesta ante desastres (inundaciones, incendios, terrorismo, etc.), 4

5 planificación urbana, modelos económicos, etc. * En el mundo de la Medicina: La unión de recursos (tales como bases de datos administrativas y archivos de historias clínicas e imágenes médicas) y de instrumentos especializados abre la puerta a una gran variedad de nuevos procedimientos de diagnóstico mejorados gracias a la ayuda de ordenadores, en base a un análisis rápido de imágenes médicas complejas y la comparación automática con archivos distribuidos para encontrar casos similares. * En la Educación: Las Bibliotecas Electrónicas y los centros de e- Educación se beneficiarán de las herramientas basadas en el GRID para el acceso a datos dispersos y la creación de aulas virtuales con estudiantes, recursos y profesores distribuidos. * Empresas y Grandes Corporaciones: Las grandes empresas tienen delegaciones, datos, personal y recursos distribuidos por todo el mundo. Un enfoque basado en GRID permitirá la creación de medios para realizar aplicaciones a gran escala tales como el diseño asistido por ordenador utilizando, simultáneamente, recursos situados en muchos lugares. Otra consecuencia de la tecnología GRID es la creación de Organizaciones Virtuales: individuos, instituciones y organizaciones que comparten un objetivo común y que, para lograr alcanzarlo, eligen compartir sus recursos, lo que se traduce en un acceso directo a ordenadores, programas, ficheros, datos, sensores y redes. Esta posibilidad de compartir debe organizarse de un modo controlado, seguro y flexible. PROYECTOS BAJO DIFERENTES ENFOQUES: Alta Productividad Cálculo Estático, Dinámico y Visualización de Estructuras 3D de Edificios. La complejidad del análisis estructural 3D en la edificación implica grandes requerimientos. Además requiere la repetición numerosas de ejecuciones variando parámetros como la hipótesis de carga o diferencias en la estructura del edificio. El estudio del las diferentes ejecuciones permite reducir los costos estructurales y completar los estudios requeridos por la Normativa en menos tiempo. La aplicación de interfaz de usuario lanza las diferentes ejecuciones sobre el Grid y recupera los resultados para su visualización. Entrenamiento y Producción en Sistemas de Orientación Clínica. Sistemas que, a partir de información médica, extraen el conocimiento relevante para el apoyo a los usuarios médicos en la toma de decisiones con respecto al diagnóstico, prognosis o tratamiento de un paciente concreto. Computación de Altas Prestaciones Renderizado de Imágenes Médicas de Muy Gran Dimensión Mediante Grids Corporativos. Las imágenes tomográficas son cada vez de mayor resolución (512x512x1500x2 Bytes en el Visible Human Project). La reconstrucción volumétrica tiene un elevado consumo de CPU, pero también de memoria. La tecnología Grid permite compartir los recursos de los computadores conectados a una red (memoria y tiempo de procesamiento). Se ha implementado una versión Gridificada del algoritmo de Splatting para la generación de videos a partir de la proyección de imágenes médicas tomográficas. Generación de Imágenes de Alto Realismo. Aplicación web de comercio electrónico: - Tienda Virtual: Desarrollada sobre Interchange (Open Source). - Room planner: Desarrollado en Java para asegurar su portabilidad. 5

6 - Generador de Imágenes: Genera un modelo navegable 3D mediante técnicas de Radiosidad en un tiempo de espera muy reducido. El cálculo y el acceso a datos se lleva a cabo en una serie de recursos remotos gracias a la tecnología Grid. Híbrido Alta Productividad Altas Prestaciones Simulación de la Actividad Cardiaca sobre un Entorno Grid Computacional y de Alta Productividad. Por una parte los procesos de simulación cardiaca requieren elevados recursos computacionales y de memoria. Existen simulaciones que requieren días y cientos de Mbytes de memoria RAM. La computación de altas prestaciones ha permitido reducir el tiempo de simulación de días a horas. Por otro lado, los estudios requieren de la evaluación de diferentes Iones, concentraciones y aproximaciones para poder evaluar las distintas alternativas (Multiparamétrico). Grid de Datos Entorno de Servicios Grid para el Almacenamiento y Proceso de Imágenes Médicas. Middleware que realiza una virtualización del concepto de un almacén de imágenes médicas distribuido. Proporciona componentes que registran los diferentes repositorios de imágenes (Workstations, Scanners, PACS) y permiten el acceso global a la información almacenada. Ofrece una vista de los datos relevantes a la organización y con el nivel de acceso al que está autorizado. Ofrece servicios de búsqueda, transferencia progresiva y proceso (incluyendo Computación Paralela). Entornos Peer-to-Peer Un Entorno Peer-to-Peer para Compartir Imágenes Médicas y Diagnósticos Proporcionando Búsquedas por Contenido. El objetivo es facilitar la recogida de casos relativos a patologías infrecuentes o para completar una muestra suficientemente grande para estudios epidemiológicos. Aunque estos estudios se encuentran disponibles en los diferentes centros, no existe un entorno donde se pueda acceder de forma integral. La herramienta permite compartir estudios de manera individual, uniendo recursos personales. Implementa autenticación, anonimización automática de los datos, búsquedas distribuidas, transmisión progresiva y valoración de los usuarios y diagnósticos. ACCESS GRID El Access Grid (o AG) ha crecido de ser un proyecto de investigación a largo plazo encabezado por el Laboratorio Nacional Argonne. 6

7 El objetivo del esfuerzo del AccessGrid es proveer un ambiente de colaboración de alto nivel, siempre activo y entre grupos. Un nodo AG está representado por un conjunto de recursos que incluyen pantallas de gran tamaño, ambientes de presentación e interactivas, e interfaces para un middleware de malla así como la visualización científica. Una de las características que distinguen al AG es el proporcionar una ambiente rico de colaboración a través de múltiples proyectores, pantallas y cámaras. Otra característica es que el AG se apoya en gran medida en la multidifusión por IP (multicast) para el transporte de las señales. Esto implica que no siempre se necesita de un MCU o puente y por tanto se puede soportar una mayor cantidad de sitios (donde el número de sedes está limitado típicamente por el ancho de banda de los participantes). Esto también lleva a que los usos del AG están limitados a aquellos sitios en donde está activada la multidifusión en la red (aunque también hay capacidad de puentear hacia unidifusión). Esto ha derivado en un mayor uso de las tecnologías AG entre la comunidad de investigación científica, interconectada típicamente por redes de investigación con multidifusión, con usos industriales e instalaciones creciendo constantemente. Aunque la tecnología es producto de la comunidad de investigadores, ha alcanzado un nivel de madurez que ya varias compañías proveen los servicios de soporte e instalación del AG. La página Web del AG reporta que hay más de 150 institutos en todo el mundo que han adoptado las tecnologías del AccessGrid, y algunos institutos poseen varios nodos de este tipo. El AG no soporta por su cuenta el uso de compuertas hacia otros sistemas como el H.323, H.320, VRVS y similares, dado que estas funciones se pueden obtener con la ayuda de proyectos relacionados. Las salas empleadas para reuniones del AG son muy parecidas a las más sofisticadas de la videoconferencia, por lo que pueden apoyar eventos AG o H.323. Una sala (o nodo) AG estándar posee una gran pantalla y sistema de proyección, capaz de presentar imágenes de 3000x1000 pixels. Casi siempre esto se consigue con varios proyectores de datos a la vez. El sistema de cancelación de eco que se emplea está conectado a varios micrófonos en la sala y da una señal limpia al codificador. Se soportan múltiples cámaras en cada sitio por lo que cualquier sede puede emitir tantas señales de video como necesite. Uno de los objetivos principales del AG es crear un ambiente más rico de colaboración, superior al esquema de bustos parlantes que se tiene en algunos sistemas que sólo permiten una señal de video por sitio (como el H.323). Sin embargo, varias señales de video a la vez implican un mayor consumo del ancho de banda multiplicado por el total de sitios. Por ejemplo: 25 sitios enviando cada uno 4 señales de video resultan en que cada sitio estará recibiendo 100 señales, como el consumo de ancho de banda total. Aún usando los mismos codecs de video que en el H.323 (por ejemplo H.261) a 256Kbps, el ancho de banda usado rebasaría los 30 Mbps. Este ancho de banda sería demasiado para un usuario convencional, pero constituye la fuerza motriz detrás de las capacidades del AG. Un nodo AG completo usa de 2 a 4 computadoras de escritorio (PC s) ejecutando Windows o Linux. Los nodos de una sola computadora permiten el acceso individual al servicio AG, empleando tarjetas de captura y audio y video. La comunidad AG elaboró un manual con las recomendaciones del hardware y software para aquellos que desean construir un nodo AG, y algunas compañías se encargan de planear, instalar y soportar las tecnologías AG. Debido a que la tecnología en un AG es algo compleja, los nodos a escala completa del AccessGrid son salas administradas por personal capacitado. 7

8 El proyecto AccessGrid es de fuente abierta, coordinado y encabezado por el Laboratorio Nacional Argonne. Se han desarrollado tres versiones de AG. Existen diferencias fundamentales entre el AG 1.0 y el AG 2.0. AG 1.0 era un sistema monolítico que dictaba (a través de recomendaciones invariables) el hardware y software usado en un nodo estándar del AG. Esto le daba tanto fortaleza como debilidad. La naturaleza monolítica del AG 1.0 aseguraba que todos los nodos eran compatibles entre sí y por ello fue tan bien adoptado. Aunque construir un nodo era algo muy caro, el usuario sabía perfectamente que la reunión que sostuviera con ayuda del AG funcionaría perfectamente. Esto llevó a una relativamente rápida adopción del AG 1.0 en varios centros de investigación académica. La naturaleza distintiva de tener diversas superficies de proyección y más de una cámara de captura en cada sitio, llevaron al AG a identificarse como una tecnología de alto rendimiento y capacidad. El problema con el AG 1.0 es que no era muy escalable. Los servicios de colaboración que no eran soportados por el AG 1.0 eran difíciles de usar, dado que no se incluían en la estructura principal. AG 2.0 es un intento por resolver estos problemas. AG 2.0 está basado en un modelo de servicios, donde las herramientas de colaboración se pueden anexar al ambiente de forma sencilla y flexible. El concepto principal detrás del AG 1.0 sigue vigente, y todas las herramientas del AG 1.0 se conservan como servicios en el AG 2.0. La arquitectura del AG 2.0 hace posible la colaboración en servicios dentro de cada sesión. Esta nueva arquitectura retoma las lecciones y la experiencia del AG 1.0 para dar un ambiente más escalable mientras conserva el núcleo robusto del AG. AG 3.0 es la última versión del software del AccessGrid. Muchas de las tecnologías subyacentes se han actualizado y dirigido para conformarse con las tecnologías estándares y protocolos de Internet, para maximizar robustez, funcionamiento, e interoperabilidad. Todas las conexiones de red son cifradas por defecto, usando la certificación X509 por el servidor del lugar. La experiencia del AG es muy útil para esfuerzos que involucran un desarrollo amplio de aplicaciones de videoconferencia. En lo particular, la colaboración rica e interactiva entre grupos es uno de los puntos excelentes del AG, moviéndose más allá de los bustos parlantes comunes a los ambientes tradicionales de colaboración. Aunque el AG está en etapa de exploración, y no posee la difusión de los sistemas H.323, da un mejor ambiente de trabajo en conjunto, especialmente cuando el número de sitios involucrados es manejable. Se han celebrado eventos con más de 100 sitios cada uno pudiendo ver y oír a los otros 100 ( Todo con sólo 2 ojos!). Este es un nivel de crecimiento y servicio superior a lo que se puede hacer con unidades multipunto en cascada dentro del H.323, donde a pesar de saber que hay múltiples sitios, sólo se pueden ver uno o pocos a la vez. Si el ambiente de busto parlante en el H.323 es poco para lo que se quiere hacer, entonces se debe considerar al AccessGrid como una solución. BIBLIOGRAFIA des/grycap.pdf DAEE-422A-BA FDE7F05C/0/monografico2.pdf 8