RECTOR GENERAL Salvador Vega y León. SECRETARIO GENERAL Norberto Manjarrez Álvarez. COORDINADOR GENERAL DE DIFUSIÓN Walterio Beller Taboada

Transcripción

1

2

3 E l c UARTO paradigma

4 RECTOR GENERAL Salvador Vega y León SECRETARIO GENERAL Norberto Manjarrez Álvarez COORDINADOR GENERAL DE DIFUSIÓN Walterio Beller Taboada DIRECTOR DE PUBLICACIONES Y PROMOCIÓN EDITORIAL Bernardo Ruiz SUBDIRECTORA DE PUBLICACIONES Laura González Durán SUBDIRECTOR DE DISTRIBUCIÓN Y PROMOCIÓN EDITORIAL Marco Moctezuma

5 El c UARTO p ARADIGMA D e s c u br i m i e n t o cien t í f ico in t e nsi vo e n dat o s EDITADO POR TONY HEY, STEWART TANSLEY Y KRISTIN TOLLE TRADUCCIÓN DE JOSÉ LUIS ACOSTA, RODRIGO CAMBRAY-NÚÑEZ Y ABDIEL MACÍAS ARVIZU

6 Título original en inglés The Fourth Paradigm, Microsoft Research, Edited by Tony Hey, Stewart Tansley and Kristin Tolle. Copyright 2009 Microsoft Corporation Excepto donde se indique lo contrario, el contenido de esta publicación se encuentra bajo la licencia Creative Commons Attribution-Share Alike 3.0 United States, disponible en Segunda impresión, versión 1.1, octubre ISBN Microsoft, Amalga, Bing, Excel, HealthVault, Microsoft Surface, SQL Server, Virtual Earth y Windows son marcas registradas del grupo de consorcios de Microsoft. Todas las demás marcas registradas son propiedad de sus respectivos dueños. La información, hallazgos, perspectivas y opiniones contenidas en esta publicación pertenecen a los autores y no necesariamente reflejan los puntos de vista de Microsoft Corporation o de Microsoft Research. Microsoft Corporation no garantiza la exactitud de la información contenida en la presente obra. Microsoft Research Traducción al español: José Luis Acosta, Rodrigo Cambray-Núñez y Abdiel Macías Arvizu Revisión técnica: Manuel López Michelone D.R. 2014, Universidad Autónoma Metropolitana Prolongación Canal de Miramontes 3855, Ex hacienda San Juan de Dios, delegación Tlalpan, México, D.F. Esta publicación no puede ser reproducida, total ni parcialmente, ni registrada en un sistema de recuperación de información, ni transmitida por ningún medio, sea mecánico, fotoquímico, electrónico, magnético, electroóptico, por fotocopia o cualquier otro, sin el permiso previo, por escrito, de los editores. ISBN de la obra: Impreso en México/Printed in Mexico

7 Para Jim

8

9 CONTENIDO xi xvii prólogo Gordon Bell jim gray sobre la e-ciencia: un método científico transformado Editado por Tony Hey, Stewart Tansley y Kristin Tolle 1. TIERRA Y MEDIO AMBIENTE 3 introducción Dan Fay 7 las leyes de gray: cómputo científico centrado en bases de datos Alexander S. Szalay, José A. Blakeley 15 la nueva ciencia de las aplicaciones ambientales Jeff Dozier, William B. Gail 23 redefiniendo la ciencia ecológica mediante los datos James R. Hunt, Dennis D. Baldocchi, Catharine van Ingen 29 una visión de la oceanografía en el año 2020 John R. Delaney, Roger S. Barga 41 acercando el cielo nocturno: descubrimientos en la avalancha de datos Alyssa A. Goodman, Curtis G. Wong 49 la instrumentación de la tierra: redes de sensores de próxima generación y las ciencias del ambiente Michael Lehning, Nicholas Dawes, Mathias Bavay, Marc Parlange, Suman Nath, Feng Zhao 2. SALUD Y BIENESTAR 59 introducción Simon Mercer 63 la singularidad de la asistencia sanitaria y la era de la medicina semántica Michael Gillam, Craig Feied, Jonathan Handler, Eliza Moody, Ben Shneiderman, Catherine Plaisant, Mark Smith, John Dickason 71 la provisión de servicios de salud en los países en vías de desarrollo: desafíos y soluciones potenciales Joel Robertson, Del DeHart, Kristin Tolle, David Heckerman 81 descubriendo el esquema de conexiones del cerebro Jeff W. Lichtman, R. Clay Reid, Hanspeter Pfister, Michael F. Cohen 91 hacia un microscopio computacional para la neurobiología Eric Horvitz, William Kristan 99 un enfoque de modelado unificado para la asistencia sanitaria intensiva en datos Iain Buchan, John Winn, Chris Bishop 107 visualización en modelos de álgebra de procesos de sistemas biológicos Luca Cardelli, Corrado Priami

10 3. INFRAESTRUCTURA CIENTÍFICA 117 introducción Daron Green 121 una nueva ruta para la ciencia? Mark R. Abbott 129 más allá del tsunami: a edificación de la infraestructura para el tratamiento de los datos de las ciencias biológicas Christopher Southan, Graham Cameron 137 la computación multinúcleo y el descubrimiento científico James Larus, Dennis Gannon 143 el paralelismo y la nube Dennis Gannon, Dan Reed 149 el impacto de las herramientas de flujo de trabajo en la investigación centrada en datos Carole Goble, David de Roure 159 la e-ciencia semántica: la codificación de significado en la ciencia mejorada digitalmente de la siguiente generación Peter Fox, James Hendler 165 visualización para la ciencia intensiva en datos Charles Hansen, Chris R. Johnson, Valerio Pascucci, Claudio T. Silva 177 una plataforma para todo lo que sabemos: la creación de una infraestructura de investigación basada en los conocimientos Savas Parastatidis 4. COMUNICACIÓN ACADÉMICA 187 introducción Lee Dirks 191 el cuarto paradigma de jim gray y la construcción del registro científico Clifford Lynch 199 el texto en un mundo centrado en datos Paul Ginsparg 207 todos a bordo: hacia un sistema de comunicación académica amigable con las máquinas Herbert van de Sompel, Carl Lagoze 215 el futuro de las políticas de datos Anne Fitzgerald, Brian Fitzgerald, Kylie Pappalardo 225 he visto el cambio de paradigma, y somos nosotros John Wilbanks 233 de la web 2.0 a la base de datos global Timo Hannay 241 el camino por recorrer Craig Mundie 245 conclusiones Tony Hey, Stewart Tansley y Kristin Tolle 249 siguientes pasos 250 agradecimientos 253 algunas palabras sobre jim 255 glosario 259 índice

11

12

13 Prólogo GORDON BELL Microsoft Research Este libro propone un novedoso cuarto paradigma para la ciencia basado en la computación intensiva en datos. Esta investigación se encuentra en un momento parecido al de la invención de la imprenta de tipos móviles, que tardó un milenio en desarrollarse y evolucionar hasta sus múltiples manifestaciones actuales. El uso de computadoras para obtener conocimientos a partir de los datos creados y respaldados en nuestros depósitos electrónicos tomará décadas o, quizá, menos. Los coautores de esta obra han hecho un trabajo extraordinario que ayuda a la comprensión más precisa de este nuevo paradigma desde diversos puntos de vista especializados. En varios aspectos, la ciencia va atrás del mundo comercial en cuanto a inferir un significado a partir de los datos y actuar con base en él. Sin embargo, en los negocios las cosas son comparativamente sencillas: los objetos que pueden describirse con un nombre o con unos cuantos números se manufacturan para ser comprados y vendidos. Las disciplinas científicas no pueden encapsularse en unos pocos nombres y números de fácil comprensión, y muchos datos científicos carecen de un valor económico suficientemente elevado capaz de propiciar un progreso más intenso de los descubrimientos científicos. El asistente de Tycho Brahe, Johannes Kepler, al estudiar el catálogo sistemático de las observaciones astronómicas de Brahe, descubrió las leyes del movimiento planetario. Con ello se establece la división entre la exploración y el análisis de datos experimentales cuidadosamente registrados y la formulación de teorías. Tal división es un rasgo propio del cuarto paradigma. En el siglo xx, los datos que fundamentaban las teorías científicas se hallaban con frecuencia sepultados en libretas o, para algunos aspectos relacionados con la alta ciencia, almacenados en medios magnéticos que terminaron siendo ilegibles. En especial EL CUARTO PARADIGMA xi

14 los personales y los de pequeños laboratorios, son inaccesibles; en su mayoría, se desechan cuando el investigador se retira o, acaso, se conservan en una biblioteca institucional antes de eliminarlos. El registro a largo plazo del origen de los datos, o el común acceso comunitario a los datos distribuidos, son sólo algunos de los retos. Afortunadamente, algunos centros de datos, como el National Center for Atmospheric Research 1 (ncar), se prestan para recibir investigadores de ciencias de la Tierra que buscan analizar los datos curados procedentes de mediciones y modelos computacionales. Con ello, en una sola institución tenemos la cadena de obtención, curaduría y análisis de datos para toda una disciplina. En el siglo xxi es muy factible que la mayor parte del vasto y continuo volumen de datos capturados por nuevos instrumentos de manera ininterrumpida, junto con la información generada en los mundos artificiales de los modelos computarizados, residan de manera permanente en una forma viva, de amplio acceso público y curada para efectos de su continuo análisis. Éste conducirá al desarrollo de nuevas teorías. Pronto atestiguaremos que los datos se conservan a perpetuidad como materiales de archivo como sucede con el registro en papel y serán accesibles a todos, humanos y máquinas, en la nube. Es reciente imaginar tal permanencia para los datos como lo pensamos para los objetos de bibliotecas y museos nacionales. Ese grado de duración era inverosímil, hasta que notamos que la captura del origen de los datos incluso los registros de los investigadores, y a veces toda la información sobre ellos es lo que piden y han deseado las bibliotecas. La nube de polarizaciones magnéticas que codifica datos y documentos en la biblioteca digital se convertirá en el equivalente de los kilómetros de estantes de bibliotecas que almacenan papel y tinta. En 2005, el Consejo Nacional de Ciencia de la National Science Foundation publicó el informe Long-Lived Digital Data Collections: Enabling Research and Education in the 21st Century, que inicia un diálogo sobre el interés de la preservación de los datos y la importancia de su cuidado y soporte con un nuevo equipo: los científicos de datos : El interés de los científicos de datos expertos de la información y la computación, ingenieros y programadores de bases de datos y software, y expertos interdisciplinarios, curadores y expertos anotadores, bibliotecarios, archivistas y otros actores cruciales para la exitosa administración de una colección digital de datos se basa en el reconocimiento a su creatividad y sus contribuciones intelectuales. [1] 1 xii PROLOGO

15 EL CUARTO PARADIGMA: UN ÉNFASIS EN LOS SISTEMAS INTENSIVOS DE DATOS Y LA COMUNICACIÓN CIENTÍFICA En su última conferencia para la Comisión de Ciencias de la Computación y de Telecomunicaciones el 11 de enero de 2007 [2], Jim Gray describió su visión del cuarto paradigma de la investigación científica. Hizo un exhorto en dos partes para el financiamiento de herramientas para la obtención, curación y análisis de datos, y para la creación de una infraestructura de comunicación y publicación. Argumentó en favor del desarrollo de modernos repositorios para los datos y los documentos, que compitieran con las bibliotecas tradicionales. La versión editada de su trabajo, introduce la escena para los capítulos siguientes. La ciencia intensiva en datos se basa en tres actividades: obtención, curación y análisis. Los datos existen en todos los tamaños y formas, lo que incluye los de grandes experimentos internacionales; observaciones provenientes de redes de laboratorios, laboratorios particulares e individuos; y potencialmente vidas personales. 2 La disciplina y la escala de los experimentos individuales, y en particular sus tasas de datos, hacen del asunto de las herramientas un magno problema. El proyecto de radiotelescopios Australian Square Kilometre Array, 3 el Gran Colisionador de Hadrones 4 del cern y el sistema de telescopios astronómicos Pan-STARRS 5 tienen la capacidad de generar varios petabytes (pb) de datos cada día, mas sus directrices los limitan a tasas de recolección más manejables hoy. Los dispositivos de secuenciación genética presentan rendimientos más modestos por su costo, de modo que sólo se secuencian por individuo algunas regiones de secuencias genómicas (25 kb por unos cuantos cientos de miles de pares de bases). Sin embargo, esto es, cuando mucho, temporal hasta que se otorgue el X Prize for Genomics 6 de 10 millones de dólares 100 individuos completamente secuenciados en 10 días, a menos a dólares por cada uno, cubriendo millones de pares de bases por cada genoma humano. Es necesario invertir en la creación de una serie de herramientas genéricas que cubran el total de actividades: desde la obtención y validación de los datos hasta la curaduría, el análisis y, finalmente, el almacenamiento permanente. La curaduría abarca un amplio espectro de tareas, que empiezan con la determinación de las estructuras de datos idóneas para ser distribuidas en diversos depósitos. Esto incluye los archivos de esquema y los metadatos necesarios para la preservación a largo EL CUARTO PARADIGMA xiii

16 plazo, y para la integración por medio de dispositivos, experimentos y laboratorios. Sin ellos, la interpretación sólo es implícita y queda muy subordinada a los programas específicos para el análisis. Finalmente, los datos no curados se perderán. Debe considerarse con cuidado qué datos han de conservarse por siempre y cuáles otros metadatos serían necesarios para ello. El análisis de datos abarca actividades durante todo el flujo de trabajo. Incluye el uso de bases de datos (en vez de la recolección de archivos planos que una base de datos lee), análisis, modelado y visualización de datos. La receta de Jim Gray para el diseño de una base de datos para determinada disciplina implica que debe ser capaz de responder las veinte preguntas principales que el científico quisiera hacerle. En buena parte del mundo científico las bases de datos se usan actualmente como almacenes para guardar algunas propiedades de los datos, más que como un espacio para los datos mismos; esto se explica porque el tiempo requerido para explorar toda la información hace inviable el análisis. Hace una década, la relectura de los datos era apenas factible. Hasta 2010, los discos tenían veces más capacidad, pero el tiempo de acceso a su contenido mejoró apenas en un factor de dos. BIBLIOTECAS DIGITALES PARA DATOS Y DOCUMENTOS: EQUIPARABLES A LAS MODERNAS BIBLIOTECAS DE DOCUMENTOS La comunicación científica, incluyendo sus procesos de arbitraje, también experimenta cambios esenciales. Las bibliotecas públicas digitales están asumiendo la función de resguardar publicaciones de bibliotecas convencionales sea por su costo, la necesidad de un servicio expedito o la conveniencia de mantener reunidos los datos experimentales y la documentación acerca de ellos. Así, las bibliotecas de datos digitales se encuentran aún en fase de desarrollo, con dimensiones, formas y principios constitutivos divergentes. Por supuesto, ncar es una de las entidades más antiguas en lo que respecta al modelado, recopilación y curación de datos de las ciencias de la Tierra. El San Diego Supercomputer Center (sdsc) en la Universidad de California, San Diego, que normalmente está asociado con el abastecimiento de poder de cómputo para la comunidad científica, fue una de las primeras organizaciones en reconocer la necesidad de agregar los datos a su misión. El sdsc creó su sitio Data Central, 7 que aloja 27 pb de datos en más de 100 bases de datos específicas (por ejemplo, para bioinformática y recursos hídricos). En 2009, reservó 400 terabytes (tb) de espacio en disco para bases de datos tanto 7 xiv PROLOGO

17 públicas como privadas y para colecciones de datos que dan servicio a una extensa gama de instituciones científicas, incluyendo laboratorios, bibliotecas y museos. El Australian National Data Service 8 (ands) ofrece servicios como el Register My Data, una especie de fichero catalográfico que registra la identidad, estructura, nombre y ubicación (dirección ip) de las diversas bases de datos, incluso las de particulares. El solo hecho de levantar tal registro es un gran paso hacia el almacenamiento a largo plazo. ands busca influir en la política nacional de su país en lo tocante al manejo de los datos, e ilustrar sobre las mejores prácticas para la curación de datos, con lo que las distintas y divergentes colecciones de datos de investigación se transformarían en un conjunto coherente de recursos de investigación. En el Reino Unido, el Comité Conjunto de Sistemas de Información (jisc, por sus siglas en inglés) ha financiado la creación del Digital Curation Centre 9 para estudiar estas cuestiones. Se espera que con el tiempo surjan muchos otros centros de datos como éste. La Dirección de Ciencia e Ingeniería de Computación y de Información, de la National Science Foundation, lanzó ya una convocatoria para la solicitudes de becas a largo plazo para investigadores en cómputo intensivo en datos y en almacenamiento de larga duración. Esta obra considera en sus capítulos las múltiples oportunidades y desafíos que entraña la ciencia intensiva en datos, incluídas la cooperación y el entrenamiento interdisciplinarios, el intercambio de información entre organizaciones para crear hibridaciones (mashups) de datos científicos, la instauración de nuevos procesos y rutas de trabajo, así como una agenda de investigación que explote las oportunidades y sostenga la vanguardia de la avalancha de datos. Estos retos exigirán una vasta inversión económica y operacional. El sueño de erigir una infraestructura de datos con sensores ubicuos que apoye nuevas modalidades de investigación científica requerirá de una extraordinaria cooperación entre organismos de financiamiento, científicos e ingenieros. Un sueño que vale la pena alentar y financiar activamente. REFERENCIAS [1] National Science Board, Long-Lived Digital Data Collections: Enabling Research and Education in the 21st Century, Technical Report NSB-05-40, National Science Foundation, septiembre de 2005, [2] Conferencia de Jim Gray al NRC-CSTB en Mountain View, California, el 11 de enero de 2007, (Transcripción editada también en esta obra.) EL CUARTO PARADIGMA xv

18

19 Jim Gray sobre la e-ciencia: un método científico transformado Basado en la transcripción de una conferencia impartida por Jim Gray ante la Comisión de Ciencias de la Computación y de Telecomunicaciones del Consejo Nacional de Investigación (nrc-cstb) 1 en Mountain View, California, el 11 de enero de EDITADO POR TONY HEY, STEWART TANSLEY Y KRISTIN TOLLE Microsoft Research Tenemos que mejorar en la producción de herramientas para apoyar todo el ciclo de la investigación desde la captura de los datos y su curación hasta su análisis y visualización. 1 Hoy en día, las herramientas para la captura de datos, tanto a megaescala como a miliescala, son simplemente terribles. Después de que se han capturado los datos, es necesario curarlos antes de que se pueda empezar a hacer cualquier tipo de análisis con ellos, y carecemos de herramientas adecuadas para dicha 2 curación y análisis. Luego sigue la publicación de los resultados de la investigación, y la literatura publicada es sólo la punta del iceberg de datos. Con esto quiero decir que las personas reúnen una gran cantidad de datos que luego reducen a una determinada cantidad de pulgadas de columna en Science o en Nature o a diez páginas si quien escribe es un especialista en ciencias de la computación. A lo que me refiero con iceberg de datos es que hay una gran cantidad de ellos que se recopilan, pero que no se curan ni se publican de manera sistemática. Hay algunas excepciones, y creo que éstas son instancias en las que debemos basarnos para determinar mejores prácticas. Voy a hablar de cómo todo el proceso de revisión por pares tiene que cambiar, así como de la manera en 1 National Research Council (NRC), Computer Science and Telecommunications Board (CSTB), 2 Esta presentación es, emotivamente, la última publicada en la página web de Jim en Microsoft Research antes de desaparecer en el mar el 28 de enero de 2007, NRCCSTB_eScience.ppt EL CUARTO PARADIGMA xvii

20 Paradigmas de la ciencia Hace mil años: la ciencia era empírica descripción de fenómenos naturales Últimos siglos: rama teórica utilización de modelos, generalizaciones Últimas décadas: una rama computacional simulación de fenómenos complejos Hoy: la exploración de datos (e-ciencia). 2 a = a unificación de teoría, experimentación y simulación Los datos se capturan mediante instrumentos o se generan mediante simulador Procesados mediante software La información/conocimientos se almacenan en computadora El científico analiza la base de datos o los archivos mediante administración de datos y estadística 4πGp 3 K c2 a 2 FIGURA 1. la que visualizo como está cambiando, y lo que la Comisión de Ciencias de la Computación y de Telecomunicaciones (cstb) puede hacer para ayudarnos a todos para tener acceso a nuestras investigaciones. LA E-CIENCIA: QUÉ ES? La e-ciencia es donde las tecnologías de información y los científicos convergen. Los investigadores utilizan muchos métodos diferentes para recopilar o generar datos desde sensores y dispositivos de acoplamiento de carga (ccd) hasta supercomputadoras y colisionadores de partículas. Cuando los datos finalmente aparecen en su computadora, qué hace usted con toda esa información que está ahora en su caja digital? La gente constantemente está buscándome, me dice: Auxilio! Tengo todos estos datos. Qué se supone que debo hacer con ellos? Mis hojas de cálculo de Excel se desbordan! Así que, qué sigue? Qué sucede cuando se tienen hojas de cálculo de Excel, cada una con 50 páginas? Digamos que las he estado nombrando de manera sistemática, pero ahora, qué hago? PARADIGMAS DE LA CIENCIA Muestro esta diapositiva (véase la figura 1) cada vez que imparto alguna conferencia. Creo que es justo decir que esta idea se me ocurrió en un estudio de la cstb sobre el futuro de la computación. Decíamos: Mira, la ciencia computacional es una xviii JIM GRAY SOBRE LA E-CIENCIA

21 tercera pierna. Originalmente sólo existía la ciencia experimental, y luego apareció la ciencia teórica, con las leyes de Kepler, las leyes de Newton del movimiento, las ecuaciones de Maxwell, y así sucesivamente. Entonces, para muchos problemas, los modelos teóricos se volvieron demasiado complicados como para ser resueltos analíticamente, y la gente tuvo que empezar a utilizar la simulación. Estas simulaciones nos han servido a lo largo de gran parte de la segunda mitad del milenio más reciente. En la actualidad, éstas generan una gran cantidad de datos junto con un enorme aumento en los datos de las ciencias experimentales. Ahora la gente realmente no mira a través de telescopios: en lugar de ello están mirando a través de complejos instrumentos de gran escala que transmiten información a las centrales de datos, y sólo entonces es cuando examinan la información en sus computadoras. El mundo de la ciencia ha cambiado, y no hay duda alguna sobre esto. El nuevo modelo consiste en que los datos se capturan mediante instrumentos o se generan a través de simulaciones antes de procesarlos con software. La información o el conocimiento resultantes se almacenan en computadoras. Los científicos sólo llegan a mirar sus datos bastante tarde en esta secuencia. Las técnicas y las tecnologías para tal ciencia intensiva en datos son tan diferentes que vale la pena distinguir la ciencia intensiva en datos de la ciencia computacional como un nuevo paradigma: el cuarto paradigma para la exploración científica [1]. DISCIPLINAS INFORMÁTICAS Y DISCIPLINAS COMPUTACIONALES En todas las disciplinas presenciamos la evolución de dos ramas, como se muestra en la siguiente diapositiva (véase la figura 2). Si nos fijamos en la ecología, existen actualmente tanto la ecología computacional, que tiene que ver con la simulación de ecologías, como la ecoinformática, que tiene que ver con la recolección y el análisis de información ecológica. De manera semejante, tenemos la bioinformática, que recoge y analiza información de muchos experimentos diferentes, y la biología computacional, que simula cómo funcionan los sistemas biológicos, las vías metabólicas, el comportamiento de una célula o la forma en que se construye una proteína. Esto se acerca a la noción de Jeannette Wing del pensamiento computacional, en el que las técnicas y las tecnologías de las ciencias de la computación se aplican a diferentes disciplinas [2]. La meta de muchos científicos es codificar su información para poder intercambiarla con otros científicos. Por qué necesitan codificarla? Porque si guardo alguna información en mi computadora, la única manera en que usted podrá entenderla será que el programa que usted utilice pueda entenderla. Esto significa que la información EL CUARTO PARADIGMA xix

22 Disciplinas informáticas La evolución de la rama informática y la rama computacional para cada disciplina Cómo codificar y representar nuestros conocimientos Experimentos e instrumentos Otros archivos Literatura Simulaciones Hechos Hechos Hechos Hechos Preguntas Respuestas Ingesta de datos Administración de un petabyte Esquemas comunes Cómo organizarlos Cómo reorganizarlos Cómo compartirlos con otros Los problemas genéricos Herramientas de consulta y de visualización Construcción y la ejecución de modelos Integración de los datos y la literatura Documentación de experimentos Curación y conservación a largo plazo FIGURA 2. tiene que representarse de manera algorítmica. Para conseguir esto necesitamos una representación estándar de lo que es un gen o de lo que es una galaxia o de lo que es una medición de temperatura. ENTRE UNA CUARTA PARTE Y LA MITAD DE LOS PRESUPUESTOS PARA EXPERIMENTACIÓN SE DESTINA AL SOFTWARE Durante los últimos 10 años he estado tratando con astrónomos y tengo la oportunidad de ir a algunas de sus estaciones de base. Quedo maravillado al ver sus telescopios, es algo simplemente increíble. Se trata de equipo que representa básicamente una inversión de 15 a 20 millones de dólares, el cual es operado por unas 20 a 50 personas. Entonces uno entiende que hay literalmente miles de personas escribiendo código para hacer frente al volumen de información que genera este instrumento, y de que se necesitan millones de líneas de código para analizar toda esa información. En realidad, el costo del software domina el gasto de capital! Esto es cierto en el caso del Sloan Digital Sky Survey (sdss), y seguirá siendo cierto para proyectos de exploración celeste de mayores dimensiones, y para muchos experimentos a gran escala. No estoy seguro de que el costo de software sea también dominante en el caso de la comunidad de la física de partículas y su Gran Colisionador de Hadrones (gch), pero sin duda lo es en los experimentos del gch. xx JIM GRAY SOBRE LA E-CIENCIA

23 Incluso en las ciencias de datos pequeños se ve a la gente reuniendo información y luego dedicando mucha más energía en el análisis de esa información que en recabarla en primera instancia. El software es típicamente muy particular, ya que existen muy pocas herramientas genéricas disponibles para que el científico de laboratorio recopile, analice y procese los datos. Esto es algo que los científicos computacionales podríamos ayudar a remediar mediante la construcción de herramientas genéricas para la comunidad científica. Tengo una lista de asuntos para los responsables de políticas, como la cstb. El primero de ellos es básicamente promover y apoyar la construcción de herramientas. La National Science Foundation (nsf) cuenta ahora con una organización de ciberinfraestructura; y no quiero decir nada malo acerca de ellos, pero se necesita más que sólo apoyo para el proyecto TeraGrid y la computación de alto rendimiento. Ahora sabemos cómo construir clústeres Beowulf para conseguir cómputo de alto rendimiento barato; pero no sabemos cómo construir una verdadera malla de datos (data grid) o cómo crear almacenes de información a partir de ladrillos de datos de bajo costo donde alguien pueda guardar todos sus datos y luego analizar la información. En realidad hemos hecho progresos en las herramientas de simulación, pero no en las herramientas de análisis de datos. PIRÁMIDES DE PROYECTOS Y FINANCIAMIENTO DE LA PIRÁMIDE En esta sección hago simplemente una observación acerca de la manera en que la mayoría de los proyectos científicos parecen funcionar. Hay pocos proyectos internacionales, hay más proyectos multicampus, y luego hay muchos más proyectos de un solo laboratorio. Así que básicamente tenemos esta pirámide de instalaciones nivel 1, nivel 2 y nivel 3, que encontramos una y otra vez en muchos campos diferentes. Los proyectos de los niveles 1 y 2 generalmente están organizados y administrados de manera sistemática; pero existen relativamente pocos proyectos de esa índole. Estos grandes proyectos pueden darse el lujo de tener un presupuesto para software y otro para hardware, y asignar equipos de científicos para escribir software a la medida del experimento. A modo de ejemplo, he estado viendo que el observatorio de océanos estadounidense-canadiense el proyecto Neptune asigna aproximadamente 30% de su presupuesto a ciberinfraestructura [3]. En números redondos, eso es 30% de 350 millones de dólares, o algo así como 100 millones de dólares! De manera semejante, los experimentos del gch cuentan con un enorme presupuesto para software, y esta tendencia hacia presupuestos cuantiosos para software también es evidente desde el temprano experimento BaBar [4, 5]. Pero si es usted un científico EL CUARTO PARADIGMA xxi

24 de laboratorio en la parte inferior de la pirámide, qué puede hacer para conseguir algún presupuesto para software? Básicamente terminará comprando matlab 3 y Excel 4 o algún otro paquete similar y arreglándoselas con este tipo de herramientas comerciales. No hay mucho más que pueda hacer. Así pues, los gigaproyectos y los megaproyectos se ven impulsados en gran medida por la necesidad de algunos recursos de gran escala, como supercomputadoras, telescopios u otras instalaciones experimentales de gran magnitud. Estas instalaciones normalmente las utiliza una importante comunidad de científicos y necesitan ser financiadas en su totalidad por organismos como la nsf o el Departamento de Energía. Los proyectos de menor escala por lo general obtienen fondos de una mayor diversidad de fuentes, con apoyo de organismos de financiamiento a menudo conjuntamente con alguna otra organización que podría ser la propia universidad. En el artículo que Gordon Bell, Alex Szalay y yo escribimos para ieee Computer [6] hicimos notar que las instalaciones de nivel 1, como el gch, son financiadas por un consorcio internacional de organismos, pero los experimentos del gch de nivel 2 y las instalaciones de nivel 3 son financiadas por los investigadores, que traen consigo sus propias fuentes de financiamiento. Así que los organismos de financiamiento deben apoyar económicamente en su totalidad los gigaproyectos de nivel 1 y luego asignar la otra mitad de sus fondos a la ciberinfraestructura para proyectos más pequeños. SISTEMAS DE ADMINISTRACIÓN DE INFORMACIÓN PARA LABORATORIOS Para resumir lo que he estado diciendo sobre software, lo que efectivamente necesitamos son sistemas de administración de información para laboratorios. Tales sistemas de software ofrecen una ruta desde los datos que se obtienen mediante el instrumento o la simulación hasta un archivo o depósito de datos, y es algo que estamos a punto de lograr en varios casos modelo sobre los que he estado trabajando. Básicamente, colocamos los datos de un grupo de instrumentos en una secuencia que los calibra y los limpia, e inclusive llena los huecos según sea necesario. En seguida, volvemos a cuadrar 5 (re grid) la información y finalmente la guardamos en una base de datos, la cual podríamos publicar en internet y de esa manera permitir que la gente tenga acceso a nuestra información Esto significa regularizar la organización de los datos de manera que quede una variable de datos por fila, lo cual es análogo a la normalización en las bases de datos relacionales. xxii JIM GRAY SOBRE LA E-CIENCIA