Análisis de datos: Un framework para exploración de redes de perfiles

Análisis de datos: Un framework para exploración de redes de perfiles Mario Alejandro García 1, Juan Bautista Cabral 1, María de la Paz Giménez Pecci 2, Máximo Arnaud 1, Emilio Ramírez 1 1 Universidad Tecnológica Nacional Facultad Regional Córdoba 2 INTA CIAP IPAVE, Córdoba mgarcia@sistemas.frc.utn.edu.ar Resumen Se presenta un framework para análisis de datos estructurados en forma de red. El desarrollo, llamado Yatel, cumple con los requisitos de eficiencia para el análisis interactivo y también para ser integrado a una herramienta de análisis visual (Visual Analytics). El framework responde a una metodología de análisis que se explica brevemente y se acompaña con un ejemplo. Existen otros trabajos vinculados con análisis de redes, OLAP y Visual Analytics, pero ninguno se adapta a la metodología planteada. En este caso, los nodos de la red representan perfiles en los que se agrupan las entidades de estudio y los arcos se crean según la distancia o similitud que existe entre los perfiles. Luego, se realiza una exploración por ambientes según las otras dimensiones existentes en la base de datos. 1. Introducción Las relaciones entre los datos de una base de datos pueden ser representadas como una red. El análisis de estas redes ofrece nuevas técnicas para el análisis de datos (Data Analysis) y además suma el conocimiento que brinda la Network Science, dado que redes de distinto origen pero con topologías similares comparten ciertos comportamientos. Ejemplos de esta última afirmación y de aplicaciones de Network Science se pueden ver en [1-5]. Los esfuerzos en el análisis de datos a través de redes se suelen complementar otros desarrollos relacionados, como son OLAP (On-Line Analytical Processing) y el campo de Visual Analytics (la ciencia del razonamiento analítico facilitado por interfaces visuales interactivas [6]). Los trabajos publicados alrededor de estos temas (análisis de datos, análisis de redes, visual analytics y OLAP) tienen una amplia variedad de aplicaciones, pero también de enfoques. Dependiendo de la naturaleza de los datos y del objetivo del análisis, cada grupo de investigadores define un criterio de creación de redes y una técnica de análisis propia, lo que lleva también a desarrollar en cada caso, herramientas que soporten estas particularidades. En la sección "Trabajos Relacionados", se pueden ver algunos ejemplos. En este artículo se presenta un framework llamado Yatel, desarrollado para hacer análisis de datos a través de redes con orientación a la exploración por ambientes. Si bien Yatel se creó para un caso particular de análisis biológico [7-8], se piensa que es posible extender su funcionalidad a otras áreas. 2. Metodología de análisis El objetivo de la metodología de análisis planteada es el estudio de la diferencia o variación de las características de las entidades seleccionadas en función de las dimensiones de análisis. Los nodos de la red representan agrupaciones de entidades (personas, empresas, automóviles, etc.) que comparten las mismas características. Los arcos que vinculan a los nodos entre sí tienen un valor que indica la distancia o diferencia que hay entre las características de esos grupos. Cuanto más pequeña es la distancia, más parecidos son los grupos de entidades. Los atributos de la base de datos que no se eligen como características de las entidades, son potenciales dimensiones de análisis de la red. Una vez definido el rol de cada atributo, se forman los grupos de entidades con características idénticas y se calcula la distancia entre estos grupos. Con estos datos se crea una red y su representación gráfica. El algoritmo que crea la representación gráfica debe tener como criterio que los nodos con menor distancia entre sí queden cerca en el gráfico. Para realizar la exploración visual de la red, será necesario elegir una o más dimensiones. La selección de las dimensiones (y de sus respectivos niveles de

granularidad) resultará en una cantidad finita de combinaciones de valores que serán llamadas ambientes. Por ejemplo, si se seleccionan tres dimensiones que tienen 5 valores distintos cada una, se obtendrán 125 ambientes. El ambiente es un concepto central tanto en la metodología como en Yatel, que tiene numerosos métodos que devuelven resultados por ambiente (environment). La exploración visual se lleva a cabo graficando la red completa y resaltando los nodos existentes en cada uno de los ambientes por los que navega el analista. A partir de la misma red y de la misma división por ambientes, se pueden calcular valores estadísticos, parámetros de la red y cálculos definidos por el analista. En resumen, la red muestra distintos perfiles del objeto de estudio y las diferencias o distancias entre ellos. Durante la exploración por ambientes se puede estudiar el comportamiento de estos perfiles en distintos escenarios. La tabla de hechos con los resultados de toda la encuesta tiene 4000 registros. Los nodos de la red o haplotipos, serán los perfiles de personas según las actividades que realicen. Para crearlos, se toman los 13 atributos binarios que indican las categorías de actividades y se buscan las combinaciones de valores existentes. Como hay valores repetidos, la cantidad de perfiles debe ser inferior a la cantidad total de registros. Se supone para este ejemplo que la cantidad de perfiles distintos es 500. Habiendo definido cuáles serán los nodos de la red, se debe calcular la distancia entre ellos. La distancia será la diferencia entre los distintos perfiles. El cálculo dependerá del tema tratado. Para el ejemplo se utilizará la distancia de Hamming [10]. En la figura 1 se muestra la red de los 500 perfiles unidos por arcos cuando la distancia calculada es igual a 1, esto quiere decir que solo hay una actividad de diferencia entre cada par de nodos o perfiles conectados. La explicación de la metodología completa, que cuenta con 8 etapas bien definidas que se ejecutan cíclicamente se puede ver en [8]. 3. Ejemplo de análisis Hasta el momento, tanto el proceso como el framework, solo se han utilizado sobre datos biológicos para analizar la variabilidad de un virus [9]. En este caso, los nodos de la red fueron los haplotipos (genotipos haploides) del virus, los cuales son agrupaciones de las bandas de análisis electroforéticos (18 atributos binarios). Las dimensiones que determinaron los ambientes fueron referencias geográficas con distintos niveles de detalle, valores temporales y características de los cultivos. El nombre haplotipo (haplotype) se utilizó también en Yatel para hacer referencia a los nodos, por lo tanto es un término muy frecuente en todo lo relacionado con el framework. A continuación se desarrollará un ejemplo con datos ficticios sobre perfiles de personas para facilitar la comprensión. La base de datos está formada por los resultados de una encuesta donde, además de datos personales como edad, sexo, nivel de estudios, barrio, etc., se le pidió a los encuestados que marquen sobre una lista a qué tipo de actividades le dedican más de tres horas semanales. Las 13 categorías de actividades son: Trabajo, Estudio, Deporte, Hobby, Salud, Lectura, TV, Act. domésticas, Sociales (amigos), Familia, Macotas, Comunidad y Religión. Figura 1. Red completa para el ejemplo de los perfiles de personas por actividad. Para realizar la exploración, se pueden seleccionar una o más dimensiones. En este caso se elegirá la edad dividiendo las ocurrencias en los siguientes rangos: [0, 14], [15, 29], [30, 44], [45, 59] y > 59 Durante la visualización, se resaltan en cada ambiente los perfiles que aparecen en la tabla de hechos.

Figura 2. Red de perfiles para edad en [0, 14] Figura 5. Red de perfiles para edad en [45; 59] Figura 3. Red de perfiles para edad en [15, 29] Figura 6. Red de perfiles para edad > 59 En las figuras 2 a 6 se muestra la red para los 5 ambientes de la división etaria elegida. Se puede ver que en los dos primeros casos, al igual que los dos últimos, los perfiles se concentran en ciertas zonas de la red, pero en el caso central ([30, 44] años), los nodos resaltados no cumplen con ningún patrón de ubicación. Este resultado indicaría que entre los 30 y los 44 años las personas se diferencian más según el tipo de actividades que realizan. Un resultado similar se encontró con datos reales al estudiar la variabilidad del MRCV según en las dimensiones espacio-temporal en [10]. 4. El framework Yatel Figura 4. Red de perfiles para edad en [30; 44] Yatel 1 es un framework open source desarrollado en lenguaje Python para dar soporte al método mencionado 1 http://getyatel.org

de manera simple y eficiente. En parte, funciona como una base de datos orientada al análisis y exploración de datos representados como una red, de forma similar a un data mart. Almacena datos de tres tipos, haplotipos (los nodos de la red), distancias (arcos) y hechos (los atributos de la base de datos que se utilizan para explorar la red en distintas dimensiones). Además, provee interfaces (métodos) para acceder a los datos y a cálculos sobre los datos que permiten abstraer la complejidad de la base de datos. Estos métodos se han desarrollado con el objetivo de ser eficientes como para permitir el análisis on-line. Las interfaces que ofrece cubren todas las necesidades de información para crear los gráficos de red interactivamente, para realizar cálculos estadísticos y para ejecutar métodos de data mining sobre los datos estructurados como redes. Extraer estos datos directamente de la base de datos original es demasiado complejo y costoso como para un análisis interactivo. Yatel representa la información en una estructura de datos que se decidió llamar NWOLAP (Network OLAP). Las clases más importantes de NWOLAP son dom.haplotype, dom.edge y dom.fact, que se instancian a partir de los valores de las tablas que contienen los haplotipos, distancias y hechos respectivamente. En la figura 7 se pueden ver los módulos que componen Yatel. db.yatelnetwork es el componente de más bajo nivel de toda la infraestructura, genera (utilizando sqlalchemy 2 ) la abstracción sobre el almacén de datos para representar red de perfiles. Los objetos qbj.qbjengine son envoltorios sobre db.yatelnetwork que permiten realizar la manipulación de los datos utilizando un lenguaje agnóstico que se llamó QBJ (Query By Json). Este lenguaje se considera de bajo nivel, es verboso y difícil de escribir; pero permite acceder a toda la funcionalidad de Yatel de manera declarativa. yql.yatelquerylanguage (YatelQL) es el lenguaje de alto nivel implementado sobre QBJ para realizar las consultas de forma más simple. Está en etapa de diseño. server.yatelserver es en objeto encargado de atender las solicitudes de los clientes utilizando el protocolo HTTP. Integra en su diseño la posibilidad de realizar consultas en QBJ y YatelQL sobre la red servida. Figura 7. Módulos existentes y planificados de Yatel. Los componentes que figuran en color blanco están pendientes de desarrollo. stats contiene un conjunto de funciones estadísticas. Hay funciones especiales para medir variabilidad. El paquete de data mining, contiene algoritmos que operan sobre las instancias de las redes. Son métodos clásicos de Minería de Datos adaptados para trabajar sobre nwolap. etl.etl es un micro-framework incorporado para la extracción transformación y carga de datos en el almacén de redes de perfiles. Yatel Teper, en diseño, es una interfaz gráfica para la construcción de ETL. Yatel BI, también en diseño, es un proyecto separado de Yatel que se encargará de brindar al analista una interfaz gráfica amigable para la exploración. En la figura 8 se puede ver la sintaxis para conocer el listado de haplotipos (perfiles) de personas de sexo femenino y con nivel de estudio secundario en el ejemplo anterior. 2 http://www.sqlalchemy.org/

>>> for hap in \ nw.haplotypes_by_environment \ (nivel_estudios = "Secundario", \ sexo = "F"):... print hap Figura 8. Ejemplo de consulta en lenguaje Python utilizando el framework Yatel de los haplotipos en un ambiente con nivel de estudios = Secundario y sexo = F. El objeto nw es del tipo db.yatelnetwork. 5. Trabajos relacionados En los últimos años se han realizado muchos esfuerzos para incorporar al análisis de redes las ventajas de la tecnología OLAP. El análisis de redes que son afectadas por múltiples dimensiones puede ser abordado de muchas formas. Una muestra de esto es la cantidad de trabajos que se enfocan de manera distinta en el problema. En nuestro caso, se intentó trabajar sobre definiciones o herramientas basadas en algún estándar, no fue posible encontrar una solución que soportara las necesidades de nuestro proceso de análisis, ni tampoco una definición de conceptos que se adaptara. En [11] Chen et al. proponen definiciones para la creacion de "Graph OLAP" y desarrollan un framework. En este trabajo, el peso de los arcos varía con la selección de las dimensiones de la tabla de hechos y también se puede variar el nivel de granularidad de los nodos, lo que genera cambios en la topología de la red. Zhao et al. proponen un tipo de warehouse y una idea llamada "OLAP Multidimensional Networks" para analizar eficientemente redes con varias dimensiones [12]. Aquí las múltiples dimensiones afectan directamente a los nodos, no a los hechos ni a los arcos, lo que genera aparición y desaparición de nodos a medida que varían las dimensiones. También se puede cambiar la granularidad de los nodos. Berlingerio et al. en [13] definen que la multidimensionalidad de las redes se debe a que hay más de un atributo capaz de generar conexiones entre los nodos. Según este enfoque, los nodos se conectan por varios arcos, cada uno de distintos atributos. En [14], Han et al. toman a toda la base de datos como una gigantesca red de elementos heterogéneos interconectados. Un nuevo enfoque distinto a todos los demás. 6. Resultados La aplicación, tanto de la metodología como Yatel, sobre datos reales se llevó a cabo en para el estudio de la variabilidad del MRCV con buenos resultados. Primero, mediante la exploración interactiva de las redes los investigadores lograron encontrar un comportamiento no esperado en los datos, lo que llevó a crear una hipótesis. Para validar la hipótesis, se creó un indicador de variabilidad en función de la distancia genética que existe entre los haplotipos de la red [9]. El cálculo del indicador de variabilidad para cada ambiente también se realizó a través del framework desarrollado. Si buen todavía falta desarrollar algunos módulos, los existentes son útiles por sí mismos y fueron probados intensamente con métodos de testing automáticos. Por otro lado, también se realizaron tests manuales con bases de datos 3 de aprox. 50.000.000 registros y el rendimiento fue satisfactorio. 7. Trabajos futuros Se planea continuar con el desarrollo de los los siguientes métodos (cuya funcionalidad ya fue explicada): YatelQL Yatel Kaani Yatel Teper Además, a server.yatelserver se le sumarán los módulos de seguridad y cache. 8. Conclusiones En base a los resultados obtenidos sobre el MRCV, se concluye que tanto la metodología como la herramienta desarrollada son útiles para encontrar relaciones entre los datos que era posible ver sin el enfoque de análisis de redes. Se destaca la importancia de la ayuda que se brindó al analista en la generación de hipótesis. El éxito de un proceso de KDD (Knowledge Disconvery in Database) depende en gran manera de la experiencia y la creatividad del analista [15] y por eso el soporte para la generación de hipótesis es uno de los objetivos de Visual Analytics [16]. 9. Reconocimientos Este trabajo es parte del proyecto UTN1685. 3 http://wiki.getyatel.org/analysis/twdb/

10. References [1] Roehner, B. M. Driving Forces in Physical, Biological and Socio-Economic Phenomena, a Network Science Investigation of Social Bonds and Interactions, Cambridge University Press, 2007. [2] Lewis T.G. Network Science, Theory and Applications, Willey, 2008. [3] Watts D.J. y Strogatz S.H. Collective dynamics of smallworld networks Nature 393 1998, pp 440-442. [4] Boccaletti S., Latora, V., Moreno Y., Chavez M. y Hwang D.U. Complex networks: Structure and dynamics Physics Report 424 2006, pp 175-308. [5] Mitchell M. Complex systems: Network thinking, Articial Intelligence 170 (18) 2006, 1194-1212. [6] Thomas, J. and Cook, K. Illuminating the Path: Research and Development Agenda for Visual Analytics. IEEE Press, Los Alamitos 2005. [7] Gimenez Pecci, M. P., García M. A., Laguna, I. G., Cabral J. B. y Cucco, N. Exploración de redes para el análisis de variabilidad genética del Mal de Río Cuarto virus (MRCV) Journal of Basic & Applied Genetics. 2011 pp 235. [8] García M. A., Giménez Pecci M. P., Cabral J. B., Nieto A. y Laguna I. G. Interactive network exploration in the KDD process, Contributions in the study of population variability of a Corn Fijivirus Journal of Data Mining in Genomics & Proteomics 2012 3:3. [9] García M. A., Maurino M. F., Cucco N., Laguna I. G., Giménez Pecci M. P., Nieto A. y Cabral J. B. Aplicación de redes de haplotipos al análisis espaciotemporal de la variabilidad del virus del Mal de Río Cuarto (MRCV) 4ta Escuela Argentina de Matemática y Biología. [10] Hamming R.W. Error Detecting and Error Correcting Codes Bell System Tech Journal 9 1950 pp 147-160. [11] Chen, C., Yan, X., Zhu, F., Han, J., y Philip, S. Y. Graph OLAP: a multi-dimensional framework for graph data analysis Knowledge and Information Systems, 21, 1, 2009, pp 41-63. [12] Zhao, P., Li, X., Xin, D., y Han, J. Graph cube: on warehousing and OLAP multidimensional networks Proceedings of the 2011 ACM SIGMOD International Conference on Management of data, 2011, pp 853-864. [13] Berlingerio, M., Coscia, M., Giannotti, F., Monreale, A., y Pedreschi, D. Foundations of multidimensional network analysis Advances in Social Networks Analysis and Mining (ASONAM), 2011 International Conference on. IEEE, 2011, pp 485-489. [14] Han, J., Sun, Y., Yan, X., y Yu, P. S. Mining Knowledge from Data: An Information Network Analysis Approach Data Engineering (ICDE), 2012 IEEE 28th International Conference, 2012, pp. 1214-1217. [15] Brachman R.J. y Anand T. The Process of Knowledge Discovery in Databases: A Human-Centered Approach Advances in Knowledge Discovery and Data Mining, MIT Press, 1996, pp. 37-58. [16] Keim, D. A., Mansmann, F., Schneidewind, J., Thomas, J., y Ziegler, H. Visual analytics: Scope and challenges, Springer Berlin Heidelberg, 2008, pp. 76-90.