Aplicaciones de Inteligencia Computacional para el Minado de Conjuntos de Datos Integralmente Reducidos

Transcripción

1 Aplicaciones de Inteligencia Computacional para el Minado de Conjuntos de Datos Integralmente Reducidos Angel Kuri-Morales Instituto Tecnológico Autónomo de México

2 Agenda 1. Qué es Big Data 1. Big Data está aquí para quedarse 2. El dilema tecnológico 2. Solución Conceptual al dilema 1. Información 2. Entropía 3. Modelado 3. Solución Técnica al dilema 4. Aplicación Caso de Estudio

3 Qué es Big Data En este seminario ya se ha definido el fenómeno Big Data. Datos Altamente distribuidos Sin estructura aparente De gran volumen

4 Big Data está aquí para quedarse Grandes volúmenes de datos nacidos de: Ciencias Meteorología Genómica Física Astronomía Biología Finanzas Negocios Economía Banca Análisis Estadísticos Redes Sociales Facebook Twitter

5 El Dilema Tecnológico En esencia, el fenómeno Big Data se suscita por dos razones históricas: Los sistemas de cómputo y telecomunicaciones (C&T) se han abaratado en órdenes de magnitud Los sistemas de C&T se han hecho más eficientes y poderosos Esto origina un efecto de bola de nieve Aumenta el número de usuarios Se invierte más en I&D Los sistemas se hacen mejores y más baratos

6 El efecto Bola de Nieve Lo anterior demanda mejores herramientas para el almacenamiento, transmisión y tratamiento de los datos Estas herramientas demandan mejores desarrollos Estos redundan en más datos

7 Soluciones tecnológicas Arquitecturas Procesamiento en paralelo en sistemas fuertemente conectados Redes de Benes Redes de Batcher

8 Nuevas tecnologías Tecnologías: Cómputo paralelo Optimización de algoritmos de agrupamiento Cómputo distribuído Computación Grid

9 Nuevos paradigmas Ópticas (Láser) Criogénicas (Supercondutores) Biológicas (Computación con ADN) Cuánticas (Qubits)

10 Enfoque tecnológico En todos estos casos, sin importar qué tan eficientes sean las tecnologías implicadas, se alcanzará un límite físico y, eventualmente, será indispensable encontrar un nuevo enfoque para tratar Big Data

11 No es lo mismo Data que Información Hay que exprimir los datos para obtener jugo

12 Pero una gran naranja no necesariamente implica mucho jugo

13 La entropía y la información En las disciplinas de cómputo es necesaria una definición precisa de lo que entendemos por información. La definición de entropía (información promedio) es En donde X es el mensaje, p i es la probabilidad de que aparezca un símbolo, m es el número de símbolos y n es la cantidad de datos.

14 Y es posible exprimir los datos para quedarnos con la información relevante H(bmp) Esta naranja pesa 369,994 bytes. H(jpg) Esta, en cambio, pesa solamente 21,895 bytes 17:1!

15 Reducción de los Datos como Alternativa Práctica Una posible alternativa es tratar de ser más eficientes en el tratamiento de la información. En, prácticamente, todos los casos la información contenida en las bases de datos puede preservarse sin necesidad de usar todos los datos.

16 La idea clave es En vez de trabajar con una gran cantidad de datos, trabajemos con la información equivalente. Extraigamos la muestra mínima que nos proporcione la misma información que los datos originales

17 Determinación del tamaño de la muestra mínima Podemos entonces plantear la siguiente hipótesis: La información contenida en una muestra aleatoria (tomada de una gran base de datos D) de tamaño M es aproximadamente igual a la de D cuando las entropías son similares. Y El comportamiento de las variables de M debe ser similar al de las variables de D.

18 Los dos pasos Paso 1: Encontrar una muestra reducida con las misma cantidad de información Paso 2: Modelar las variables del sistema para certificar que en ambos conjuntos de datos (D y M) las variables se inter-relacionan de manera análoga.

19 Paso 1: Encontrar la entropía equivalente

20 Paso 2: Modelar las variables

21 Publicaciones académicas Kuri-Morales, A., "An Automated Search Space Reduction Methodology for Large DataBases", Springer, Editor(s)): Perner, Petra, ISBN: , ISSN: , 16/07/2013. Kuri-Morales, A., "Application of a Method Based on Computational Intelligence for the Optimization of Resources Determined from Multivariate Phenomena", MICAI 2012, Springer, Unpublished, Editor(s)): Batryshin, I. et al, ISBN: , ISSN: , 15/11/2012. Kuri-Morales, A., Lozano, A., "Sampling for Information and Structure Preservation when Mining Large Data Bases", Springer, , Editor(s)): Angel Kuri-Morales, ISBN: , ISSN: , 03/11/2010. Kuri-Morales, A., Erazo-Rodríguez, F., "A Search Space Reduction Methodology for Data Mining in Large Databases", Engineering Applications of Artificial Intelligence, Elsevier, 57-65, ISBN: , ISSN: , 01/02/2009. Kuri-Morales, A., Rodríguez-Erazo, F., "A Search Space Reduction Methodology for Large Databases: A Case Study", Advances in Data Mining: Theoretical Aspects and Applications, LNAI 4597, Best Paper Award, Springer, , Editor(s)): Petra Perner, ISBN: , ISSN: , 14/07/2007.

22 CASO de Estudio Se efectuó un proyecto de minería de datos para una empresa multi-nacional (a la que nos referiremos como La Compañía ). La Compañía tiene grandes bases de datos incluyendo datos acerca de servicios prestados, facturación (registrados en períodos de varios años) y otros muchos datos pertinentes.

23 Validación Estadística Modelo 1: obtenido de la muestra Modelo 2: obtenido de los datos originales Clust. Modelo 1 (%) Modelo 2 (%) Dif. (%) A B C D E F

24 Validación Estadística Identificación del conjunto de datos a partir del modelo muestral. Cluster Muestra (%) Datos originales (%) Diferencia (%) A B C D E F

25 Aplicación Práctica A raíz del estudio descrito, la Compañía disminuyó los tiempos de proceso de sus datos de 35 días a 10. Consecuentemente, las decisiones estratégicas de la Compañía pueden efectuarse con mayor eficiencia. Los directivos de la Compañía pueden efectuar análisis personales sin necesidad de acceder a las bodegas de datos y/o a la red de servidores.

26 Aplicación Práctica Una vez que se constató la efectividad del método propuesto, la determinación y uso de la muestra óptima se pusieron a prueba, a nivel internacional, durante 6 meses. Debido a los resultados positivos obtenidos, esta estrategia se adoptó como un estándar en la Compañía.

27 Conclusiones La generación de Big Data es un proceso irreversible. Las tecnologías de punta irán siendo remplazadas conforme los volúmenes de datos se hagan cada vez mayores. Una alternativa interesante consiste en identificar la información valiosa cuando la toma de decisiones estratégicas así lo amerite.

28 Conclusiones Al identificar solamente la información valiosa, es posible eficientar los procesos de manejo de información. Claramente, los detalles puntuales dejan de estar al acceso de los tomadores de decisiones. Típicamente estos detalles no influyen en el establecimiento de políticas de información. Como un beneficio adicional, se evitan problemas asociados a la confidencialidad y la privacía que subyacen a Big Data y se reduce el efecto Big Brother.