MINERÍA DE DATOS: ÁREA DE OPORTUNIDADES

Transcripción

1 MINERÍA DE DATOS: ÁREA DE OPORTUNIDADES Actualmente se vive una época donde se tiene una enorme cantidad de datos que se generan diariamente (del orden de Terabytes, Petabytes 1 (Han, Kamber, & Pei, 2012)) ya sea en forma consciente o inconsciente, por ejemplo cuando se registra la entrada al entorno laboral, cuando se consulta el correo electrónico, cuando se paga algún bien o servicio por medio de una tarjeta bancaria, cuando se hace la reservación para algún espectáculo, cuando se conduce por una vía donde se contabilizan los autos que pasan por minuto, cuando se le da seguimiento a la navegación realizada por Internet o bien cuando se obtiene una imagen del rostro sin darse cuenta al momento de transitar por lugares donde se requiere mayor seguridad como puede ser un aeropuerto u oficina gubernamental. Todos estos datos se encuentran dispersos en redes de computadoras corporativas, la web, dispositivos de almacenamiento de datos entre otros, producto de las actividades de las empresas, sociedad, gobierno, medicina, etc. Los negocios a nivel mundial crean gigantescos conjuntos de datos, conteniendo transacciones de ventas, registros de inventarios, descripciones de productos, promociones de ventas, perfiles y rendimiento de la compañía, retroalimentación de los clientes por citar algunos ejemplos. La industria médica mantiene los expedientes de los pacientes, servicios de monitoreo preventivo de signos vitales, imágenes de estudios además de la propia investigación del área. Las comunidades y medios sociales se han convertido en importantes fuentes de 1 Unidades de capacidad de almacenamiento. En términos generales, Un Terabyte son mil Gigabytes y Un Petabyte son mil Terabytes o un millón de Gigabytes.

2 datos tales como fotografías digitales, videos, blogs y toda clase de contenido en las redes sociales. La información se ha convertido en pieza clave para obtener una ventaja competitiva en el mundo de los negocios. Se debe tener acceso a dicha información no solo de manera rápida sino también en un formato claro y entendible por los tomadores de decisiones. Herramientas poderosas y versátiles se han vuelto muy necesarias dado que se ha excedido la capacidad humana para descubrir automáticamente información de valor a partir de la tremenda cantidad de datos y transformarlos en conocimiento organizado. Esta necesidad ha permitido el nacimiento de la Minería de Datos. La abundancia de datos, aunado con la necesidad de poderosas herramientas de análisis de datos ha sido descrita como una situación rica en datos pero pobre en información (Han & Kamber, Data Mining. Concepts and Techniques, 2006). Cuando se toma una decisión importante, normalmente no se realiza basada en información rica que puede encontrarse en los grandes almacenes de datos sino en la intuición del tomador de la decisión debido a la carencia de herramientas para extraer conocimiento de valor de esos almacenes de datos que se han generado con el día a día. Esto ha detonado el desarrollo de herramientas de minería de datos que pueden transformar los enormes contenedores de datos en pepitas de oro de conocimiento. Antes de continuar, se verán algunas definiciones sobre la minería de datos que algunos autores o empresas han propuesto.

3 Conceptos de Minería de Datos La minería de datos (Pérez López & Santín González, 2007) es el proceso del descubrimiento de nuevas y significativas relaciones, patrones y tendencias al examinar grandes cantidades de datos. La minería de datos (Fayyad, Piatetsky-Shapiro, & Smyth, 1996) es la aplicación de algoritmos específicos para extraer patrones de datos. La minería de datos (Microsoft Corporation, 2012) es el proceso de detectar la información procesable de los conjuntos grandes de datos. Utiliza el análisis matemático para deducir los patrones y tendencias que existen en los datos. Normalmente, estos patrones no se pueden detectar mediante la exploración tradicional de los datos porque las relaciones son demasiado complejas o porque hay demasiados de ellos. Algunos términos tienen un significado similar a la minería de datos, motivo por el cual también se les puede encontrar en bibliografía como sinónimos, por ejemplo, Minería de conocimiento de datos, Extracción de conocimiento, Análisis de datos/patrones, Arqueología de datos y dragado de datos (Han & Kamber, Data Mining. Concepts and Techniques, 2006). Esto ha provocado confusión acerca del significado de los términos Minería de datos y Descubrimiento de conocimiento en Bases de Datos (KDD por sus siglas en inglés), KDD fue propuesto en 1995 (Sumathi & Sivanandam, 2006) para describir el proceso completo de extracción de conocimiento de datos. En este contexto, conocimiento significa relaciones y patrones entre los diferentes datos existentes. Minería de datos debe ser usado exclusivamente para la etapa

4 de descubrimiento del proceso KDD, sin embargo, comercialmente suelen emplearse ambos conceptos como sinónimos o de manera indistinta tal como será tratado en el presente escrito, dándole un enfoque amplio. La minería de datos como proceso Sin intentar cubrir todos los enfoques o puntos de vista, el proceso de descubrimiento de conocimiento es una secuencia iterativa que comprende los pasos siguientes (ver Fig. 1): 1. Limpieza de los datos. Se deben remover los datos inconsistentes, es decir, aquellos que aun siendo los mismos pueden hacer referencia a distintas cosas. 2. Integración de datos. Múltiples fuentes de datos pueden ser combinadas. 3. Selección de datos. Se recuperan los datos relevantes para su análisis posterior. 4. Transformación de datos. Los datos son transformados y consolidados en formas apropiadas para las operaciones de resumen y agregación. 5. Minería de datos. Proceso esencial donde métodos inteligentes son aplicados para extraer patrones o modelos entre los datos. 6. Evaluación de los patrones o modelos. Identificar los patrones o modelos realmente interesantes que representan conocimiento, basados en medidas de interés. 7. Presentación del conocimiento. Técnicas de representación de conocimiento y visualización son empleadas para presentar el conocimiento minado a los usuarios.

5 Fig. 1. Minería de Datos en el proceso de Descubrimiento de Conocimiento (Han, Kamber, & Pei, 2012) Este proceso puede ser aplicado sobre diferentes orígenes de datos (bases de datos, datawarehouses, la web, otros repositorios de información o datos que son enviados al sistema en forma dinámica en tiempo real) y sobre diversos tipos de datos (flujos continuos, datos ordenados o en secuencia, datos gráficos, datos espaciales, texto, multimedia entre otros). Los elementos (como soporte o protagonistas) que hacen posible la minería de datos han estado bajo desarrollo por muchos años en áreas de investigación como Estadística, Sistemas de Información/Bases de Datos, Computación Paralela/Distribuida, Interfaces de Lenguaje Natural a Bases de Datos, Inteligencia Artificial y Aprendizaje de Máquinas. Con el apoyo de estas áreas, se puede

6 producir cinco tipos de información: Asociaciones, Secuencias, Clasificaciones, Agrupamientos y Pronósticos. Esta información se obtiene más específicamente de un conjunto de técnicas, las cuales se puede agrupar según se muestra en la fig. 2 (Pérez López & Santín González, 2007). Regresión Predictivas Análisis de la varianza Series temporales Métodos bayesianos Algoritmos genéticos Clasificación ad hoc Discriminante Árboles de decisión Redes neuronales Técnicas Descriptivas Clasificación post hoc Asociación Dependenci a Reducción de la dimensión Análisis exploratorio Escalamiento multidimensional Clustering Segmentación Técnicas auxiliares (Verificación ) Proceso Análitico de Transacciones (OLTP) SQL y herramientas de consulta Reporting Fig. 2. Clasificación de las técnicas de Data Mining. Las técnicas predictivas, como su nombre lo indica predicen el valor de un atributo de un conjunto de datos a partir de otros valores ya conocidos, induciendo una relación entre ellos. Esta modalidad se conoce como aprendizaje supervisado y se

7 genera en dos fases: Entrenamiento y Prueba. Cuando una aplicación no es lo suficientemente madura no tiene el potencial necesario para una solución predictiva, entonces se debe recurrir a los métodos no supervisados o del descubrimiento del conocimiento (técnicas descriptivas) que descubren patrones y tendencias en los datos actuales (no utilizan datos históricos). Las técnicas auxiliares son herramientas de apoyo más superficiales y limitadas, empleadas normalmente para propósitos de verificación de los resultados obtenidos con las otras técnicas (predictivas o descriptivas). En un tratado posterior se dará mayor énfasis a cada tipo de técnica. Aplicaciones de la Minería de Datos Es crítico para los negocios tener un claro entendimiento del contexto comercial (clientes, mercado, proveedores, recursos, competencia, etc.) de cada organización. Las tecnologías de Inteligencia de Negocios (BI por sus siglas en inglés) proporcionan información histórica, actual y posibles proyecciones de las operaciones del negocio, en formato de reportes, procesamiento analítico en línea (OLAP por sus siglas en inglés), administración del comportamiento del negocio, inteligencia competitiva, benchmarking y análisis predictivo. Sin la minería de datos muchas empresas no pudieran ser capaces de hacer un análisis efectivo del mercado, analizar la retroalimentación de los clientes sobre los productos o servicios, descubrir las fortalezas y debilidades de los competidores, retener a los clientes más rentables y tomar decisiones de negocio más inteligentes. Las técnicas de clasificación y predicción se emplean frecuentemente en BI, mientras que las técnicas de clustering juegan un rol central en los sistemas de

8 Administración de la Relación con el Cliente (CRM por sus siglas en inglés) para agruparlos y desarrollar programas de recompensa de acuerdo a las características de cada grupo. A continuación se presentan algunas de las situaciones donde la minería de datos ha tenido presencia en forma satisfactoria (Hernández Orallo, Ramirez Quintana, & Ferri Ramírez, 2004) Tabla 1. Aplicaciones de la Minería de Datos Área de Aplicación Problemas Tipo Comercio/Marketing Identificar patrones de compra de los clientes. Buscar asociaciones entre clientes y características demográficas. Predecir respuesta a campañas de mailing. Análisis de la canasta de compra. Banca Detectar patrones de uso fraudulento de tarjetas de crédito. Identificar clientes leales. Predecir clientes con probabilidad de cambiar su afiliación. Determinar gasto en tarjeta de crédito por grupos. Encontrar correlaciones entre indicadores financieros. Identificar reglas de mercado de valores a partir de históricos. Seguros y Salud Privada Análisis de procedimientos médicos solicitados conjuntamente. Predecir qué clientes compran nuevas pólizas. Identificar patrones de comportamiento para

9 clientes con riesgo. Identificar comportamiento fraudulento. Transportes Determinar la planificación de la distribución entre tiendas. Analizar patrones de carga. Medicina Identificación de terapias médicas satisfactorias para diferentes enfermedades. Asociación de síntomas y clasificación diferencial de patologías. Estudio de factores (genéticos, precedentes, hábitos, alimenticios, etc.) de riesgo/salud en distintas patologías. Segmentación de pacientes para una atención más inteligente según su grupo. Predicciones temporales de los centros asistenciales para el mejor uso de recursos, consultas, salas y habitaciones. Estudios epidemiológicos, análisis de rendimientos de campañas de información, prevención, sustitución de fármacos, etc. Procesos industriales Extracción de modelos sobre comportamiento de compuestos. Detección de piezas con trabas. Predicción de fallos Modelos de calidad. Estimación de composiciones óptimas en mezclas. Extracción de modelos de coste. Extracción de modelos de producción.

10 Simulación costes/beneficios según niveles de calidad. Gracias a las innovaciones tecnológicas que se van presentando actualmente, no se descartan escenarios donde la minería de datos sea tan común y fácil de usar como el correo electrónico, sistemas que puedan revelar nuevos tratamientos para enfermedades o nuevas perspectivas sobre la concepción del universo solo por mencionar algunos ejemplos. Sin embargo, aun existen situaciones en las cuales la investigación en minería de datos se encuentra trabajando arduamente, las cuales se pueden clasificar en los cinco grupos siguentes(han, Kamber, & Pei, Data Mining. Concepts and Techniques, 2012): Metodología de la minería. Los investigadores han estado desarrollando nuevas metodologías de minería de datos que involucra la investigación de nuevos tipos de conocimientos, minería en espacios multidimensionales, integración de métodos de otras disciplinas. Además se debe considerar la incertidumbre, el ruido y la incompletud de los datos. Interacción con el usuario. En este sentido se investiga cómo interactuar con un sistema de minería de datos, cómo incorporar el conocimiento previo del usuario en la minería y cómo visualizar y comprender los resultados de la minería de datos. Eficiencia y escalabilidad. Estos aspectos debe ser considerados cuando se realizan las comparaciones entre las diferentes propuestas para nuevos algoritmos o técnicas de minería de datos.

11 Diversidad de tipos de datos. La amplia variedad de tipos de bases de datos trae consigo retos a la minería de datos dado que se tienen datos estructurados, semi estructurados y no estructurados tales como flujos de datos dinámicos, secuencias biológicas, datos de sensores, datos espaciales, hipertexto, multimedia, etc. Minería de datos y sociedad. La divulgación o uso inapropiado de la información y la potencial violación a la privacidad así como a los derechos de protección de datos son áreas de interés que deben ser consideradas. Conclusión La minería de datos es todo un proceso que involucra varias tecnologías que dan un tratamiento a todos los datos históricos que se van generando día con día. Como resultado, proporciona conocimiento que a simple vista no puede identificarse con las herramientas normales de trabajo y que puede ser utilizado para tomar decisiones más inteligentes enfocadas a objetivos bien definidos que pueden generar una ventaja competitiva para las empresas y nuevas oportunidades para desarrollo tecnológico. Bibliografía Fayyad, U., Piatetsky-Shapiro, G., & Smyth, P. (1996). From Data Mining to Knowledge Discovery in Databases. AI Magazine, Han, J., & Kamber, M. (2006). Data Mining. Concepts and Techniques. Morgan Kaufmann Publishers. Han, J., Kamber, M., & Pei, J. (2012). Data Mining. Concepts and Techniques. Morgan Kaufmann.

12 Hernández Orallo, J., Ramirez Quintana, M. J., & Ferri Ramírez, C. (2004). Introducción a la Minería de Datos. Madrid: Pearson. Microsoft Corporation. (2012). Conceptos de Mineria de Datos. SQL Server Retrieved Abril 5, 2012, from MSDN: Pérez López, C., & Santín González, D. (2007). Minería de Datos. Técnicas y Herramientas. Madrid: Thomson. Sumathi, S., & Sivanandam, S. (2006). Introduction to Data Mining and its Applications. Berlin: Springer.