Inteligencia de Negocios. DataMining DataWareHouse y Cubos Olap

Transcripción

1 Inteligencia de Negocios DataMining DataWareHouse y Cubos Olap Copyright 2012 [Instituto Gala] Reservados todos los derechos. 1

2 Índice Definición... 4 Historia... 5 Características... 5 Niveles de realización de BI Inteligencia de Empresas... 7 Proceso Protocolo de un proyecto de minería de datos Negocios de Data Mining Comportamiento en Internet Terrorismo Juegos Ciencia e Ingeniería Minería de datos y otras disciplinas análogas De la estadística De la informática Minería de datos basada en teoría de la información Tendencias Herramientas de software Data Mart Dependencia de un data mart Conceptos erróneos de los Data Marts DATA WAREHOUSE VS. DATA MART Definición de ETL Proceso de Extracción con Software ETL Proceso de Transformación con una Herramienta ETL Proceso de Carga con Software de ETL Procesamiento en Herramientas ETL Desafíos para los procesos y Herramientas de ETL Copyright 2012 [Instituto Gala] Reservados todos los derechos. 2

3 Algunas Herramientas ETL Desafíos Cubo OLAP Un ejemplo Dimensiones y jerarquías Dispersión en cubos OLAP Acceso y cálculo de un cubo OLAP Definición técnica Funcionalidad Tipos de sistemas OLAP ROLAP MOLAP HOLAP (Hybrid OLAP) Comparación Otros tipos Pasos para extraer información del cubo OLAP en Analysis Services y SQL Server Business Intelligence Development Studio Creando una Dimensión de tiempo en SQL Server Analysis Services Copyright 2012 [Instituto Gala] Reservados todos los derechos. 3

4 Business Intelligence Desafortunadamente, este término no tiene nada que ver con el índice de inteligencia medio de las personas que trabajan en un determinado negocio. De hecho, (BI) tiene que ver con los datos y aplicaciones de un negocio para entenderse mejor. Semejante a la inteligencia militar, que procura entender al enemigo, la inteligencia de negocio versa sobre todo alrededor de si mismo. Específicamente, los sistemas de la inteligencia de negocio se basan en crear modelos informáticos de negocio de modo que pueda funcionar más eficientemente. El almacenamiento de los datos está en la base de los procesos de la inteligencia de negocio. En el mundo de ETL (Extract Transform Load), la inteligencia de negocio se refiere generalmente al espacio entero de los sistemas de la base de datos, del software, del análisis, y de la evaluación del usuario que pretende entender y evaluar un negocio. Definición El término inteligencia empresarial se refiere al uso de datos en una empresa para facilitar la toma de decisiones. Abarca la comprensión del funcionamiento actual de la empresa, bien como la anticipación de acontecimientos futuros, con el objetivo de ofrecer conocimientos para respaldar las decisiones empresariales. Las herramientas de inteligencia se basan en la utilización de un sistema de información de inteligencia que se forma con distintos datos extraídos de los datos de producción, con información relacionada con la empresa o sus ámbitos y con datos económicos. Mediante las herramientas y técnicas ELT (extraer, cargar y transformar), o actualmente ETL (extraer, transformar y cargar) se extraen los datos de distintas fuentes, se depuran y preparan (homogeneización de los datos) para luego cargarlos en un almacén de datos. La vida o el periodo de éxito de un software de inteligencia de negocios dependerá únicamente del éxito de su uso en beneficio de la empresa; si esta empresa es capaz de incrementar su nivel financiero, administrativo y sus decisiones mejoran la actuación de la empresa, el software de inteligencia de negocios seguirá Copyright 2012 [Instituto Gala] Reservados todos los derechos. 4

5 presente mucho tiempo, en caso contrario será sustituido por otro que aporte mejores y más precisos resultados. Por último, las herramientas de inteligencia analítica posibilitan el modelado de las representaciones basadas en consultas para crear un cuadro de mando integral que sirve de base para la presentación de informes. Historia En un artículo de 1958, el investigador de IBM Hans Peter Luhn utiliza el término Inteligencia de Negocio. Se define la inteligencia como: " La capacidad de comprender las interrelaciones de los hechos presentados en tal forma como para orientar la acción hacia una meta deseada". La inteligencia de negocios, tal como se entiende, hoy en día se dice que ha evolucionado desde los sistemas de apoyo a las decisiones que se inició en la década de 1960 y desarrollado a lo largo de mediados de los años 80. DSS se originó en los modelos por computadora, creado para ayudar en la toma de decisiones y la planificación. Desde DSS, data warehouses, sistemas de información ejecutiva, OLAP e inteligencia de negocios entraron en principio centrándose a finales de los años 80. En 1989, Howard Dresner (más tarde, un analista de Gartner Group) propuso la "inteligencia de negocios" como un término general para describir "los conceptos y métodos para mejorar la toma de decisiones empresariales mediante el uso de sistemas basados en hechos de apoyo". No fue hasta finales de 1990 que este uso estaba muy extendido. Características Este conjunto de herramientas y metodologías tienen en común las siguientes características: Accesibilidad a la información. Los datos son la fuente principal de este concepto. Lo primero que deben garantizar este tipo de herramientas y técnicas será el acceso de los usuarios a los datos con independencia de la procedencia de estos. Apoyo en la toma de decisiones. Se busca ir más allá en la presentación de la información, de manera que los usuarios tengan acceso a herramientas de análisis que les permitan seleccionar y manipular sólo aquellos datos que les interesen. Copyright 2012 [Instituto Gala] Reservados todos los derechos. 5

6 Orientación al usuario final. Se busca independencia entre los conocimientos técnicos de los usuarios y su capacidad para utilizar estas herramientas. Niveles de realización de BI De acuerdo a su nivel de complejidad se pueden clasificar las soluciones de Business Intelligence en: Reportes Reportes predefinidos Reportes a la medida Consultas ("Query") / Cubos OLAP (On-Line Analytic Processing). Alertas Análisis Análisis estadístico Pronósticos ("Forecasting") Modelado Predictivo o Minería de datos ("Data Mining") Optimización Minería de Procesos Copyright 2012 [Instituto Gala] Reservados todos los derechos. 6

7 Inteligencia de Empresas La Inteligencia de Empresas es el concepto más amplio del uso de la inteligencia en las organizaciones. Desde distintas perspectivas, la inteligencia de empresas ha ido emergiendo a partir de la contribución de muchas áreas del conocimiento: market intelligence (inteligencia de mercados), competitive intelligence (Inteligencia Competitiva), business intelligence (inteligencia empresarial). Este concepto ha sido muy utilizado en el mundo de la tecnología con distintos significados como inteligencia de negocios, strategic foresight (Inteligencia Estratégica), corporate intelligence (Inteligencia Corporativa), vigilancia tecnológica, prospectiva tecnológica, etc. Hay generalmente unos o más usos analíticos del software (por ejemplo, Business Objects, Cognos, o Microstrategy ). Copyright 2012 [Instituto Gala] Reservados todos los derechos. 7

8 Los sistemas del BI se diferencian de sistemas operacionales en que están optimizados para preguntar y divulgar sobre datos. Esto significa típicamente que, en un Datawarehouse, los datos están desnormalizados para apoyar preguntas de alto rendimiento, mientras que los sistemas operacionales generalmente se normalizan completamente para apoyar integridad de referencia y para insertar datos continuamente. Los procesos de ETL que cargan sistemas del BI tienen que traducir del sistema operacional normalizado a desnormalizado. Y, típicamente, tienen fallos severos de funcionamiento debido a que no deben degradar el funcionamiento de los sistemas operacionales, y no deben prohibir el acceso al almacén. Por eso surge el Business Intelligence, basado en nuevas estructuras de análisis, básicamente multidimensional, en contraste con el relacional. Cómo elegir una aplicación Business Intelligence? Lo primero que se puede decir es que tenemos que identificar cuales son las necesidades y el tipo de herramienta que se busca: análisis, reporting, base de datos, OLAP, etc... Los principales factores (sin orden de importancia) a tener en cuenta cuando elegimos una herramienta Business Intelligence: La Plataforma: No es lo mismo estar atados a Microsoft, o poder trabajar en Unix, o tener una estrategia Open Source Linux. Lo mismo aplica al hardware. Algunos fabricantes son restrictivos. El Curriculum del vendedor: Es muy útil conocer el tipo de implementaciones que se han hecho, si se han realizado en tiempo, si se utilizan, la satisfacción de usuarios, etc... El tamaño del cubo: Es imprescindible hacer un análisis previo de la amplitud de la información a almacenar. Algunas aplicaciones pueden 'explotar' llegado cierto nivel. La velocidad de consulta: Los usuarios siempre quieren velocidad en sus consultas. Y si 20 segundos de espera es mucho, quizás haya que buscar otra herramienta. Servicios de soporte y ayuda a nivel mundial: Tenemos que tener la seguridad de que si algo falla en la aplicación ( y fallará, esto es seguro) podamos resolverla en el menor tiempo posible. Copyright 2012 [Instituto Gala] Reservados todos los derechos. 8

9 Evaluaciones de analistas: Gartner, IDC saben de que hablan... y suelen ser objetivos. No está de más fijarse en sus 'cuadrantes'. El ecosistema del vendedor (consultores, partners, acuerdos, comunidad de desarrolladores ). Base instalada de usuarios. Si hay de mi sector mucho mejor. Si puedo hablar con ellos y ver la herramienta en vivo, todavía mejor. Graphical User Interface (GUI). Hay que recordar que hablamos de una herramienta para usuarios finales y si a éstos no les gusta, no la utilizarán y será dinero tirado. El precio: No tiene por qué ser lo más importante... pero... es importante!!! Integración con otras herramientas: Ninguna herramienta funciona como una isla aislada del resto. Lo mismo que una empresa, si creas islas, crearás incomunicación. Por qué fallan muchos proyectos Business Intelligence? A veces nos sorprende que con el desarrollo al que han llegado muchas herramientas, el uso de metodologías contrastadas y el mayor nivel desconocimiento de técnicos y usuarios, se produzcan tantos desastres en la implementación de soluciones Business Intelligence, en términos de exceso de coste sobre el previsto, no utilización por parte de los usuarios, no cumplir con las expectativas, información errónea, etc... En base a la experiencia estos son algunos de los principales fallos: Muchos Data Warehouses crecen en tamaño de forma desproporcionada porque los técnicos no consiguen decir 'no' a las 'excesivas' demandas de los usuarios. Se prefiere realizar el proyecto con gente de la propia empresa, cuando éstos no tienen ni tiempo, ni conocimientos para poder abarcarlo. Se fijan unas fechas de entrada en producción del sistema poco realistas, que provoca nuevas fechas y más retrasos. El presupuesto destinado para el proyecto es escaso en comparación con el grado de complejidad que se quiere desarrollar. La selección del software y hardware a veces se realiza siguiendo criterios de acuerdos generales o compromisos, antes que puramente técnicos. Antes del proyecto, no se realizan benchmarks o 'pruebas de concepto' para determinar la viabilidad. Copyright 2012 [Instituto Gala] Reservados todos los derechos. 9

10 Los datos de origen no están limpios. Duplicidades, errores, caracteres erróneos.. implican un proceso ETL más costoso, mayor tamaño de la Base de datos y peor rendimiento. El sponsor del proyecto no ejerce como tal durante el mismo. No 'baja a la tierra'. Mala elección de los consultores y excesiva rotación entre ellos. Escasa involucración de los usuarios finales que les lleva a sentir cierta frustración con los resultados obtenidos. Caer en el error de 'en informática todo se puede hacer' y empezar con customizaciones, escribir código fuera de las funcionalidades estándar. No alinear el proyecto dentro de una estrategia de negocio. Existen muchos más factores que pueden hacer fallar un proyecto Business Intelligence, pero éstos pueden hacer literalmente 'tumbarlo', no conseguir más proyectos para los consultores, mala imagen del producto y riesgos internos para el director de informática y otros sponsors. Los sistemas OLAP. Consejos para su correcto uso. Vamos a suponer que hemos realizado un análisis detallado de las necesidades de la empresa, se ha hablado con todos los interlocutores y usuarios, hemos identificado las necesidades de reporting y acceso, y finalmente, tenemos claro el modelo (que variables, formulas, dimensiones..) vamos a incluir. Es en este momento cuando nos planteamos la pregunta clave: Qué método de almacenamiento vamos a utilizar? Podemos tener todos los datos en nuestro sistema transaccional, que permite montarlo más rápido, pero puede ser menos eficiente. O podemos precalcular la información para que ésta se obtenga de forma rápida y exacta. Es una decisión muy importante, porque puede implicar mayor coste de mantenimiento y de licencias. Es aquí donde conviene aclarar estos acrónimos: OLAP es online analytical processing. Se trata de una forma de almacenar la información en una Base de Datos que permita realizar de forma más efectiva las queries. Es una definición abreviada, claro está, la realidad es más compleja. Copyright 2012 [Instituto Gala] Reservados todos los derechos. 10

11 MOLAP: Multidimensional OLAP. Tanto los datos fuente como los datos agregados o precalculados residen en el mismo formato multidimensional. Optimiza las queries, pero requiere más espacio de disco y diferente software. El primer punto esta dejando ser un problema: el espacio de disco cada vez es más barato. ROLAP: Relational OLAP. Tanto los datos precalculados y agregados como los datos fuente residen en la misma base de datos relacional. Si el DataWarehouse es muy grande o se necesita rapidez por parte de los usuarios puede ser un problema. HOLAP: Hybrid OLAP: Es una combinación de los dos anteriores. Los datos agregados y precalculados se almacenan en estructuras multidimensionales y los de menor nivel de detalle en el relacional. Requiere un buen trabajo de análisis para identificar cada tipo de dato. Desde un punto de vista práctico añadiremos algunas otras características de un sistema OLAP: - Debe ser rápido. No debe transcurrir mucho tiempo entre la necesidad de información y el resultado. - Debe tener un lenguaje funcional y de negocio. - Debe ser de manejo sencillo, con wizards y templates. - Debe poder integrar API. - Debe tener potentes posibilidades gráficas. - Debe utilizar mapas de forma habitual. - Posibilidad de almacenar y compartir los informes y cálculos creados por los usuarios. - La administración la deben llevar los usuarios, no IT. - El tiempo de implementación (proyecto) debe ser muy corto. - Deber generar respuestas medibles para la toma de decisiones. - Tenemos que ser capaces de obtener ROI con las aplicaciones OLAP. Como resumen final se puede decir los tres principales aspectos a cuidar son la elección de las personas que usaran las herramientas, de quienes llevan el mando en el proyecto y de los consultores externos. Copyright 2012 [Instituto Gala] Reservados todos los derechos. 11

12 Además de todo esto, el sistema debe estar dentro de una estrategia de negocio clara a medio y largo plazo, para evitar soluciones parche y gastos innecesarios. BI persigue la transformación de los datos de la compañía en conocimiento para obtener una ventaja competitiva. Qué: conjunto de metodologías, aplicaciones y tecnologías. Cómo: reuniendo, depurando y transformando datos de los sistemas transaccionales e información desestructurada (interna y externa a la compañía) en información estructurada. Para qué: para su explotación directa (informes, análisis OLAP...) o para su análisis y conversión en conocimiento soporte a la toma de decisiones sobre el negocio. Copyright 2012 [Instituto Gala] Reservados todos los derechos. 12

13 DATAMINING Descubriendo Información Oculta Data Mining, la extracción de información oculta y predecible de grandes bases de datos, es una poderosa tecnología nueva con gran potencial para ayudar a las compañías a concentrarse en la información más importante de sus Bases de Información (Data Warehouse). Las herramientas de Data Mining predicen futuras tendencias y comportamientos, permitiendo en los negocios tomar decisiones proactivas y conducidas por un conocimiento acabado de la información (knowledge-driven). Los análisis prospectivos automatizados ofrecidos por un producto así van más allá de los eventos pasados provistos por herramientas retrospectivas típicas de sistemas de soporte de decisión. Las herramientas de Data Mining pueden responder a preguntas de negocios que tradicionalmente consumen demasiado tiempo para poder ser resueltas y a los cuales los usuarios de esta información casi no están dispuestos a aceptar. Estas herramientas exploran las bases de datos en busca de patrones ocultos, encontrando información predecible que un experto no puede llegar a encontrar porque se encuentra fuera de sus expectativas. Muchas compañías ya colectan y refinan cantidades masivas de datos. Las técnicas de Data Mining pueden ser implementadas rápidamente en plataformas ya existentes de software y hardware para acrecentar el valor de las fuentes de información existentes y pueden ser integradas con nuevos Copyright 2012 [Instituto Gala] Reservados todos los derechos. 13

14 productos y sistemas pues son traídas en línea (on-line). Una vez que las herramientas de Data Mining fueron implementadas en computadoras cliente servidor de alta performance o de procesamiento paralelo, pueden analizar bases de datos masivas para brindar respuesta a preguntas tales como, " Cuáles clientes tienen más probabilidad de responder al próximo mailing promocional, y por qué? y presentar los resultados en formas de tablas, con gráficos, reportes, texto, hipertexto, etc. Conceptos e Historia Aunque desde un punto de vista académico el término data mining es una etapa dentro de un proceso mayor llamado extracción de conocimiento en bases de datos (Knowledge Discovery in Databases o KDD) en el entorno comercial, así como en este trabajo, ambos términos se usan de manera indistinta. Lo que en verdad hace el data mining es reunir las ventajas de varias áreas como la Estadística, la Inteligencia Artificial, la Computación Gráfica, las Bases de Datos y el Procesamiento Masivo, principalmente usando como materia prima las bases de datos. Una definición tradicional es la siguiente: "Un proceso no trivial de identificación válida, novedosa, potencialmente útil y entendible de patrones comprensibles que se encuentran ocultos en los datos" (Fayyad y otros, 1996). Desde nuestro punto de vista, lo definimos como "la integración de un conjunto de áreas que tienen como propósito la identificación de un conocimiento obtenido a partir de las bases de datos que aporten un sesgo hacia la toma de decisión" (Molina y otros, 2001). La idea de data mining no es nueva. Ya desde los años sesenta los estadísticos manejaban términos como data fishing, data mining o data archaeology con la idea de encontrar correlaciones sin una hipótesis previa en bases de datos con ruido. A principios de los años ochenta, Rakesh Agrawal, Gio Wiederhold, Robert Blum y Gregory Piatetsky-Shapiro, entre otros, empezaron a consolidar los términos de data mining y KDD. [3] A finales de los años ochenta sólo existían un par de empresas dedicadas a esta tecnología; en 2002 existen más de 100 empresas en el mundo que ofrecen alrededor de 300 soluciones. Las listas de discusión sobre este tema las forman investigadores de más de ochenta países. Esta tecnología ha sido un buen punto de encuentro entre personas pertenecientes al ámbito académico y al de los negocios. El data mining es una tecnología compuesta por etapas que integra varias áreas y que no se debe confundir con un gran software. Durante el desarrollo de un Copyright 2012 [Instituto Gala] Reservados todos los derechos. 14

15 proyecto de este tipo se usan diferentes aplicaciones software en cada etapa que pueden ser estadísticas, de visualización de datos o de inteligencia artificial, principalmente. Actualmente existen aplicaciones o herramientas comerciales de data mining muy poderosas que contienen un sinfín de utilerías que facilitan el desarrollo de un proyecto. Sin embargo, casi siempre acaban complementándose con otra herramienta. Los Fundamentos del Data Mining Las técnicas de Data Mining son el resultado de un largo proceso de investigación y desarrollo de productos. Esta evolución comenzó cuando los datos de negocios fueron almacenados por primera vez en computadoras, y continuó con mejoras en el acceso a los datos, y más recientemente con tecnologías generadas para permitir a los usuarios navegar a través de los datos en tiempo real. Data Mining toma este proceso de evolución más allá del acceso y navegación retrospectiva de los datos, hacia la entrega de información prospectiva y proactiva. Data Mining está listo para su aplicación en la comunidad de negocios porque está soportado por tres tecnologías que ya están suficientemente maduras: Recolección masiva de datos Potentes computadoras con multiprocesadores Algoritmos de Data Mining La necesidad paralela de motores computacionales mejorados puede ahora alcanzarse de forma más costo - efectiva con tecnología de computadoras con multiprocesamiento paralelo. Los algoritmos de Data Mining utilizan técnicas que han existido por lo menos desde hace 10 años, pero que sólo han sido implementadas recientemente como herramientas maduras, confiables, entendibles que consistentemente son más performantes que métodos estadísticos clásicos. En la evolución desde los datos de negocios a información de negocios, cada nuevo paso se basa en el previo. Por ejemplo, el acceso a datos dinámicos es crítico para las aplicaciones de navegación de datos (drill through applications), y la habilidad para almacenar grandes bases de datos es crítica para Data Mining. Los componentes esenciales de la tecnología de Data Mining han estado bajo desarrollo por décadas, en áreas de investigación como estadísticas, inteligencia artificial y aprendizaje de máquinas. Hoy, la madurez de estas técnicas, junto con los motores de bases de datos relacionales de alta performance, hicieron que estas tecnologías fueran prácticas para los entornos de data warehouse actuales. El Alcance de Data Mining Copyright 2012 [Instituto Gala] Reservados todos los derechos. 15

16 El nombre de Data Mining deriva de las similitudes entre buscar valiosa información de negocios en grandes bases de datos - por ej.: encontrar información de la venta de un producto entre grandes montos de Gigabytes almacenados - y minar una montaña para encontrar una veta de metales valiosos. Ambos procesos requieren examinar una inmensa cantidad de material, o investigar inteligentemente hasta encontrar exactamente donde residen los valores. Dadas bases de datos de suficiente tamaño y calidad, la tecnología de Data Mining puede generar nuevas oportunidades de negocios al proveer estas capacidades: Predicción automatizada de tendencias y comportamientos. Data Mining automatiza el proceso de encontrar información predecible en grandes bases de datos. Preguntas que tradicionalmente requerían un intenso análisis manual, ahora pueden ser contestadas directa y rápidamente desde los datos. Un típico ejemplo de problema predecible es el marketing apuntado a objetivos (targeted marketing). Data Mining usa datos en mailing promocionales anteriores para identificar posibles objetivos para maximizar los resultados de la inversión en futuros mailing. Otros problemas predecibles incluyen pronósticos de problemas financieros futuros y otras formas de incumplimiento, e identificar segmentos de población que probablemente respondan similarmente a eventos dados. Descubrimiento automatizado de modelos previamente desconocidos. Las herramientas de Data Mining barren las bases de datos e identifican modelos previamente escondidos en un sólo paso. Otros problemas de descubrimiento de modelos incluye detectar transacciones fraudulentas de tarjetas de créditos e identificar datos anormales que pueden representar errores de tipeado en la carga de datos. Las técnicas de Data Mining pueden redituar los beneficios de automatización en las plataformas de hardware y software existentes y puede ser implementadas en sistemas nuevos a medida que las plataformas existentes se actualicen y nuevos productos sean desarrollados. Cuando las herramientas de Data Mining son implementadas en sistemas de procesamiento paralelo de alta performance, pueden analizar bases de datos masivas en minutos. Procesamiento más rápido significa que los usuarios pueden automáticamente experimentar con más modelos para entender datos complejos. Alta velocidad hace que sea práctico para los usuarios analizar inmensas cantidades de datos. Grandes bases de datos, a su vez, producen mejores predicciones. Las bases de datos pueden ser grandes tanto en profundidad como en ancho: Más columnas. Los analistas muchas veces deben limitar el número de variables a examinar cuando realizan análisis manuales debido a limitaciones de tiempo. Sin embargo, variables que son descartadas porque Copyright 2012 [Instituto Gala] Reservados todos los derechos. 16

17 parecen sin importancia pueden proveer información acerca de modelos desconocidos. Un Data Mining de alto rendimiento permite a los usuarios explorar toda la base de datos, sin preseleccionar un subconjunto de variables. Más filas. Muestras mayores producen menos errores de estimación y desvíos, y permite a los usuarios hacer inferencias acerca de pequeños pero importantes segmentos de población. Proceso Un proceso típico de minería de datos consta de los siguientes pasos generales: 1. Selección del conjunto de datos, tanto en lo que se refiere a las variables objetivo (aquellas que se quiere predecir, calcular o inferir), como a las variables independientes (las que sirven para hacer el cálculo o proceso), como posiblemente al muestreo de los registros disponibles. 2. Análisis de las propiedades de los datos, en especial los histogramas, diagramas de dispersión, presencia de valores atípicos y ausencia de datos (valores nulos). 3. Transformación del conjunto de datos de entrada, se realizará de diversas formas en función del análisis previo, con el objetivo de prepararlo para aplicar la técnica de minería de datos que mejor se adapte a los datos y al problema, a este paso también se le conoce como preprocesamiento de los datos. 4. Seleccionar y aplicar la técnica de minería de datos, se construye el modelo predictivo, de clasificación o segmentación. 5. Extracción de conocimiento, mediante una técnica de minería de datos, se obtiene un modelo de conocimiento, que representa patrones de comportamiento observados en los valores de las variables del problema o relaciones de asociación entre dichas variables. También pueden usarse varias técnicas a la vez para generar distintos modelos, aunque generalmente cada técnica obliga a un preprocesado diferente de los datos. Copyright 2012 [Instituto Gala] Reservados todos los derechos. 17

18 6. Interpretación y evaluación de datos, una vez obtenido el modelo, se debe proceder a su validación comprobando que las conclusiones que arroja son válidas y suficientemente satisfactorias. En el caso de haber obtenido varios modelos mediante el uso de distintas técnicas, se deben comparar los modelos en busca de aquel que se ajuste mejor al problema. Si ninguno de los modelos alcanza los resultados esperados, debe alterarse alguno de los pasos anteriores para generar nuevos modelos. Si el modelo final no superara esta evaluación el proceso se podría repetir desde el principio o, si el experto lo considera oportuno, a partir de cualquiera de los pasos anteriores. Esta retroalimentación se podrá repetir cuantas veces se considere necesario hasta obtener un modelo válido. Una vez validado el modelo, si resulta ser aceptable (proporciona salidas adecuadas y/o con márgenes de error admisibles) éste ya está listo para su explotación. Los modelos obtenidos por técnicas de minería de datos se aplican incorporándolos en los sistemas de análisis de información de las organizaciones, e incluso, en los sistemas transaccionales. En este sentido cabe destacar los esfuerzos del Data Mining Group, que está estandarizando el lenguaje PMML (Predictive Model Markup Language), de manera que los modelos de minería de datos sean interoperables en distintas plataformas, con independencia del sistema con el que han sido construidos. Los principales fabricantes de sistemas de bases de datos y programas de análisis de la información hacen uso de este estándar. Tradicionalmente, las técnicas de minería de datos se aplicaban sobre información contenida en almacenes de datos. De hecho, muchas grandes empresas e instituciones han creado y alimentan bases de datos especialmente diseñadas para proyectos de minería de datos en las que centralizan información potencialmente útil de todas sus áreas de negocio. No obstante, actualmente está cobrando una importancia cada vez mayor la minería de datos desestructurados como información contenida en ficheros de texto, en Internet, etc. Protocolo de un proyecto de minería de datos Un proyecto de minería de datos tiene varias fases necesarias que son, esencialmente: Copyright 2012 [Instituto Gala] Reservados todos los derechos. 18

19 Comprensión del negocio y del problema que se quiere resolver. Determinación, obtención y limpieza de los datos necesarios. Creación de modelos matemáticos. Validación, comunicación, etc. de los resultados obtenidos. Integración, si procede, de los resultados en un sistema transaccional o similar. La relación entre todas estas fases sólo es lineal sobre el papel. En realidad, es mucho más compleja y esconde toda una jerarquía de subfases. A través de la experiencia acumulada en proyectos de minería de datos se han ido desarrollando metodologías que permiten gestionar esta complejidad de una manera más o menos uniforme. Las técnicas más comúnmente usadas en Data Mining son: Redes neuronales artificiales: modelos predecible no-lineales que aprenden a través del entrenamiento y semejan la estructura de red neuronal biológica. Arboles de decisión: estructuras de forma de árbol que representan conjuntos de decisiones. Estas decisiones generan reglas para la clasificación de un conjunto de datos. Métodos específicos de árboles de decisión incluyen Arboles de Clasificación y Regresión (CART: Classification And Regression Tree) y Detección de Interacción Automática de Chi Cuadrado (CHAI: Chi Square Automatic Interaction Detection) Algoritmos genéticos: técnicas de optimización que usan procesos tales como combinaciones genéticas, mutaciones y selección natural en un diseño basado en los conceptos de evolución. Método del vecino más cercano: una técnica que clasifica cada registro en un conjunto de datos basado en una combinación de las clases del/de Copyright 2012 [Instituto Gala] Reservados todos los derechos. 19

20 los k registro (s) más similar/es a él en un conjunto de datos históricos (donde k 1). Algunas veces se llama la técnica del vecino k-más cercano. Regla de inducción: la extracción de reglas if-then de datos basados en significado estadístico. Muchas de estas tecnologías han estado en uso por más de una década en herramientas de análisis especializadas que trabajan con volúmenes de datos relativamente pequeños. Estas capacidades están ahora evolucionando para integrarse directamente con herramientas OLAP y de Data Warehousing. Cómo Trabaja el Data Mining? Cuán exactamente es capaz Data Mining de decirle cosas importantes se desconocen o que van a pasar? La técnica usada para realizar estas hazañas en Data Mining se llama Modelado. Modelado es simplemente el acto de construir un modelo en una situación donde usted conoce la respuesta y luego la aplica en otra situación de la cual desconoce la respuesta. Por ejemplo, si busca un galeón español hundido en los mares lo primero que podría hacer es investigar otros tesoros españoles que ya fueron encontrados en el pasado. Notaría que esos barcos frecuentemente fueron encontrados fuera de las costas de Bermuda y que hay ciertas características respecto de las corrientes oceánicas y ciertas rutas que probablemente tomara el capitán del barco en esa época. Usted nota esas similitudes y arma un modelo que incluye las características comunes a todos los sitios de estos tesoros hundidos. Con estos modelos en mano sale a buscar el tesoro donde el modelo indica que en el pasado hubo más probabilidad de darse una situación similar. Con un poco de esperanza, si tiene un buen modelo, probablemente encontrará el tesoro. Este acto de construcción de un modelo es algo que la gente ha estado haciendo desde hace mucho tiempo, seguramente desde antes del auge de las computadoras y de la tecnología de Data Mining. Lo que ocurre en las computadoras, no es muy diferente de la manera en que la gente construye modelos. Las computadoras son cargadas con mucha información acerca de una variedad de situaciones donde una respuesta es conocida y luego el software de Data Mining en la computadora debe correr a través de los datos y distinguir las características de los datos que llevarán al modelo. Una vez que el modelo se construyó, puede ser usado en situaciones similares donde usted no conoce la respuesta. Si alguien le dice que tiene un modelo que puede predecir el uso de los clientes, Cómo puede saber si es realmente un buen modelo? La primera cosa que puede Copyright 2012 [Instituto Gala] Reservados todos los derechos. 20