Apuntes de Tecnologías de Información y Comunicaciones II

Transcripción

1 Apuntes de Tecnologías de Información y Comunicaciones II Esta asignatura proporciona al alumno las competencias y herramientas teóricas necesarias para la aplicación de soluciones de inteligencia de negocios, con el propósito de integrar y complementar los conocimientos adquiridos en tecnologías demandadas actualmente por las organizaciones Apunte recopilado por: Aníbal Garay Salcedo Ingeniero en Gestión Informática, en base a los textos señalados en la Bibliografía.

2 1

3 Unidad 4: MINERÍA DE DATOS Introducción a la minería de datos Tratar de encontrar patrones, tendencias y anomalías es uno de los grandes retos de vida moderna. Código de barras, automatización de procesos en general, avances tecnológicos en almacenamiento de información y abaratamiento de precios en memoria, son algunos de los factores que han contribuido a la generación masiva de datos. Las técnicas tradicionales de análisis de información no han tenido un desarrollo equivalente y la velocidad en que se almacenan datos es muy superior a la velocidad en que se analizan. Se cree que se está perdiendo una gran cantidad de información y conocimiento valioso que se podría extraer de los datos. La minería de datos es un conjunto de herramientas y técnicas que por medio de la identificación de patrones extrae información de las bases de datos, una gran parte de estas técnicas son una combinación directa de madurez en tecnología de bases de datos y data warehousing, con técnicas de aprendizaje automático y de estadística. Para descubrir conocimiento de la información se pueden utilizar varias formas de análisis por medio de las cuales se puede llegar a identificar patrones y reglas en los datos para luego crear escenarios, esta información se puede representar por medio de modelos matemáticos sobre datos históricos y con esto se crea un modelo de minería de datos. Después de haber creado un modelo de minería de datos, se puede examinar nueva información a través del modelo evaluando si se apega a los patrones o reglas definidos. La minería de datos es una nueva tecnología muy poderosa con un gran potencial para ayudar a las compañías a enfocarse en la información más importante en sus bases de datos o almacenes de datos. Las herramientas de minería de datos predicen comportamientos, permitiendo a los gerentes y empresarios ser más eficientes en la toma de decisiones y el manejo del conocimiento. La perspectiva automatizada de análisis que ofrece la minería de datos va mas allá del análisis de eventos pasados y puede responder a preguntas gerenciales que antes consumían demasiado tiempo responder. La tecnología actual como los códigos de barras, la automatización de procesos, los avances en técnicas de almacenamiento de información y los precios bajos de los dispositivos de almacenamiento, permite capturar y almacenar grandes cantidades de información. En la actualidad, alrededor del mundo, se ha estimado que el crecimiento de los datos almacenados en las bases de datos se duplica cada 20 meses, mientras que la técnicas de análisis de información no han tenido un desarrollo equivalente, dicho en otras palabras, la velocidad en que se almacena la información es muy superior a la velocidad en que se analizan. Existe un gran interés comercial por explotar los grandes volúmenes de información, pero no saben de qué forma se puede transformar toda esa información en conocimiento o sabiduría que apoye, efectivamente, la toma de decisiones, especialmente, a nivel gerencial. 2

4 La minería de datos es un conjunto de procesos y técnicas o algoritmos que permiten extraer el conocimiento a partir de la información almacenada en grandes bases de datos. Las bases de datos fueron desarrolladas para almacenar datos y más datos significan, más información, de manera que mientras exista más información se puede obtener más conocimiento. No obstante, actualmente está cobrando una importancia cada vez mayor la minería de datos desestructurados como información contenida en ficheros de texto, en Internet, etc. La Minería de Datos es una herramienta explorativa y no explicativa. Es decir, explora los datos para sugerir hipótesis. El formular creencias a partir de una experiencia finita y limitada es un elemento fundamental del aprendizaje, pero el otro elemento crucial consiste en la revisión de las hipótesis a la luz de nuevos datos y nuevas experiencias. Definición La minería de datos es un conjunto de herramientas y técnicas de análisis de datos que por medio de la identificación de patrones extrae información interesante, novedosa y potencialmente útil de grandes bases de datos que puede ser utilizada como soporte para la toma de decisiones. Si se analiza la definición anteriormente descrita, se dice que la minería de datos es un conjunto de herramientas y técnicas, una gran parte de estas técnicas son una combinación directa de madurez en tecnología de bases de datos y data warehousing, con técnicas de aprendizaje automático y de estadística. Para descubrir conocimiento de la información se pueden utilizar varias formas de análisis por medio de las cuales se puede llegar a identificar patrones y reglas en los datos para luego crear escenarios, esta información se puede representar por medio de modelos matemáticos sobre datos históricos y con esto se crea un modelo de minería de datos. Después de haber creado un modelo de minería de datos, se puede examinar nueva información a través del modelo evaluando si se apega a los patrones o reglas definidos. Origen de la minería de datos Las técnicas de minería de datos son el resultado de un largo proceso de investigaciones. Esta evolución se inicia cuando se empieza a almacenar la información de organizaciones en las computadoras, continúa con mejoras en el acceso de datos y más recientemente se han generado tecnologías que los usuarios naveguen por la información en tiempo real. La minería de datos toma este proceso evolutivo y va más allá del acceso retrospectivo de los datos y navegación analizando la información para luego mostrar resultados. La minería de datos está lista para la aplicación en la comunidad de los negocios ya que ahora cuenta con un soporte de tres tecnologías que la hacen suficientemente madura: Recopilación de datos de forma masiva Computadoras poderosas con multiprocesadores Los algoritmos de minería de datos Las bases de datos comerciales están creciendo a proporciones sin precedentes y conjuntamente la necesidad de motores de búsqueda mejorados. Los algoritmos de minería de datos personalizan técnicas que han existido por lo menos desde hace 10 años, pero que hasta ahora han podido ser implementadas de tal forma que se consideran herramientas confiables y que consistentemente ejecutan los métodos estadísticos más antiguos. En la evolución de la forma en que se manejan los datos de los negocios, cada nuevo paso que se construye sobre la base la uno previo, por ejemplo, el acceso dinámico de datos es crítico para las aplicaciones de navegación de datos y la habilidad de almacenamiento de grandes bases de datos es crítica para la minería de datos. 3

5 Desde el punto de vista de los usuarios, el manejo de la información ha evolucionado y ha permitido responder nuevas preguntas sobre los negocios de manera rápida y exacta, a continuación se muestran los pasos evolutivos que se han dado: Los componentes que conforman el núcleo de la minería de datos han estado en desarrollo durante décadas, áreas tales como estadística, inteligencia artificial y máquinas de aprendizaje. Hoy la madurez de estas técnicas acopladas al alto desempeño de los motores de búsqueda de bases de datos relacionales y los esfuerzos de integración de datos, hacen estas tecnologías prácticas para los entornos del Data warehousing. Relación con otras disciplinas La Minería de Datos para recuperar información es un campo multidisciplinar que se ha desarrollado en paralelo o como prolongación de otras tecnologías. Con esto se puede decir que a partir de los avances en otras disciplinas, surgen también los avances en la Minería de Datos para Recuperar Información. Destacan, entre las disciplinas que se encuentran más unidas a la Minería de Datos para Recuperar Información las siguientes: 1. Recuperación de Información: consiste en obtener información desde datos textuales. Su desarrollo está basado en el uso de bibliotecas, y en particular en las bibliotecas digitales; así como en la búsqueda por Internet 2. Estadística: proporciona los conceptos, algoritmos y técnicas que se utilizan en la Minería de Datos para Recuperar Información. Algunos ejemplos de ello pueden ser: Media Varianza Regresión lineal Regresión no lineal 3. Inteligencia Artificial: se encarga del desarrollo de algoritmos capaces de aprender. 4. Sistemas para la toma de decisiones: son herramientas y sistemas informatizados cuyo objetivo es proporcionar la información necesaria para llevar a cabo la toma de decisiones en el ámbito empresarial o en medicina 5. Visualización de datos: es lo que conocemos por diagramas de barras, histogramas Lenguaje Natural 7. Bases de Datos PASOS EVOLUTIVOS DE LA MINERÍA DE DATOS PASO EVOLUTIVO PREGUNTA Recopilación de datos (1960s) Acceso de datos (1980S) Data Warehousing y soporte de decisión (1990s) Minería de Datos Cuál ha sido mi ingreso en los últimos 5 años? Cuáles han sido las unidades de venta en Concepción el mes pasado? Cuáles han sido las unidades de venta en Concepción el mes pasado? Durante el cyber Monday Qué puede suceder el mes que viene en las ventas de Santiago? Y por qué? 4

6 El proceso de KDD De forma general, los datos son la materia prima bruta. En el momento que el usuario les atribuye algún significado especial pasan a convertirse en información. Cuando los especialistas elaboran o encuentran un modelo, haciendo que la interpretación de la información y ese modelo representen un valor agregado, entonces nos referimos al conocimiento. En la figura siguiente se ilustra la jerarquía que existe en una base de datos entre datos, información y conocimiento. Se observa igualmente el volumen que presenta en cada nivel y el valor que los responsables de las decisiones le dan en esa jerarquía. El área interna dentro del triángulo representa los objetivos que se han propuesto. La separación del triángulo representa la estrecha unión entre dato e información, no así entre la información y el conocimiento. La capacidad de generar y almacenar información creció considerablemente en los últimos tiempos, se ha estimado que la cantidad de datos en el mundo almacenados en bases de datos se duplica cada 20 meses. Es así que hoy las organizaciones tienen gran cantidad de datos almacenados y organizados, pero a los cuales no les pueden analizar eficientemente en su totalidad. Con las sentencias SQL se puede realizar un primer análisis, aproximadamente el 80% de la información se obtiene con estas técnicas. El 20% restante, que la mayoría de las veces, contiene la información más importante, requiere la utilización de técnicas más avanzadas. El Descubrimiento de Conocimiento en Bases de Datos (KDD) apunta a procesar automáticamente grandes cantidades de datos para encontrar conocimiento útil en ellos, de esta manera permitirá al usuario el uso de esta información valiosa para su conveniencia. El KDD es el Proceso no trivial de identificar patrones válidos, novedosos, potencialmente útiles y, en última instancia, comprensibles a partir de los datos. 5

7 Al Descubrimiento de Conocimiento de Bases de Datos (KDD) a veces también se le conoce como minería de datos (Data Mining). Sin embargo, muchos autores se refieren al proceso de minería de datos como el de la aplicación de un algoritmo para extraer patrones de datos y a KDD al proceso completo (pre-procesamiento, minería, post-procesamiento). El proceso de KDD consiste en usar métodos de minería de datos(algoritmos) para extraer (identificar) lo que se considera como conocimiento de acuerdo a la especificación de ciertos parámetros usando una base de datos junto con preprocesamientos y post-procesamientos. Se estima que la extracción de patrones (minería) de los datos ocupa solo el 15% - 20% del esfuerzo total del proceso de KDD. El proceso de descubrimiento de conocimiento en bases de datos involucra varios pasos: 1) Determinar las fuentes de información: que pueden ser útiles y dónde conseguirlas. 2) Diseñar el esquema de un almacén de datos (Data Warehouse): que consiga unificar de manera operativa toda la información recogida. 3) Implantación del almacén de datos: que permita la navegación y visualización previa de sus datos, para discernir qué aspectos puede interesar que sean estudiados. Esta es la etapa que puede llegar a consumir el mayor tiempo. 4) Selección, limpieza y transformación de los datos que se van a analizar: la selección incluye tanto una criba o fusión horizontal (filas) como vertical (atributos).la limpieza y prepocesamiento de datos se logra diseñando una estrategia adecuada para manejar ruido, valores incompletos, secuencias de tiempo, casos extremos (si es necesario), etc. 5) Seleccionar y aplicar el método de minería de datos apropiado: esto incluye la selección de la tarea de descubrimiento a realizar, por ejemplo, clasificación, agrupamiento o clustering, regresión, etc. La selección de él o de los algoritmos a utilizar. La transformación de los datos al formato requerido por el algoritmo específico de minería de datos. Y llevar a cabo el proceso de minería de datos, se buscan patrones que puedan expresarse como un modelo o simplemente que expresen dependencias de los datos, el modelo encontrado depende de su función (clasificación) y de su forma de representarlo (árboles de decisión, reglas, etc.), se tiene que especificar un criterio de preferencia para seleccionar un modelo dentro de un conjunto posible de modelos, se tiene que especificar la estrategia de búsqueda a utilizar (normalmente está predeterminada en el algoritmo de minería). 6) Evaluación, interpretación, transformación y representación de los patrones extraídos: 7) Interpretar los resultados y posiblemente regresar a los pasos anteriores. Esto puede involucrar repetir el proceso, quizás con otros datos, otros algoritmos, otras metas y otras estrategias. Este es un paso crucial en donde se requiere tener conocimiento del dominio. La interpretación puede beneficiarse de procesos de visualización, y sirve también para borrar patrones redundantes o irrelevantes. 8) Difusión y uso del nuevo conocimiento. Incorporar el conocimiento descubierto al sistema (normalmente para mejorarlo) lo cual puede incluir resolver conflictos potenciales con el conocimiento existente. El conocimiento se obtiene para realizar acciones, ya sea incorporándolo dentro de un sistema de desempeño o simplemente para almacenarlo y reportarlo a las personas interesadas. 6

8 En este sentido, KDD implica un proceso interactivo e iterativo involucrando la aplicación de varios algoritmos de minería de datos. Fases del proceso KDD La Extracción de conocimiento está principalmente relacionado con el proceso de descubrimiento conocido como Knowledge Discovery in Databases (KDD), que se refiere al proceso no-trivial de descubrir conocimiento e información potencialmente útil dentro de los datos contenidos en algún repositorio de información. No es un proceso automático, es un proceso iterativo que exhaustivamente explora volúmenes muy grandes de datos para determinar relaciones. Es un proceso que extrae información de calidad que puede usarse para dibujar conclusiones basadas en relaciones o modelos dentro de los datos. La siguiente figura ilustra las etapas del proceso KDD: Como muestra la figura anterior, las etapas del proceso KDD se dividen en 5 fases y son: 1. Selección de datos. En esta etapa se determinan las fuentes de datos y el tipo de información a utilizar. Es la etapa donde los datos relevantes para el análisis son extraídos desde la o las fuentes de datos. 2. Preprocesamiento. Esta etapa consiste en la preparación y limpieza de los datos extraídos desde las distintas fuentes de datos en una forma manejable, necesaria para las fases posteriores. En esta etapa se utilizan diversas estrategias para manejar datos faltantes o en blanco, datos inconsistentes o que están fuera de rango, obteniéndose al final una estructura de datos adecuada para su posterior transformación. 3. Transformación. Consiste en el tratamiento preliminar de los datos, transformación y generación de nuevas variables a partir de las ya existentes con una estructura de datos apropiada. Aquí se realizan operaciones de agregación o normalización, consolidando los datos de una forma necesaria para la fase siguiente. 4. Data Mining. Es la fase de modelamiento propiamente tal, en donde métodos inteligentes son aplicados con el objetivo de extraer patrones previamente desconocidos, válidos, nuevos, potencialmente útiles y comprensibles y que están contenidos u ocultos en los datos. 5. Interpretación y Evaluación. Se identifican los patrones obtenidos y que son realmente interesantes, basándose en algunas medidas y se realiza una evaluación de los resultados obtenidos. Además de las fases descritas, frecuentemente se incluye una fase previa de análisis de las necesidades de la organización y definición del problema, en la que se establecen los objetivos de la minería de datos. También es usual incluir una etapa final, donde los resultados obtenidos se integran al negocio para la realización de acciones comerciales. De tal forma que todas las etapas son: 1. Identificación de los Objetivos 2. Selección de Datos e Información 3. Preprocesamiento 4. Transformación 5. Data Mining. 6. Interpretación y Evaluación 7. Integración al Negocio 7

9 Aplicaciones de la minería de datos Ejemplos de aplicación de la minería de datos en las empresas públicas o privadas: Esta es una aplicación que puede ser considerada como una técnica de clasificación. En efecto, cuando el algoritmo analiza una gran cantidad de transacciones, el mismo tratará de categorizar aquellas que sean ilegítimas mediante la identificación de ciertas características que estas últimas tengan en común. Esto puede ser usado en las corporaciones para prevenir que se culmine un proceso que muestre pertenecer a una "clase" peligrosa. Patrones de fuga de clientes: Un ejemplo más habitual es el de la detección de patrones de fuga. En muchas industrias como la banca, las telecomunicaciones, etc. existe un comprensible interés en detectar cuanto antes aquellos clientes que puedan estar pensando en rescindir sus contratos para, posiblemente, 8

10 pasarse a la competencia. A estos clientes y en función de su valor se les podrían hacer ofertas personalizadas, ofrecer promociones especiales, etc., con el objetivo último de retenerlos. La minería de datos ayuda a determinar qué clientes son los más proclives a darse de baja estudiando sus patrones de comportamiento y comparándolos con muestras de clientes que, efectivamente, se dieron de baja en el pasado. Genética: En el estudio de la genética humana, el objetivo principal es entender la relación cartografía entre las partes y la variación individual en las secuencias del ADN humano y la variabilidad en la susceptibilidad a las enfermedades. En términos más llanos, se trata de saber cómo los cambios en la secuencia de ADN de un individuo afectan al riesgo de desarrollar enfermedades comunes (como por ejemplo el cáncer). Esto es muy importante para ayudar a mejorar el diagnóstico, prevención y tratamiento de las enfermedades. La técnica de minería de datos que se utiliza para realizar esta tarea se conoce como "reducción de dimensionalidad multifactorial". 9

11 Hábitos de compra en supermercados: El ejemplo clásico de aplicación de la minería de datos tiene que ver con la detección de hábitos de compra en supermercados. Un estudio muy citado detectó que los viernes había una cantidad inusualmente elevada de clientes que adquirían a la vez pañales y cerveza. Se detectó que se debía a que dicho día solían acudir al supermercado padres jóvenes cuya perspectiva para el fin de semana consistía en quedarse en casa cuidando de su hijo y viendo la televisión con una cerveza en la mano. El supermercado pudo incrementar sus ventas de cerveza colocándolas próximas a los pañales para fomentar las ventas compulsivas. Análisis de riesgos en créditos: Esta es una aplicación que mejora el clásico procedimiento de asignación de puntos, el que puede ser complementado y mejorado con la ayuda de la minería de datos. Fraudes: Un caso análogo es el de la detección de transacciones de blanqueo de dinero o de fraude en el uso de tarjetas de crédito o de servicios de telefonía móvil e, incluso, en la relación de los contribuyentes con el fisco. Generalmente, estas operaciones fraudulentas o ilegales suelen seguir patrones característicos que permiten, con cierto grado de probabilidad, distinguirlas de las legítimas y desarrollar así mecanismos para tomar medidas rápidas frente a ellas. 10

12 Terrorismo: La minería de datos ha sido citada como el método por el cual la unidad Able Danger del Ejército de los EE.UU. había identificado al líder de los atentados del 11 de septiembre de 2001, Mohammed Atta, y a otros tres secuestradores del "11-S" como posibles miembros de una célula de Al Qaeda que operan en los EE.UU. más de un año antes del ataque. Se ha sugerido que tanto la Agencia Central de Inteligencia y sus homóloga canadiense, Servicio de Inteligencia y Seguridad Canadiense, también han empleado este método. OTROS CASOS DE USO DE MD: Recursos humanos La minería de datos también puede ser útil para los departamentos de recursos humanos en la identificación de las características de sus empleados de mayor éxito. La información obtenida puede ayudar a la contratación de personal, centrándose en los esfuerzos de sus empleados y los resultados obtenidos por éstos. Además, la ayuda ofrecida por las aplicaciones para Dirección estratégica en una empresa se traducen en la obtención de ventajas a nivel corporativo, tales como mejorar el margen de beneficios o compartir objetivos; y en la mejora de las decisiones operativas, tales como desarrollo de planes de producción o gestión de mano de obra. Comportamiento en Internet También es un área en boga el del análisis del comportamiento de los visitantes sobre todo, cuando son clientes potenciales en una página de Internet. O la utilización de la información obtenida por medios más o menos legítimos sobre ellos para ofrecerles propaganda adaptada específicamente a su perfil. O 11

13 para, una vez que adquieren un determinado producto, saber inmediatamente qué otro ofrecerle teniendo en cuenta la información histórica disponible acerca de los clientes que han comprado el primero. Juegos Desde comienzos de la década de 1960, con la disponibilidad de oráculos para determinados juegos combinacionales, también llamados finales de juego de tablero (por ejemplo, para las tres en raya o en finales de ajedrez) con cualquier configuración de inicio, se ha abierto una nueva área en la minería de datos que consiste en la extracción de estrategias utilizadas por personas para estos oráculos. Los planteamientos actuales sobre reconocimiento de patrones, no parecen poder aplicarse con éxito al funcionamiento de estos oráculos. En su lugar, la producción de patrones perspicaces se basa en una amplia experimentación con bases de datos sobre esos finales de juego, combinado con un estudio intensivo de los propios finales de juego en problemas bien diseñados y con conocimiento de la técnica (datos previos sobre el final del juego). Ejemplos notables de investigadores que trabajan en este campo son Berlekamp en el juego de puntos-ycajas (o Timbiriche) y John Nunn en finales de ajedrez. Ciencia e Ingeniería En los últimos años la minería de datos se está utilizando ampliamente en diversas áreas relacionadas con la ciencia y la ingeniería. Ingeniería eléctrica En el ámbito de la ingeniería eléctrica, las técnicas minería de datos han sido ampliamente utilizadas para monitorizar las condiciones de las instalaciones de alta tensión. La finalidad de esta monitorización es obtener información valiosa sobre el estado del aislamiento de los equipos. Para la vigilancia de las vibraciones o el análisis de los cambios de carga en transformadores se utilizan ciertas técnicas para agrupación de datos (clustering) tales como los Mapas Auto-Organizativos (SOM, Self-organizing map). Estos mapas sirven para detectar condiciones anormales y para estimar la naturaleza de dichas anomalías. Técnicas de minería de datos Clasificación 12

14 Estimación Predicción Asociación Segmentación 13

15 Descripción Análisis Textual Concepto Web Mining El Web mining o Webmining es una metodología de recuperación de la información que usa herramientas de la minería de datos para extraer información tanto del contenido de las páginas, de su estructura de relaciones (enlaces) y de los registro de navegación de los usuarios. Tipos de minería de la Web Web mining - es la aplicación de técnicas de minería de datos para descubrir los patrones de la Web. De acuerdo a los objetivos de análisis, la minería web se puede dividir en tres tipos diferentes, que son la minería de uso de la Web, minería del contenido de la Web y minería de la estructura de la Web. En este sentido podemos definir el Web mining en tres variantes: 1. Minería del contenido de la Web, o Web Content Mining; Minería del contenido de la Web es el proceso de descubrir información útil de texto, imagen, audio o datos de vídeo en la web. La minería de contenido web a veces se llama la minería de textos web, porque el contenido del texto es la zona más ampliamente investigado. Las tecnologías que se utilizan normalmente en la minería de contenido web son PNL (procesamiento de lenguaje natural) e IR (recuperación de información). Aunque la minería de datos es un término relativamente nuevo, la tecnología no lo es. Las empresas han utilizado los ordenadores de gran alcance para tamizar a través de volúmenes de datos de escáner de supermercados y analizar los informes de investigación de mercado durante años. Sin embargo, las continuas innovaciones en el poder, equipo de procesamiento, almacenamiento en disco y software de estadística están aumentando drásticamente la precisión de análisis, mientras reduciendo el costo de hacerlo. 2. Minería de la estructura de la Web, o Web Structure Mining; Minería de la estructura de la Web es el proceso de utilización de la teoría de grafos para analizar el nodo y la estructura de conexión de un sitio web. Según el tipo de web de los datos estructurales, estructura de minería de la Web se pueden dividir en dos tipos: 14

16 - El primer tipo es la extracción de patrones a partir de hipervínculos de la web. Un hipervínculo es un componente estructural que conecta a la página web en una ubicación diferente. - El otro tipo es la minería de la estructura del documento. Se está utilizando la estructura de árbol para analizar y describir el HTML (Hyper Text Markup Language) o XML (extensible Markup Language) tags dentro de la página web. 3. Minería de los registro de navegación en la Web, o Web Usage Mining. La minería del uso de la Web es un proceso de extracción de información útil a partir de los registros del servidor, es decir, del historial de los usuarios. La minería del uso de la Web es el proceso de descubrir lo que los usuarios buscan en Internet. Algunos usuarios pueden estar mirando sólo los datos textuales, mientras que otros pueden estar interesados en los datos multimedia. Pros y contras Web mining Pros Web Mining esencialmente tiene muchas ventajas que hace que esta tecnología atractiva para las sociedades, incluidas las agencias de gobierno. Esta tecnología ha permitido que el comercio electrónico para hacer marketing personalizado, que finalmente resulta en mayores volúmenes de comercio. Las agencias gubernamentales están utilizando esta tecnología para clasificar las amenazas y la lucha contra el terrorismo. La capacidad de predicción de la aplicación de la minería puede beneficiar a la sociedad mediante la identificación de actividades delictivas. Las compañías pueden establecer una mejor atención al cliente, dándoles exactamente lo que necesitan. Las empresas pueden entender las necesidades del cliente mejor y pueden reaccionar a las necesidades del cliente más rápido. Las empresas pueden encontrar, atraer y retener a los clientes, ya que pueden ahorrar en los costos de producción mediante la utilización de la visión adquirida de los requisitos del cliente. Se puede aumentar la rentabilidad de fijación de precios objetivo sobre la base de los perfiles creados. Incluso se puede encontrar el cliente que podría cambiarse a un competidor, la compañía tratará de retener al cliente ofreciendo ofertas promocionales a los clientes específicos, reduciendo así el riesgo de perderlo. Contras La tecnología en sí misma no crea problemas, pero esta tecnología cuando se utiliza en los datos de carácter personal puede causar problemas. La cuestión ética más criticada sobre el uso de Web Mining es la invasión de la privacidad. La privacidad se considera perdida cuando la información relativa a una persona se obtiene, se usa o difunde, especialmente si esto ocurre sin su conocimiento o consentimiento. Los datos obtenidos serán analizados, y agrupados para formar perfiles, los datos serán anónimos antes de la agrupación a fin de que ningún individuo pueda ser vinculado directamente a un perfil. Pero por lo general los perfiles de grupo se utilizan como si fueran perfiles personales. Así, estas aplicaciones individualizan a los usuarios por sus clics del mouse. Otra preocupación importante es que las empresas que recogen los datos para un propósito específico podrían utilizar los datos para un fin totalmente distinto, y esto viola fundamentalmente los intereses del usuario. La tendencia creciente de la venta de datos personales como una mercancía alienta a propietarios de sitios web para el comercio de datos personales obtenidos de su sitio. Algunos de los algoritmos de minería podrían utilizar los atributos polémicos como el sexo, raza, religión u orientación sexual para categorizar a los individuos. Estas prácticas pueden ser en contra de la legislación contra la discriminación. Este proceso podría resultar en una denegación de servicio o un privilegio a una persona basándose en su raza, religión u orientación sexual, ahora esta situación puede evitarse con los altos estándares éticos gestionados por la empresa de minería de datos. Los Problemas de la Información No Estructurada. Extracción de Conocimiento a partir de Documentos HTML y texto. A esto se le llama Tratamiento previo de los datos,se trata de filtrar y limpiar los datos recogidos. Una vez extraída una determinada información a partir de un documento, ya sea HTML, XML, texto, ps, PDF, LaTeX, FAQs,..., se realizan tareas de criba y normalización, eliminando los datos erróneos o incompletos, presentando los restantes de manera ordenada y con los mismos criterios formales hasta conseguir una homogeneidad formal, etc. y demás labores enfocadas a la obtención de unos datos originales listos para su transformación por medios automáticos. Text mining Estudios recientes indican que el ochenta por ciento de la información de una compañía está almacenada en forma de documentos. Sin duda, este campo de estudio es muy vasto, por lo que técnicas como la 15

17 categorización de texto, el procesamiento de lenguaje natural, la extracción y recuperación de la información o el aprendizaje automático, entre otras, apoyan al text mining (minería de texto). En ocasiones se confunde el text mining con la recuperación de la información (Information Retrieval o IR) (Hearst, 1999). Ésta última consiste en la recuperación automática de documentos relevantes mediante indexaciones de textos, clasificación, categorización, etc. Generalmente se utilizan palabras clave para encontrar una página relevante. En cambio, el text mining se refiere a examinar una colección de documentos y descubrir información no contenida en ningún documento individual de la colección; en otras palabras, trata de obtener información sin haber partido de algo (Nasukawa y otros, 2001). Una aplicación muy popular del text mining es relatada en Hearst (1999). Don Swanson intenta extraer información derivada de colecciones de texto. Teniendo en cuenta que los expertos sólo pueden leer una pequeña parte de lo que se publica en su campo, por lo general no se dan cuenta de los nuevos desarrollos que se suceden en otros campos. Así, Swanson ha demostrado cómo cadenas de implicaciones causales dentro de la literatura médica pueden conducir a hipótesis para enfermedades poco frecuentes, algunas de las cuales han recibido pruebas de soporte experimental. Investigando las causas de la migraña, dicho investigador extrajo varias piezas de evidencia a partir de títulos de artículos presentes en la literatura biomédica. Algunas de esas claves fueron: El estrés está asociado con la migraña. El estrés puede conducir a la pérdida de magnesio. Los bloqueadores de canales de calcio previenen algunas migrañas. El magnesio es un bloqueador natural del canal de calcio. La depresión cortical diseminada (DCD) está implicada en algunas migrañas. Los niveles altos de magnesio inhiben la DCD. Los pacientes con migraña tienen una alta agregación plaquetaria. El magnesio puede suprimir la agregación plaquetaria. Estas claves sugieren que la deficiencia de magnesio podría representar un papel en algunos tipos de migraña, una hipótesis que no existía en la literatura y que Swanson encontró mediante esas ligas. De acuerdo con Swanson (Swanson y otros, 1994), estudios posteriores han probado experimentalmente esta hipótesis obtenida por text mining con buenos resultados. Problemas con la información no estructurada La información no-estructurada la encontramos en fuentes tales como documentos, el web o las suscripciones a servicios de información y en formatos muy diversos como texto, videos, audio o imágenes. Desafortunadamente lo más sencillo y tradicional para los administradores de información, es su tratamiento para estructurarla en una base de datos, con lo cual se pierde el contexto de los datos en un documento, por ejemplo. El reto para proporcionar mejor calidad de información a los tomadores de decisiones es la administración de la información no-estructurada y mejorar los sistemas de búsqueda y recuperación de información, para que éstos localicen información en diferentes fuentes como bases de datos, el web o los documentos de la organización. Extracción de Información semi-estructurada (XML). Como sabemos para almacenar información en la Web en el cual los datos son almacenados en XML y mostrados a los usuarios en HTML (utilizando transformaciones escritas en XSLT). Se argumentó que éste era un buen enfoque porque permitía tener lo mejor de dos mundos: por una parte para un computador es más fácil interpretar información escrita en XML, y por lo tanto es más fácil extraer información desde este formato; y por otra parte HTML provee de buenas herramientas para desplegar información en la Web. Para que el enfoque anterior pueda llevarse a cabo es necesario tener buenos lenguajes de consulta para XML. Estos lenguajes deben ser suficientemente expresivos como para permitir al usuario expresar consultas generales, y también deben estar acompañados de procedimientos eficientes para evaluar consultas. XPath y XQuery, los dos lenguajes de consulta más populares para XML. La primera versión estandarizada de XPath es de XPath puede ser considerado como el lenguaje de consulta más popular para XML, ya que forma parte de la mayor parte de los lenguajes de consulta para XML y, en particular, es parte de XQuery. XPath provee una serie de herramientas que permiten navegar un documento XML, seleccionar elementos desde él y extraerlos para ser desplegados o usados por otras consultas. Una de las razones de la popularidad de XPath es que estas herramientas son simples de usar, y son lo suficientemente expresivas para poder manejar muchas de las consultas que los usuarios tienen en la práctica. Además, la estructura simple de este lenguaje ha permitido el desarrollo de procedimientos eficientes para evaluar consultas. 16

18 Identificación y comparación de las distintas herramientas disponibles en el mercado de datamining Existen muchas herramientas para el mercado data mining, open source y también de pago, acá vemos las características de tres de las principales que podemos emplear: Clementine / SPSS RapidMiner / Yale Weka Herramienta de data mining que permite Es el líder mundial de código abierto Es un conjunto de librerías java desarrollar modelos predictivos y para la minería de datos debido a su para la extracción de desplegarlos para mejorar la toma de combinación de su tecnología de conocimientos desde bases de decisiones. Está diseñada teniendo en primera calidad y su rango de datos. Es un software que ha sido cuenta a los usuarios empresariales, de funcionalidad. Esta aplicación de desarrollado bajo licencia GPL lo manera que no es preciso ser un experto RapidMiner cubre un amplio rango cual ha impulsado que sea una de en data mining. de minería de datos. Además de ser las suites más utilizadas en el área Clementine es la más avanzada una herramienta flexible para en los últimos años. Una de las herramienta de Data Mining aprender y explorar la minería de propiedades más interesantes de del mercado, combina modernas datos, la interfaz gráfica de usuario este software, es su facilidad para técnicas de modelamiento con tiene como objetivo simplificar el uso añadir extensiones, modificar poderosas herramientas de acceso, para las tareas complejas de esta métodos, entre otros. manipulación y exploración de datos en área. una interfaz simple e intuitiva. Características de Clementine Fácil entendimiento de los datos. Visualización interactiva. Poderosa preparación de los datos. Combina datos de múltiples fuentes. Especifica valores perdidos. Deriva nuevas variables. Produce información resumida. Incrementa la productividad con su enfoque visual de la manipulación de datos. Técnicas de Modelado. Técnicas Supervisadas: C&RT, Redes Neuronales, C5.0, Quest, CHAID, Regresión Lineal y Regresión Logística. Técnicas No Supervisadas: K-medias, Kohonen, Bi-etápico, Apriori, GRI, Sequence, Carma, Detección de Anomalías. Técnicas de Evaluación: Tablas Estadísticas, Gráficos de Ganancia y ROI. Técnicas de Publicación de modelos: Punteo o Scoring de Bases de Datos, Scoring en tiempo real. Características de RapidMiner RapidMiner es un sistema prototipado para el descubrimiento del conocimiento y Data Mining. Es un software de tipo Open-Source con licencia GNU GPL, basado en java. Trabaja bajo las plataformas Windows y Linux. Posee alrededor de 400 operadores que pueden ser combinados. Usa el lenguaje de scripting XML para describir los operadores y su configuración. La característica más importante es la capacidad de jerarquizar cadenas del operador y de construir complejos árboles de operadores. El lenguaje de encriptación permite automáticamente una gran cantidad de experimentos. Posee una interfaz gráfica, línea comando, y API de Java para usar RapidMiner desde tus propios programas. Una gran cantidad de extensiones (plugins). Las aplicaciones incluyen: Text Mining, Multimedia Mining, entre otras. Características de Weka El paquete Weka (Waikato Environment for Knowledge Analysis) contiene una colección de herramientas de visualización y algoritmos para análisis de datos y modelado predictivo, unidos a una interfaz gráfica de usuario para acceder fácilmente a sus funcionalidades. La versión original de Weka fue como un inicio para modelar algoritmos implementados en otros lenguajes de programación, más unas utilidades para el procesamiento de datos desarrolladas en C para hacer experimentos de aprendizaje automático. Esta versión original se diseñó inicialmente como herramienta para analizar datos procedentes del dominio de la agricultura, pero la versión más reciente basada en Java (WEKA 3), que empezó a desarrollarse en 1997, se utiliza en muchas y muy diferentes áreas, en particular con finalidades docentes y de investigación. Clementine cuenta con los métodos de redes neuronales de mayor uso (Kohonen, Prune, Radial Basis). Las redes neuronales son, junto a los árboles de decisión, las más importantes herramientas de data mining disponibles actualmente debido a su capacidad para encontrar relaciones ocultas entre las variables y su flexibilidad para enfrentar distintos tipos de problemas de negocios. Los puntos fuertes de Weka son: Está disponible libremente bajo la licencia pública general de GNU. Es muy portable porque está completamente implementado en Java y puede correr en casi cualquier plataforma. Contiene una extensa colección de técnicas para pre procesamiento de datos y modelado. Es fácil de utilizar por un principiante gracias a su interfaz 17

19 gráfica de usuario. Diversas fuentes de datos (ASCII, JDBC). Interfaz visual basada en procesos / flujos de datos (rutas) Distintas herramientas de minería de datos: Reglas de asociación (a priori, Tertius, etc.). Agrupación / segmentación / conglomerado (cobweb, EM y k- medias). Clasificación (redes neuronales, reglas y árboles de decisión). Regresión (regresión lineal, SVM). Manipulación de datos (pick & mix, muestreo, combinación, separación). Combinación de modelos (bagging, boosting). Entorno de experimentos, con la posibilidad de realizar pruebas estadísticas (Ttest). Weka soporta varias tareas estándar de minería de datos, especialmente, pre procesamiento de datos, clustering, clasificación, regresión, visualización, y selección. Todas las técnicas de Weka se fundamentan en la asunción de que los datos están disponibles en un fichero plano (flat file) o una relación, en la que cada registro de datos está descrito por un número fijo de atributos (normalmente numéricos o nominales, aunque también se soportan otros tipos). Weka también proporciona acceso a bases de datos vía SQL gracias a la conexión JDBC (Java Database Connectivity) y puede procesar el resultado devuelto por una consulta hecha a la base de datos. No puede realizar minería de datos multi relacional, pero existen aplicaciones que pueden convertir una colección de tablas relacionadas de una base de datos en una única tabla que ya puede ser procesada con Weka. Se ha definido que Weka y RapidMiner son las más convenientes para el trabajo que se quiere realizar, ya que ambas se complementan. El software de ambas es de tipo Open-Source con licencia GNU GPL, basado en java. Además son multiplataforma, pues se pueden ejecutar en Windows y Linux. RapidMiner también permite utilizar los algoritmos incluidos en Weka. Son herramientas flexibles para aprender y explorar la minería de datos, la interfaz gráfica de usuario tiene como objetivo simplificar el uso para las tareas complejas de esta área. Ambas se pueden utilizar de 3 formas distintas: RapidMiner: Weka: 18

20 Conclusiones A través de un GUI. En línea de comandos. En batch (lotes). Desde la línea de comandos. Desde una de los interfaces de usuario. Creando un programa Java. Las herramientas comerciales de data mining que existen actualmente en el mercado son variadas y excelentes. Las hay orientadas al estudio del web o al análisis de documentos o de clientes de supermercado, mientras que otras son de uso más general. Su correcta elección depende de la necesidad de la empresa y de los objetivos a corto y largo plazo que pretenda alcanzar. No existe una herramienta universal para hacer frente con éxito a cualquier proyecto de minería de datos. Muchas de estas herramientas pueden ser usadas en el proyecto, pero hay que tener en cuenta las características que éstas posean, además de los recursos técnicos, capacitación del personal y facilidad de usar. Históricamente, las herramientas de minería de datos predicen futuras tendencias y comportamientos, permitiendo en los negocios la toma de decisiones. Las herramientas ofrecen una solución casi a medida para una gran cantidad de proyectos que tengan estas características o simplemente que se encarguen de tomar decisiones. Una de las cualidades más destacables en las herramientas escogidas es su sencillez, tanto en su aprendizaje como en su aplicación, reduciendo así los costos de implantación en un equipo de desarrollo, lo cual ha llevado hacia un interés creciente en las herramientas de software libre. 19

21 Índice UNIDAD 4: MINERÍA DE DATOS... 2 INTRODUCCIÓN A LA MINERÍA DE DATOS... 2 Definición... 3 Origen de la minería de datos... 3 RELACIÓN CON OTRAS DISCIPLINAS... 4 EL PROCESO DE KDD... 5 FASES DEL PROCESO KDD... 7 APLICACIONES DE LA MINERÍA DE DATOS... 8 OTROS CASOS DE USO DE MD: TÉCNICAS DE MINERÍA DE DATOS Clasificación Estimación Predicción Asociación Segmentación Descripción Análisis Textual CONCEPTO WEB MINING Tipos de minería de la Web Pros y contras Web mining Pros Contras Extracción de Conocimiento a partir de Documentos HTML y texto Text mining Problemas con la información no estructurada Extracción de Información semi-estructurada (XML) IDENTIFICACIÓN Y COMPARACIÓN DE LAS DISTINTAS HERRAMIENTAS DISPONIBLES EN EL MERCADO DE DATAMINING CONCLUSIONES ÍNDICE BIBLIOGRAFÍA

22 Bibliografía pdf Caracter%C3%ADsticas-Beneficios-y-Retos Cruz Chávez, Marco Antonio. Programacion en computadoras. Recurso didactico disponible en Internet en URL datawarehouse2.ppt, diapositiva 1. (ago 2006) Mart/ Marts-para-un-entorno-businessintelligence/ Mart de Hechos (Tablas Fac) outline 21

23 de Hechos (Tablas Fac) outline Tecnologías de la Información: Su alineamiento al Negocio de las Organizaciones, Autor: Alejandro Peña Ayala. Del Instituto Politécnico Nacional, México ariaestherordonez.pdf