1. ANÁLISIS EXPLORATORIO DE DATOS

Transcripción

1 1. ANÁLISIS EXPLORATORIO DE DATOS El Análisis Exploratorio de Datos (E.D.A.: Exploratory data analysis) es un conjunto de técnicas estadísticas cuya finalidad es conseguir un entendimiento básico de los datos y de las relaciones existentes entre las variables analizadas. Para conseguir este objetivo el E.D.A. proporciona métodos sistemáticos sencillos para organizar y preparar los datos, detectar fallos en el diseño y recogida de los mismos, tratamiento y evaluación de datos ausentes (missing), identificación de casos atípicos (outliers) y comprobación de los supuestos subyacentes en la mayor parte de las técnicas multivariantes (normalidad, linealidad, homocedasticidad). El examen previo de los datos es un paso necesario, que lleva tiempo, y que habitualmente se descuida por parte de los analistas de datos. Las tareas implícitas en dicho examen pueden parecer insignificantes y sin consecuencias a primera vista, pero son una parte esencial de cualquier análisis estadístico. La forma de proceder con el E.D.A. es someter las muestras recogidas durante un proceso de investigación en cualquier campo. Para mayor rapidez y precisión, todo el proceso suele realizarse por medios informáticos, con aplicaciones específicas para el tratamiento estadístico. Los E.D.A., no necesariamente, se llevan a cabo con una base de datos al uso, ni con una hoja de cálculo convencional. Los pasos seguidos en el E. D. A. son básicamente dos: Medición y descripción de los datos tecnológicos tipológicos y dimensiones, por medio de la Estadística descriptiva. Aquí tenemos, por un lado, las medidas de tendencia central (promedios que, en una sola cifra, resumen todos los valores de una muestra: media, mediana y moda son las más habituales) y, por otro, las medidas de dispersión (que calculan hasta qué punto la muestra se agrupa o no en torno a esos promedios). Dentro de este apartado, se ha de procurar, además, calibrar la confianza de las muestras a través de tres estadímetros básicos: la desviación estándar de la muestra, la curtosis y la asimetría. Comentario [CJ1]: No hay necesidad de los puntos Comparación de los caracteres de una muestra, o de varias muestras diferentes por medio de la Estadística inferencial. Las pruebas más frecuentemente utilizadas comienzan por las más sencillas comparaciones visuales a través de gráficas como la campana de Gauss, nubes de dispersión o diagramas de caja y arbotantes, pasando por las socorridas tablas de contingencia (incluido la prueba del χ 2 ), y por los típicos Análisis de Varianza (que no es más que una confrontación muy precisa de los promedios de varias muestras), hasta llegar a los más complejos análisis multivariantes de conglomerados DESCUBRIMIENTO DE NUEVO CONOCIMIENTO EN BASES DE DATOS (KDD) La idea general de descubrir "conocimiento" en grandes bases de datos es intuitiva y llamativa, pero técnicamente hablando es todo un desafío. El KDD es considerado como el proceso no trivial de la extracción de datos ocultos, previamente desconocidos y potencialmente útiles. El proceso del Knowledge discovery in Databases debe ayudarnos a entender como realmente se debería hacer el descubrimiento y como apoyar de esta forma al analista, que es una persona humana después de todo, sin ellos el proceso de descubrir nuevos conocimientos simplemente no existiría.

2 La extracción de conocimiento es un proceso interactivo y repetitivo, no un sistema que automáticamente analiza los datos y nos da como resultado conocimiento útil. La interactividad del proceso se refiere a que el usuario debe entender y participar de todo el proceso porque es él quien da una pista de cual va a ser el dominio de la aplicación, o sea sobre que aspecto de los datos se quieren trabajar. Para entender mejor la función de los usuarios que utilizan KDD, en este trabajo reconoceremos tres clases de usuarios: 1.el experto del dominio, que debe entender muy bien sobre el dominio de la aplicación; 2. el analista, que es el que ejecuta todo el proceso y que por eso debe tener mucho conocimiento sobre todos los pasos que tiene el proceso y 3. el usuario final, que no necesita poseer mucho conocimiento pero es el que después de terminado el proceso utilizará el conocimiento extraído. El éxito del proceso depende mucho de la interactividad y comunicación entre las diferentes clases de usuarios. Por ejemplo, es muy poco probable que el Analista encuentre conocimiento útil en una gran cantidad de datos sin que el Experto le diga que le será útil para un dominio específico. Las etapas del proceso KDD se dividen en 5 fases y son: 1. Selección de datos. En esta etapa se determinan las fuentes de datos y el tipo de información a utilizar. Es la etapa donde los datos relevantes para el análisis son extraídos desde la o las fuentes de datos. 2. Preprocesamiento. Esta etapa consiste en la preparación y limpieza de los datos extraídos desde las distintas fuentes de datos en una forma manejable, necesaria para las fases posteriores. En esta etapa se utilizan diversas estrategias para manejar datos faltantes o en blanco, datos inconsistentes o que están fuera de rango, obteniéndose al final una estructura de datos adecuada para su posterior transformación. 3. Transformación. Consiste en el tratamiento preliminar de los datos, transformación y generación de nuevas variables a partir de las ya existentes con una estructura de datos apropiada. Aquí se realizan operaciones de agregación o normalización, consolidando los datos de una forma necesaria para la fase siguiente. 4. Data Mining. Es la fase de modelamiento propiamente tal, en donde métodos inteligentes son aplicados con el objetivo de extraer patrones previamente desconocidos, válidos, nuevos, potencialmente útiles y comprensibles y que están contenidos u ocultos en los datos. 5. Interpretación y Evaluación. Se identifican los patrones obtenidos y que son realmente interesantes, basándose en algunas medidas y se realiza una evaluación de los resultados obtenidos. Además de las fases descritas, frecuentemente se incluye una fase previa de análisis de las necesidades de la organización y definición del problema, en la que se establecen los objetivos de la minería de datos. También es usual incluir una etapa final, donde los resultados obtenidos se integran al negocio para la realización de acciones comerciales INTELIGENCIA DEL NEGOCIO Es un conjunto de metodologías, aplicaciones, estrategias y herramientas enfocadas a la administración y creación de conocimiento mediante la reunión, el análisis y depuración de datos en una organización o empresa. Para obtener dicho conocimiento se deben transformar los datos en información, y la información en conocimiento, de forma que se pueda optimizar el proceso de toma de decisiones en los negocios. Abarca la comprensión del funcionamiento actual de la empresa, bien como la anticipación de acontecimientos futuros, con el objetivo de ofrecer conocimientos para respaldar las decisiones empresariales.

3 Las herramientas de inteligencia se basan en la utilización de un sistema de información de inteligencia que se forma con distintos datos extraídos de los datos de producción, con información relacionada con la empresa o sus ámbitos y con datos económicos. Mediante las herramientas y técnicas ELT (extraer, cargar y transformar), o actualmente ETL (extraer, transformar y cargar) se extraen los datos de distintas fuentes, se depuran y preparan (homogeneización de los datos) para luego cargarlos en un almacén de datos. La vida o el periodo de éxito de un software de inteligencia de negocios dependerá únicamente del nivel de éxito del cual haga en beneficio de la empresa que lo usa, si esta empresa es capaz de incrementar su nivel financiero, administrativo y sus decisiones mejoran el accionar de la empresa, la inteligencia de negocios usada estará presente por mucho tiempo, de lo contrario será sustituido por otro que aporte mejores resultados y más precisos. Por último, las herramientas de inteligencia analítica posibilitan el modelado de las representaciones con base en consultas para crear un cuadro de mando integral que sirve de base para la presentación de informes. Este conjunto de herramientas y metodologías tienen en común las siguientes características: Comentario [CJ2]: No sólo es el software, son las personas que los usan Accesibilidad a la información. Los datos son la fuente principal de este concepto. Lo primero que deben garantizar este tipo de herramientas y técnicas será el acceso de los usuarios a los datos con independencia de la procedencia de estos. Apoyo en la toma de decisiones. Se busca ir más allá en la presentación de la información, de manera que los usuarios tengan acceso a herramientas de análisis que les permitan seleccionar y manipular sólo aquellos datos que les interesen. Orientación al usuario final. Se busca independencia entre los conocimientos técnicos de los usuarios y su capacidad para utilizar estas herramientas MINERÍA DE DATOS La minería de datos (DM, Data Mining) consiste en la extracción no trivial de información que reside de manera implícita en los datos por medio de técnicas y tecnologías que permiten explorar grandes bases de datos, de manera automática o semiautomática. Dicha información era previamente desconocida y podrá resultar útil para algún proceso. En otras palabras, la minería de datos prepara, sondea y explora los datos para sacar la información oculta en ellos como patrones repetitivos, tendencias o reglas que expliquen el comportamiento de los datos en un determinado contexto. Básicamente, el datamining surge para intentar ayudar a comprender el contenido de un repositorio de datos. Con este fin, hace uso de prácticas estadísticas y, en algunos casos, de algoritmos de búsqueda próximos a la Inteligencia Artificial y a las redes neuronales. De forma general, los datos son la materia prima bruta. En el momento que el usuario les atribuye algún significado especial pasan a convertirse en información. Cuando los especialistas elaboran o encuentran un modelo, haciendo que la interpretación que surge entre la información y ese modelo represente un valor agregado, entonces nos referimos al conocimiento.

4 Un proceso típico de minería de datos consta de los siguientes pasos generales: 1. Selección del conjunto de datos, tanto en lo que se refiere a las variables objetivo (aquellas que se quiere predecir, calcular o inferir), como a las variables independientes (las que sirven para hacer el cálculo o proceso), como posiblemente al muestreo de los registros disponibles. 2. Análisis de las propiedades de los datos, en especial los histogramas, diagramas de dispersión, presencia de valores atípicos y ausencia de datos (valores nulos). 3. Transformación del conjunto de datos de entrada, se realizará de diversas formas en función del análisis previo, con el objetivo de prepararlo para aplicar la técnica de minería de datos que mejor se adapte a los datos y al problema, a este paso también se le conoce como preprocesamiento de los datos. 4. Seleccionar y aplicar la técnica de minería de datos, se construye el modelo predictivo, de clasificación o segmentación. 5. Extracción de conocimiento, mediante una técnica de minería de datos, se obtiene un modelo de conocimiento, que representa patrones de comportamiento observados en los valores de las variables del problema o relaciones de asociación entre dichas variables. También pueden usarse varias técnicas a la vez para generar distintos modelos, aunque generalmente cada técnica obliga a un preprocesado diferente de los datos. 6. Interpretación y evaluación de datos, una vez obtenido el modelo, se debe proceder a su validación comprobando que las conclusiones que arroja son válidas y suficientemente satisfactorias. En el caso de haber obtenido varios modelos mediante el uso de distintas técnicas, se deben comparar los modelos en busca de aquel que se ajuste mejor al problema. Si ninguno de los modelos alcanza los resultados esperados, debe alterarse alguno de los pasos anteriores para generar nuevos modelos RECONOCIMIENTO DE PATRONES El reconocimiento de patrones es la ciencia que se ocupa de los procesos sobre ingeniería, computación y matemáticas relacionados con objetos físicos o abstractos, con el propósito de extraer información que permita establecer propiedades de entre conjuntos de dichos objetos. El reconocimiento de patrones se realiza por medio de identificación de figuras y reconocimiento de formas consiste en el reconocimiento de patrones de señales. Los patrones se obtienen a partir de los procesos de segmentación, extracción de características y descripción dónde cada objeto queda representado por una colección de descriptores. El sistema de reconocimiento debe asignar a cada objeto su categoría o clase (conjunto de entidades que comparten alguna característica que las diferencia del resto). Para poder reconocer los patrones se siguen los siguientes procesos: Comentario [CJ3]: Esto es mucho decir. Cinecia? 1. adquisición de datos 2. extracción de características 3. toma de decisiones

5 6. APRENDIZAJE DE MÁQUINAS El aprendizaje de máquinas (machine learning) o también llamada aprendizaje automático es una rama de la Inteligencia Artificial cuyo objetivo es desarrollar técnicas que permitan a las computadoras aprender. De forma más concreta, se trata de crear programas capaces de generalizar comportamientos a partir de una información no estructurada suministrada en forma de ejemplos. Es, por lo tanto, un proceso de inducción del conocimiento. En muchas ocasiones el campo de actuación del Aprendizaje Automático se solapa con el de la Estadística, ya que las dos disciplinas se basan en el análisis de datos. Sin embargo, el Aprendizaje Automático se centra más en el estudio de la Complejidad Computacional de los problemas. Muchos problemas son de clase NP-hard, por lo que gran parte de la investigación realizada en Aprendizaje Automático está enfocada al diseño de soluciones factibles a esos problemas. El Aprendizaje Automático puede ser visto como un intento de automatizar algunas partes del Método Científico mediante métodos matemáticos. El Aprendizaje Automático tiene una amplia gama de aplicaciones, incluyendo motores de búsqueda, diagnósticos médicos, detección de fraude en el uso de tarjetas de crédito, análisis del mercado de valores, clasificación de secuencias de ADN, reconocimiento del habla y del lenguaje escrito, juegos y robótica. Algunos sistemas de Aprendizaje Automático intentan eliminar toda necesidad de intuición o conocimiento experto de los procesos de análisis de datos, mientras otros tratan de establecer un marco de colaboración entre el experto y la computadora. De todas formas, la intuición humana no puede ser reemplazada en su totalidad, ya que el diseñador del sistema ha de especificar la forma de representación de los datos y los métodos de manipulación y caracterización de los mismos. Los diferentes algoritmos de Aprendizaje Automático se agrupan en una taxonomía en función de la salida de los mismos. Algunos tipos de algoritmos son: Aprendizaje supervisado El algoritmo produce una función que establece una correspondencia entre las entradas y las salidas deseadas del sistema. Un ejemplo de este tipo de algoritmo es el problema de clasificación, donde el sistema de aprendizaje trata de etiquetar (clasificar) una serie de vectores utilizando una entre varias categorías (clases). La base de conocimiento del sistema está formada por ejemplos de etiquetados anteriores. Este tipo de aprendizaje puede llegar a ser muy útil en problemas de investigación biologica, biologia computacional y bioinformatica. Aprendizaje no supervisado Todo el proceso de modelado se lleva a cabo sobre un conjunto de ejemplos formado tan sólo por entradas al sistema. No se tiene información sobre las categorías de esos ejemplos. Por lo tanto, en este caso, el sistema tiene que ser capaz de reconocer patrones para poder etiquetar las nuevas entradas. Comentario [CJ4]: No sólo en estas áreas! Aprendizaje semisupervisado Este tipo de algoritmos combinan los dos algoritmos anteriores para poder clasificar de manera adecuada. Se tiene en cuenta los datos marcados y los no marcados. Aprendizaje por refuerzo El algoritmo aprende observando el mundo que le rodea. Su información de entrada es el feedback o retroalimentación que obtiene del mundo exterior como respuesta a sus acciones. Por lo tanto, el sistema aprende a base de ensayo-error. Transducción Similar al aprendizaje supervisado, pero no construye de forma explícita una función. Trata de predecir las categorías de los futuros ejemplos basándose en los ejemplos de entrada, sus respectivas categorías y los ejemplos nuevos al sistema.

6 Aprendizaje multi-tarea Métodos de aprendizaje que usan conocimiento previamente aprendido por el sistema de cara a enfrentarse a problemas parecidos a los ya vistos DIFERENCIAS Y SIMILITUDES Entre todos los términos definidos anteriormente, existen elementos que comparten entre sí y también hay otros en los que difieren: Diferencias: Algunos métodos de análisis tratan de excluir la interacción humana lo mejor posible como por ejemplo el aprendizaje de máquinas, mientras que otros es muy importante dicha interacción como por ejemplo el descubrimiento de nuevo conocimiento en bases. No en todos los métodos se debe tener una base de datos establecida en la cual trabajar. Similitudes: Algo que tienen en común estos métodos para el análisis de datos es que un elemento clave que comparten es que sirven para obtener información o conocimiento importante de una serie de datos. Los requisitos y necesidades de la organización o ente interesado, deben ser satisfechos correctamente para evitar inconsistencias y poder obtener lo que se busca. El descubrimiento de nuevo conocimiento en bases de datos utiliza la minería de datos durante su proceso, para obtener patrones y datos ocultos. El reconocimiento de patrones es parte fundamental de la minería de datos. Varios métodos se apoyan en el análisis estadístico.