UNIVERSIDAD VERACRUZANA TESINA. Eudocio Villa Hernández. M.T.E. María Luisa Velasco Ramírez

Transcripción

1 UNIVERSIDAD VERACRUZANA Facultad de Contaduría y Administración Propuesta de un modelo de Minería de Datos para el Datamart propuesto para el Sistema de Asignación de Sinodales TESINA Para obtener el Título de: Licenciado en Sistemas Computacionales Administrativos Presenta: Eudocio Villa Hernández Asesor: M.T.E. María Luisa Velasco Ramírez Xalapa-Enríquez, Veracruz Marzo 2010

2 Dedicatoria Este proyecto y toda mi vida estudiantil que llevo hasta el momento es dedicado a Dios y su hijo Jesucristo por ser quienes me han apoyado en toda situación dándome las fuerzas necesarias para continuar luchando día a día y seguir adelante rompiendo todas las barreras que se me presenten pero sobre todo porque gracias a ellos he llegado hasta aquí y sé muy bien que de su mano me seguirá guiando a lo largo de mi camino. Esto no lo pude haber terminado sin la ayuda de mis padres que me educaron a sus posibilidades, dándome lo mejor de ellos ya que desde muy pequeño me inculcaron la responsabilidad, la constancia, la humildad y el deseo de hacer lo que me propusiera. Gracias Francisco Villa por haberme forjado todo este tiempo y hacerme un hombre de bien, gracias Sara Hernández por enseñarme que la vida no es fácil y que hay que trabajar muy duro para lograr lo que se quiere, pero sobre todo quiero agradecerles por haberme dado la vida. Quiero agradecerles a mis hermanas por haber estado conmigo y apoyarme en todo momento, han hecho muchas cosas por mí, y siempre estarán en mi corazón. Yuriana Hernández llegaste en el momento más indicado en mi vida, eres con la persona que he pasado mis mejores experiencias, forjaste, puliste y guiaste mis sueños, mis metas, siempre agradeceré tu compañía, tus consejos, tu confianza, los ánimos, las enseñanzas de la vida que me has dado, gran parte de esto es gracias a ti gracias por hacerme feliz, te amo mi angelito. Desde muy pequeño hubo dos personas que siempre estuvieron conmigo, jugando, peleando, experimentado, estudiando, riendo, aprendiendo, conviviendo, viajando, crecimos juntos, conocimos nuestros sueños, nuestras metas, siempre nos apoyamos a nuestra capacidad, siempre estamos cuando necesitamos de alguno de nosotros, Luis del Ribero y Abner David, los quiero mucho amigos.

3 Esta etapa ha sido la más hermosa de mi vida, pero también de las más difíciles, gracias a Dios conocí a mis mejores amigos, unos chavos con muchos sueños, anhelos, diferentes formas de pensar, diferentes estilos, pero todos con el mismo objetivo, que es salir adelante y dar lo mejor de nosotros mismos, ellos siempre estuvieron en todo momento conmigo, les agradezco por haberme compartido parte de su vida y de sus tiempo, por esto y por mas mil gracias Chino, Chuchin, Miguel, Papu, Tito, Charli y Abe, por haber estado conmigo. No quiero dejar de mencionar a unas personas que cambiaron mi vida laboral y me mostraron su apoyo incondicional a lo largo de este tiempo, para que fuera una persona de bien, Israel López, Onésimo Morales, Alfredo Peña, Pablo Ortega y Alberto Barrera. A lo largo de esta vida he conocido muchísimas personas de las cuales estoy muy agradecido, aportaron demasiado a mi crecimiento profesional y como persona, siempre las llevare en mi mente agradeciendo lo que hicieron por mi, no he querido mencionar nombres pero si estás leyendo este texto, es porque eres alguien muy importante en mi vida y puedes tener por seguro que estas líneas son para ti. Este trabajo es dedicado a mi asesora de Tesina, la Mtra. María Luisa Velasco Ramírez quien me ayudo a culminar este trabajo, con su apoyo y consejos, pero sobre todo por su tiempo en darme correcciones para que esta tesina fuera de calidad. Gracias por su apoyo. No me basta, más que decir Gracias Es la magia de arriesgarlo todo por un sueño, que nadie ve, más que uno mismo

4

5 Resumen..1 Introducción....2 Capítulo I. Marco Teórico Análisis de los datos para generar conocimiento Estructura de los datos Definición de KDD Panorama del proceso de KDD Modelos procesos de descubrimiento de conocimiento Modelo de investigación académica Modelo industrial Proceso de descubrimiento de conocimiento en las bases de datos Análisis de los datos Necesidad de análisis de los datos Análisis descriptivos Análisis exploratorio Los datos La información Las bases de datos Descubrimiento de conocimiento en las bases de datos Descubrimiento del aprendizaje computacional Recopilación de almacén de datos.28 III

6 Almacén de datos Arquitectura de los almacenes de datos Carga y mantenimiento de los almacenes de datos.35 Capítulo II. Minería de datos; Datos para generar Datos Raíces de la Minería de Datos Concepto de Minería de Datos Metodologías de Minería de Datos CRISP-DM Proceso SEMMA Sample (Muestra) Explorer (Explorar) Modify (Modificar) Model (Modelo) Assess (Evaluación) Proceso de DM según Kantardzic Estado del problema y formulación de hipótesis Recoger los datos Procesamiento de los datos Estimación del modelo Interpretar el modelo y extraer conclusiones.50 IV

7 2.4. Aplicación de DM Minería de datos: Métodos para construir modelos de datos Algoritmos de aprendizaje supervisado Algoritmos de aprendizaje no supervisado Técnicas de clasificación Definición de clasificación Clasificación bayesiana Teorema de Bayes Clasificador Bayesiano Naive Redes Bayesianas Clasificación por arboles de decisión Algoritmo ID Algoritmo C Clasificación por medio de redes neuronales Entrada y salida de codificación de las redes neuronales Redes neuronales para estimación y predicción Herramientas de ayuda para la minería de datos R-PROJECT Knime SPSS Clementine..72 V

8 SAS Enterprise Miner Rapid Miner Weka KXEN Orange.76 Capítulo III Propuesta de un modelo de Minería de Datos para el Datamart del sistema de asignación de Sinodales Propuesta del modelo Data Mining para el sistema de asignación de sinodales Estructura y módulos del sistema de apoyo a la toma de decisiones de sinodales Beneficios del modelo de Minería de datos para el sistema de asignación de Sinodales Procesamiento de la extracción del conocimiento Selección y procesado de los datos Selección de características Uso de un algoritmo de Extracción del conocimiento Interpretación y evaluación de resultados Alcance de la propuesta de minería de datos Objetivo general de la propuesta Objetivos particulares de la propuesta...87 VI

9 4. Capítulo IV. Propuesta del Modelo de Minería de Datos Propuesta del modelo de minería de datos Descripción del modelo de minería de datos Panorama (SSAS) Implementación del algoritmo de arboles de decisión Generar el árbol Descripción de los atributos del Datamart Aplicación del modelo de Arboles de decisión al Datamart Información recopilada al aplicarse el algoritmo de Data Mining.100 CONCLUSIONES FUENTES DE INFORMACIÓN. 108 ÍNDICE DE FIGURAS.111 ÍNDICE DE TABLAS VII

10 Resumen La toma de decisiones dentro de las organizaciones se ha hecho indispensable en cada una de las etapas en las que se desarrolla esta. Por tal motivo es importante adoptar las tecnologías que permiten realizar este proceso de toma de decisiones mucho más eficiente y eficaz. Por esto se habla de la minería de datos, describiendo en forma general el concepto, arquitectura, implementación y explotación de este. Y tomando el Datamart propuesto para el Sistema de Asignación de Sinodales de la facultad de Contaduría y Administración, buscando obtener los mismos beneficios de este, pero aplicados a un área en particular. Por lo cual se presenta el modelo de minería de datos propuesto, demostrando las ventajas que este traería en el proceso de toma de decisiones del sistema. 1

11 Introducción 2

12 En la sociedad actual la información cada día se va multiplicando, la cantidad de datos almacenados ha crecido de manera exponencial, la cual es excesiva y se puede llegar a perder el control de los datos, así como el enfoque por el cual está siendo almacenada. La minería de datos es una herramienta fundamental para analizar y explotar la información de forma eficaz para los objetivos de cualquier organización. La minería de datos hace uso de todas sus técnicas para que puedan aportar información útil, pasando por métodos específicos poco complejos, esto se puede lograr de manera satisfactoria con la ayuda de algún software que se complemeta con métodos y algoritmos del campo de la inteligencia artificial y el aprendizaje automático, clasificación, predicción de valores, detección de patrones, asociación de atributos etc. La minería de datos es el conjunto de técnicas y tecnologías que permiten explorar grandes bases de datos, de manera automática o semiautomática, con el objetivo de encontrar patrones repetitivos, tendencias o reglas que expliquen el comportamiento de los datos en un determinado contexto. Básicamente, el Datamining surge para intentar ayudar el contenido de un repositorio de datos. Con este fin, hace uso de prácticas estadísticas y, en algunos casos, de algoritmos de búsqueda próximos a la inteligencia artificial y a las redes neuronales. De forma general, los datos son la materia prima bruta. En el momento que el usuario les atribuye algún significado especial pasan a convertirse en información. Cuando se encuentra se elabora o se encuentra un modelo, haciendo que la interpretación que surge entre la información y ese modelo represente un valor agregado, entonces nos referimos al conocimiento. Por este motivo, la minería de datos se presenta como una tecnología emergente, con varias ventajas; por un lado, resulta un buen punto de encuentro entre los investigadores y las personas de negocios. Además, no hay duda de que 3

13 trabajar con esta tecnología implica cuidar un sinnúmero de detalles debido a que el producto final involucra la toma de decisiones. Por esta razón las organizaciones tienen como objetivo buscar y conocer las nuevas tecnologías que les permitan desarrollarse más rápidamente así como poder manejar la información generada dentro de las organizaciones con la mayor eficacia y eficiencia posible. Además de esto saber el cómo utilizarlas y aplicarlas satisfactoriamente para el beneficio de las organizaciones actuales, las cuales van a generar su propio desarrollo y una adecuada toma de de decisiones. Actualmente en la Facultad de Contaduría y Administración se creó la propuesta de Datamart para el sistema de Sistema de apoyo a la toma de decisiones para la Asignación de Sinodales, el cual hasta el momento no ha sido implementado. El objetivo de este trabajo es proponer un Modelo de minería de Datos, que permita analizar y Explotar los datos de manera del Datamart propuesto para el sistema de asignación de sinodales, de forma eficaz y satisfactoria. Por tal motivo este trabajo será realizado para extraer la información que más interesen, y cumpla con las expectativas del sistema de toma de decisiones de sinodales. Por lo que se darán a conocer los temas y conceptos más importantes a la Minería de Datos para poder comprender el tema de manera sencilla sobre la Extracción del conocimiento y sus raíces. Se explicara el funcionamiento del Datamart y sus características que se propusieron para el sistema de toma de decisiones, así como se darán a conocer el porque de la minería de datos, en conjunto con sus características, los beneficios que se obtienen con ella, las herramientas adecuadas, para poder hacer la propuesta de un algoritmo que lleve a cabo la extracción del conocimiento para satisfacer las necesidades que se tienen planteadas. 4

14 En el primer capitulo se parte de la obtención de la información de la empresa a través de los datos, para que se pueda llevar a cabo una optima toma de decisiones, se explica el surgimiento y la necesidad de la extracción del conocimiento, así como sus definiciones. En el segundo capitulo se hace énfasis a los antecedentes de la minería de datos como tal, el objetivo por el cual este proceso se lleva a cabo, las distintas metodologías que presenta, así como las posibles herramientas que son de mucha utilidad. Posteriormente en el capitulo tres, se inclina por proponer y explicar la necesidad de implantar un algoritmo de minería de datos al Datamart que fue propuesto para el sistema de asignación de sinodales en la facultad de contaduría y Administración, asi como explicar el uso de una herramienta de extracción del conocimiento, y los beneficios que se obtendrán con la proposición de un algoritmo. Finalmente en el cuarto y ultimo capitulo, se lleva a cabo la propuesta del modelo de minería de datos, con los posibles resultados que se pueden obtener a través de este modelo, para que se tenga una eficaz y eficiente toma de decisiones en base al Datamart que se propuso. 5

15 CAPITULO I: MARCO TEORICO 6

16 Introducción En este capítulo se conocerán los aspectos más importantes de los datos y la información buscando entender los beneficios que se trae con ello; la importancia que se le debe tener al análisis de la información, los beneficios que trae a las organizaciones para un manejo factible y entendible de la información y se pueda obtener una eficaz de toma de decisiones. 1.1 Análisis de los Datos para generar conocimiento En la actualidad se encuentra con una amplia variedad de ambientes donde se recogen y acumulan datos a un ritmo muy acelerado, y es cuando empieza a surgir la necesidad por una nueva generación de teorías computacionales como apoyo para los encargados de la extracción útil de información (conocimiento) así lo mencionan Fayyad, Piatetsky-Shapiro & Smith en su artículo From Data Mining to Knowledge Discovery in Databases publicado en Wright (1998) menciona que la cantidad de datos que se obtiene de la base de datos de alguna organización supera en gran cantidad la capacidad del ser humano para analizar y reducir los datos sin el uso de técnicas automatizadas. Hoy en día, está claro que se trata de una tendencia válida para los próximos años, el almacenamiento de la información es algo sencillo y barato. Los sistemas informáticos que se crean día a día tienen cada vez mayor capacidad, lo cual se incrementa el almacenamiento de los datos. Este incremento de los sistemas de almacenamiento tiende a guardar datos del funcionamiento de los procesos que lleve a cabo, por lo que las bases de datos comienzan a crecer hasta límites inimaginables. Cuando una organización se decide a iniciar el proceso de almacenamiento de datos, suele hacerse con la intención de analizarlos en el momento que 7

17 interese al usuario a obtener alguna información, pero la mayoría de las ocasiones se realizan análisis que tienden a ser superficiales. Sin embargo, en esa montaña de datos de datos existe información que no es fácil de encontrar con los procedimientos habituales a los que comúnmente los usuarios no están acostumbrados. Para esto la Minería de datos ayuda a dar un paso más en ese análisis sacando a la luz relaciones ocultas entre los datos Estructura de los datos Para que pueda analizarse de manera correcta y confiable la información con la que se cuenta, es necesario que exista cierta estructuración y coherencia entre los datos que se tenga, es decir; si el responsable del almacenamiento de la información ha sido siempre la misma persona, es posible que el problema esté resuelto, pero no siempre ocurre situación, si no que, son muchas personas que en distintos departamentos, áreas y a lo largo del tiempo se van creando bases de datos con información manejada de distinta manera. Por esta razón surge la necesidad de conjugar la información completa existente y bases de datos de manera que se pueda utilizar para extraer las conclusiones pertinentes. En la vida diaria se encuentran diferentes tipos de datos representando el mismo concepto, diferentes claves para representar el mismo elemento o diferentes niveles de precisión al representar un dato. Si se almacena la información más relevante e importante en un sistema que solo acumule y acumule, un análisis razonable puede descubrir tendencias, localizar grupos de datos con comportamiento homogéneo, establecer relaciones, etc. Esta información esta oculta en los datos y será necesario utilizar todas las técnicas que se tengan al alcance alcance para obtener mejores resultados. Esto 8

18 le dará paso a que la minería de datos se encargue de encontrar el modelo óptimo para lograr la extracción del conocimiento. Por tal motivo en capítulo se plantea el proceso de descubrimiento de conocimiento (KDD: Knowledge DIscovery in Database), como una sucesión de pasos para obtener conocimiento de algún almacén de datos y que pueda ser útil para los usuarios interesados y a la vez estos mismos obtengan resultados favorables Definición de KDD De manera general, los datos son la materia prima bruta. En el momento en que el usuario les atribuye algún significado especial pasan a convertirse en información. Cuando los especialistas empiezan a modelar o encuentran un modelo para la extracción del conocimiento, hacen que la interpretación de la información y ese modelo represente un valor agregado, a lo que conlleva que es el conocimiento. El KDD apunta a procesar automáticamente grandes cantidades de datos para encontrar conocimiento útil en ellos, de esta manera permitirá al usuario el uso de esta información valiosa para su conveniencia. El KDD es el proceso no trivial de identificación de patrones validos, novedosos, que son potencialmente útiles, que en última instancia son comprensibles a partir de los datos. Para Ciost et. al. (2007) en su obra en ingles Data Mining A Knowledge Discovery Approach, se entiende por descubrimiento de conocimiento en Bases de Datos como el proceso no trivial de identificación válida, novedosa, potencialmente útil, y en última instancia entendiendo patrones en los datos. Dicho concepto se toma de la definición original de Fayyad, el cual explica que se entiende por proceso no trivial al proceso de búsquedas no meramente como simples cálculos, 9

19 si no que se añade un valor agregado a la inferencia de un patrón en un conjunto de datos en una base de datos Panorama general del proceso de (KKD) Desde la década de 1990 se han venido desarrollando modelos para el proceso de descubrimiento de conocimiento, de las cuales los primeros esfuerzos dirigidos a la investigaciones académicas y posteriormente seguidos por la industria. La primera estructura básica de un modelo fue propuesta por Fayyad (citados en Cios et al., 2007 y posteriormente modificada por otros. El proceso se compone en una seria de pasos, que se van ejecutando iterativa e interactivamente. Figura 1.1 Proceso KDD (Fayyad Cios et al., 2007) 10

20 Modelo del proceso de descubrimiento de conocimiento Cios et al. (2007) presenta una serie de modelos para el proceso de descubrimiento de conocimiento que se han usado e proyectos con el fin de generar conocimiento Modelo de investigación académica Los primeros esfuerzos para establecer un modelo de proceso de descubrimiento de conocimiento (KDP) se iniciaron en la academia a mediados de Se desarrollaron dos modelos, uno se desarrollo en 1996 que es el modelo de nueve pasos de Fayyad et al. Y el segundo modelo es el de ocho pasos creados por Anand y Buchner en De acuerdo a Fayyad et al. El KDD consiste en nueve pasos que son: 1. Desarrollo y entendimiento del dominio de la aplicación. En este paso de estudia el conocimiento relevante previo y que objetivos tiene el usuario final para el conocimiento nuevo descubierto. De acuerdo a Reyes (2005) este primer paso de puede dividir en tres subetapas que son: a. Aprendizaje del tema. Se debe conocer el proceso que está detrás de donde se genera la información para poder seleccionar las variables correctas. b. Recolección de datos. Se debe saber cuáles son los datos correctos y de que fuentes provienen, como pueden ser combinados los datos y que fuentes son confiables y cuáles no. c. Experiencia en análisis de datos. Al llevar a cabo Minería de Datos se debe saber sobre estadística. 11

21 2. Creación de la base de datos de trabajo. Se seleccionan un conjunto de atributos que serán usados para realizar tareas de descubrimientos con el fin de evitar redundancias e inconsistencias de los datos. 3. Limpieza y pre-procesamiento de los datos. Se incluyen operaciones básicas sobre los datos, como el filtrado para reducir el ruido y decidir que hacer con datos faltantes. 4. Reducción de datos y proyección. En este paso se van a encontrar atributos útiles para poder aplicar reducción de dimensiones y métodos de transformación y así encontrar la representación invariante de los datos. 5. Elegir la función del algoritmo de Minería de datos. Se va a elegir un modelo específico de Minería de datos que puede ser la clasificación, regresión, clustering, entre otros. 6. Elegir el algoritmo de Minería de datos. Se va a seleccionar el método que se va a usar para la búsqueda de patrones en los datos, eligiendo el algoritmo más adecuado para cumplir con el objetivo. 7. Interpretación. Se hace la visualización del modelo extraído y la visualización de los datos basados en los modelos extraídos. 8. Interpretación. Se hace la visualización del modelo extraído y la visualización de los datos basados en los modelos extraídos. 9. Consolidación del conocimiento obtenido. Se incorpora el conocimiento adquirido en el sistema y se comunica a las partes interesadas. En este paso es donde se puede comprobar o replantear conocimiento que se creía correcto. El modelo de nueve pasos se ha incorporado a un sistema comercial de descubrimiento de conocimiento MineSet, así como también en ingeniería, medicina, producción, e-business, y desarrollo de software. 12

22 Modelo Industrial Siguiendo los esfuerzos académicos, se emprendieron nuevos esfuerzos por crear modelos enfocados a aspectos industriales. Dos modelos representativos en el ámbito industrial son. El modelo de cinco pasos formulado por Cabena citado en Cios et al. (2007) con apoyo de IBM y el modelo industrial de seis pasos CRISP-DM (Cross-Industry Standard Process for Data Mining) diseñado por un consorcio de compañías europeas, el cual se describe a continuación por ser el más representativo. El modelo para el proceso de descubrimiento de conocimiento CRISP-DM consiste en seis etapas que se presentan a continuación: 1. Entendiéndose el negocio. Este primer paso se enfoca en el entendimiento de las exigencias y los objetivos desde la perspectiva del negocio, convirtiéndose en la definición del problema de Minería de datos (DM) donde se diseña un plan preliminar del proyecto a alcanzar. Se puede identificar otras subtareas a lo largo del entendimiento del negocio que son: a. Determinación de objetivos del negocio. b. Evaluación de la situación. c. Determinación del objetivo del DM, y d. Generación de un plan de proyecto. 2. Entendimiento de los datos. Se inicia con la recolección y familiarización de los datos, desglosándose en: a. Colección de datos iníciales. b. Descripción de datos. 13

23 c. Exploración de datos, y d. Verificación de la calidad de los datos. 3. Preparación de los datos. Se reúnen todas las actividades necesarias para construir los datos finales que serán introducidos en la herramienta de DM. Se incluyen tablas, registros y selección de atributos; limpieza de los datos; construcción de nuevos atributos y transformación de los datos esto se divide en : a. Selección de los datos. b. Limpieza de los datos. c. Construcción de datos. d. Integración de datos, y e. Formato de datos. 4. Modelado. Se seleccionan las técnicas de modelado para poder aplicarlas, a menudo es necesario reiterar el paso anterior. Este paso se divide en: a. Selección de técnicas de modelado. b. Generar el diseño de prueba. c. Creación del modelo, y d. Evaluación de modelos generados. 5. Evaluación. Después de haber generado varios modelos a partir de una base de datos, el modelo se evalúa desde una perspectiva de los objetivos del negocio. Se incluyen los siguientes pasos: a. Evaluación de los resultados. b. Proceso de revisión, y c. Determinación de la siguiente etapa. 14

24 6. Despliegue. En este paso de organiza el conocimiento descubierto para presentarlo al cliente de manera que pueda utilizarlo, dividiendo el paso en las siguientes subtareas: a. Plan de despliegue. b. Plan de vigilancia y mantenimiento. c. Generación de informe final, y d. Revisión del proceso de los subpasos. La característica principal y que lo diferencia del modelo académico es que antes del despliegue, de la última etapa, es posible regresar a la primera etapa y comenzar con el proceso de nuevo si se encuentra algún error. CRISP-DM es un modelo que se enfoca al proceso de Minería de Datos, sin embargo es posible su utilización dentro del KDP. Figura 1.2 Proceso Crisp 15

25 Proceso de descubrimiento de conocimiento en las bases de datos El descubrimiento de conocimiento en las bases de datos es el proceso de descubrimiento no trivial de identificación de patrones validos, que deben ser potencialmente útiles y comprensibles en los datos. El objetivo principal es la extracción de conocimiento de los datos, en el contexto de las bases de datos de gran tamaño. El proceso que se llevara a cabo es iterativo ya que consta de unos pasos básicos e involucra decisiones por parte del usuario, siendo interactivo. Es decir que el proceso requiere el entendimiento del dominio de la aplicación por parte del usuario. Para esto se identifican una seria de pasos de acuerdo a Reyes en Cios et al. (2007) como componentes del proceso. 1) Aprender el dominio de la aplicación. Implica el adquirir conocimiento del área de estudio del sistema y la meta que desea obtener. Consta en tres áreas. a) Aprendizaje del tema. El analista debe conocer el proceso detrás de la generación de la información para poder formular las preguntas correctas, seleccionar las variables relevantes a cada pregunta, interpretar los resultados y sugerir el curso de acción después de con que esté concluido el análisis. b) Recolección de los datos. El analista debe conocer donde se encuentran los datos correctos, como fueron obtenidos los datos de varias fuentes como se pueden combinar estos datos y el grado de confianza de cada fuente. c) Experiencia en análisis de datos. El experto en Dm debe tener conocimientos adecuados en el uso de la estadística. 2) Creación de la base de datos de trabajo. Consiste en elegir un subconjunto de variables o datos de muestra, de los cuales se obtendrá conocimiento. Esto con el fin de eliminar valores redundantes e inconsistencias en los datos de varias fuentes al juntarlos dentro de una sola base de datos. 16

26 3) Limpieza y pre-procesamiento de los datos. Incluye operaciones básicas sobre los datos como el filtrado para reducir ruido y decidir qué hacer con los datos faltantes. Otras tareas de pre procesamiento no tan evidente son: a) Derivar nuestros atributos. Crear campos explícitos entre los atributos conocidos pueden hacer el análisis mas sencillo. b) Agrupación. Donde hay relacionas a-muchos en las bases de datos, podemos convertir estas relaciones en uno-a-uno y agregar un campo de conteo o suma, que contabilice todos los registros de la relación. 4) Reducción de datos y proyección. En este paso el analista trata de buscar características útiles trata de buscar características útiles para representar los datos en función de las metas del proyecto y posiblemente también reducir las dimensiones de las bases de datos. 5) Elegir la función del algoritmo de minería de datos. El propósito del modelo se decidirá en este paso. Usualmente los algoritmos de DM realizan una de las siguientes tareas: a) Síntesis. Dados una gran cantidad de atributos, es necesario sintetizar los datos usando varias reglas características que simplificaran la construcción del modelo. b) Asociación. Los algoritmos en esta clase generan reglas que asocian patrones de transacciones con cierta probabilidad. c) Agrupamiento. Agrupar objetos dentro de clases, basados en sus características, maximizando la semejanza entre clases diferentes. d) Clasificación y predicción. Categorizar datos basándose en un conjunto de datos de entrenamiento y hacer un modelo para cada clase. Este modelo sirve para clasificar los nuevos datos agregados a la base de datos. 6) Elegir el algoritmo de minería de datos. La tarea consiste en seleccionar el método a ser usado para la búsqueda de patrones en los datos. Esto refina el 17

27 alcance de la tarea anterior para utilizar el algoritmo mas adecuado que ayude a alcanzar el objetivo final. 7) Mineria de datos. Es el paso de análisis propiamente dicho. 8) Interpretación. Consiste en entender los resultados del análisis y sus implicaciones y puede llevar a regresar a alguno de los pasos anteriores. Hay técnicas de visualización que pueden ser útiles en este paso para facilitar el entendimiento. 9) Utilización del conocimiento obtenido. La aplicación de lo spatrones extraidos puede implicar uno de los siguientes objetivos. a) Descripción. La meta es simplemente obtener una descripción del sistema bajo estudio. b) Predicción. Las relaciones obtenidas son usadas para realizar predicciones de situaciones fuera de la base de datos. c) Intervención. Los resultados pueden conducir a una intervención activa en el sistema modelado. El paso central del KDD, la minería de datos, es un método de análisis apropiado cuando partimos de una pregunta vaga con muchas relaciones posibles por evaluar, por ejemplo Qué grupos de clientes tienden a comprar el producto X? por otro lado, si la pregunta es especifica, los métodos estadísticos clásicos resultan más adecuados para abordar el estudio Análisis de los datos Este paso se trata de analizar los datos para confirmar una posible hipótesis sobre los mismos, y algún tipo de herramienta para el análisis es usada para construir el modelo. En general, la idea es entender como ciertos grupos se 18

28 comportan de una u otra manera, determinar reglas que rijan el comportamiento de un segmento que nos interese de la población. Las herramientas que comúnmente se utilizan para el análisis mencionadas por Reyes en Cios et al. (2007) suelen ser: Basadas en algoritmos: Incluyen técnicas estadísticas o utilización de algoritmos como redes neuronales, arboles de decisión, etc. Basadas en la visualización: La hipótesis en este tipo de herramientas se presenta en forma grafica. El grafico producido es un modelo que el analista puede analizar. las técnicas de la visualización de datos se ha convertido en un método muy utilizado para descubrir patrones en los datos porque causan un impacto directo en el analista o usuario. Las técnicas de visualización se utilizan en algunos pasos previos del proceso del descubrimiento del conocimiento, se pueden utilizar para visualizar el modelo producido por un determinado algoritmo de Data Mining, o en la parte del pre-procesamiento para visualizar todos los datos en general. El analista trata de utilizar y combinar estas dos técnicas respectivamente. Los resultados de una técnica ayudan a mejorar las entradas que utilizara la otra, o así sucesivamente. Para obtener mejores resultados de la relación entre estas dos técnicas es sumamente importante en todo el proceso KDD Necesidad del análisis de los datos Analizar significa consiste en establecer inferencias sobre las relaciones entre las variables estudiadas para extraer conclusiones y recomendaciones (Kerlinger, 1982). Lebart et al (1995) menciona que la naturaleza de la información en ciencias humanas y sociales hace que la única alternativa para el análisis de la 19

29 información de sus investigaciones, cuando es posible presentarla en tablas de datos, es recurrir a los métodos estadísticos descriptivos y exploratorios, de los cuales, los más importantes, se pueden agrupar así: Análisis descriptivos Este análisis incluye una descripción de la finalidad del estudio, la localidad y personas comprometidas, y sus generalidades usualmente se presentan en la introducción del informe. El análisis descriptivo se centra en cómo, dónde y quien recolecto la información, lo cual implica revisar la información, identificar vínculos, patrones y temas comunes, ordenar los hechos y presentarlos como son, sin agregar ningún comentario sobre su importancia. El orden de estos resultados puede ser cronológico, según la secuencia de observación de los hechos, o jerárquicos, de acuerdo a la importancia de los temas. La introducción y la sección del análisis descriptivo del informe deben responder las siguientes preguntas básicas. La sección de la introducción: Dónde se realizo el estudio? Cuáles son las condiciones físicas y climáticas? Cuándo se realizo el estudio? Por qué? Cuáles fueron los objetivos y los resultados esperados del estudio? Quién realizo el estudio? Qué métodos y herramientas se usaron? Por qué? Cómo participaron las personas en el estudio? Qué grupos étnicos, idiomas u otros grupos participaran? Cómo se compara el nivel de participación logrando en su estudio con el carácter distintivo de la participación comunitaria? 20

30 Sección de resultados: Incluirá resultados en cuanto a: Método y herramienta de investigación usados. Núcleo de prácticas de higiene. Cualquier otro orden relevante Análisis exploratorio La finalidad del análisis exploratorio de datos (AED) es examinar los datos previamente a la aplicación de cualquier técnica estadística. De esta forma el analista podrá conseguir un entendimiento básico de sus datos y de las relaciones existentes entre las variables analizadas. El AED proporciona métodos sencillos para organizar y preparar los datos, detectar fallos en el diseño y recogida de datos ausentes, así como identificación de casos atípicos y comprobación de los supuestos subyacentes en la mayor parte de las técnicas multivariantes. Se puede decir que el análisis exploratorio de los datos (AED) son un conjunto de técnicas estadísticas cuya finalidad es conseguir un entendimiento básico de los datos y de las relaciones existentes entre las variables analizadas. Para conseguir dicho objetivo el (AED) proporciona métodos sistemáticos sencillos para organizar y preparar los datos, detectar fallos en el diseño y recogida de los mismos, tratamiento y evaluación de datos ausentes, identificación de casos atípicos y comprobación de los supuestos subyacentes en la mayor parte de las técnicas multivariantes. 21

31 Los datos Para poder tener información es necesario contar con los datos que satisfarán y dar lugar a la información. Un dato es un elemento discreto sin valor (Giner de la fuente, 2004, p. 56) que puede venir de fuentes internas de las empresas y de fuentes externas como la política, la economía, la tecnología, sociedad entre otras. El tipo de dato es el conjunto de valores que pueden tomar durante el programa. Un dato es un conjunto discreto, de factores objetivos sobre un hecho real. El concepto de dato es definido como un registro de transacciones. Un dato por sí mismo no dice nada sobre el porqué de las cosas, ya que no tiene ninguna relevancia o propósito. En la actualidad las organizaciones normalmente suelen almacenar datos mediante el uso de tecnologías. En la actualidad las organizaciones normalmente suelen almacenar datos mediante el uso de tecnologías. Los datos describen únicamente de lo que pasa es la realidad y no proporcionan juicios de valor o interpretaciones, y por lo tanto no son orientativos para la acción. Tenemos que la toma de decisiones se basa en los datos, pero estos nunca dirán lo que se tiene que hacer. A pesar de todo, los datos no dicen nada acerca de lo que es importante para las organizaciones, ya que son la base para la creación de la información La información En la actualidad las organizaciones han notado que la información se hace notar como elemento sumamente importante de los sistemas de información, Wislow, Charles y Bramer & William (citados en Giner de la fuente 2004) mencionan que al no asignarle a la información un contexto y aplicabilidad no se sabe que hacer con ella; sin embargo si se sabe donde acomodarla y como ponerla en practica, se entiende que se obtiene conocimiento. 22

32 La información es un recurso vital para toda organización, y el buen manejo de esta puede significar la diferencia entre el éxito o el fracaso para todos los proyectos que se emprendan dentro de un organismo que busca el crecimiento y el éxito. Dentro de las organizaciones, se sabe muy bien que para llegar a la solución de una problemática se necesita de información que posteriormente se puede convertir en conocimiento para poder realizar una toma de decisión correcta y benefactora para la misma y así poder aportar la solución más conveniente. El proceso de convertir información en conocimiento puede tener dos efectos muy relevantes dentro de una organización y son: Uno, que la organización tenga enormes volúmenes de datos que no puedan formar información útil para la toma de decisiones. Dos, que se analice la información de manera exhaustiva que aporte poco valor y no se llegue a obtener conocimiento. Los directivos de las organizaciones deben saber identificar los factores críticos que permitan la dirección de la empresa o departamento para poder construir modelos de información que accedan a la gestión donde la información se va a proporcionar por las Tecnologías de la Información y la Comunicación. (TIC) En 1961, Daniel Ronald considerado como el padre de los factores críticos, señalaba que el sistema de información de una empresa tiene que ser discriminatorio y selectivo. Actualmente el hecho de poseer información y poder obtener conocimiento para poder dirigir una empresa o poder tomar decisiones en la sociedad del conocimiento no quiere decir que se tiene que incorporar mayor número de 23

33 tecnologías, significa saber convertir la información en un valor para el conocimiento. El término sociedad del conocimiento se introduce por el autor japonés Sakaiya e 1995, para describir una visión de la estructura de la sociedad futura, haciendo uso de otro termino valor-conocimiento, que es el valor que una sociedad da a aquello que se reconoce como saber creativo Las bases de datos Las bases de datos se crearon gracias a las necesidades de las grandes empresas para almacenar inimaginables cantidades de información de una forma rápida, sencilla y fiable, y que a su vez pudieran acceder a ella en cualquier momento sin necesidad de desplazarse a salas dedicadas a archivar documentación, como hasta hace un tiempo venía haciéndose. Cuando un individuo o alguna organización decide recabar datos, se tiene que tener presente donde se van a tener almacenados y es aquí donde las bases de datos son los elementos dentro de un sistema de información que se encarga de guardar organizadamente los datos. De la Fuente (2004) define a las bases de datos como un componente más de los sistemas de información y como cajas, un archivo capacitado para recoger y mantener datos. Podemos entender que se trata de un conjunto de datos interrelacionados y almacenados sin redundancias innecesarias, los cuales sirven a las aplicaciones sin estar relacionados de una manera directa entre ellos. Los datos que se ingresan a la base de datos requieren ser mantenidos, es decir, que deben actualizarse, modificarse, darse de baja, refrescarse, entre otras tareas que se hacen de manera sencilla cuando se realiza de forma automatizada haciendo uso de los sistemas gestores de Bases de Datos (SGBD). En una organización comúnmente manejan más de un sistema de información lo que implica que exista un sin fín de bases de datos que pueden llegar a ser explotadas para obtener información a través de datos dispersos en 24

34 las bases existentes. Así como hay muchas bases de datos, estas pueden ser de diferentes tipos. Bases de datos operacionales. Bases de datos analíticas. El Datawarehouse y el Datamart. Bases de datos distribuidas. Bases de datos de usuarios finales. Bases de datos externas. Al categorizar a las bases de datos también es importante que se tome en cuenta las estructuras y los métodos de acceso a los datos almacenados, donde las formas que pueden tomar las bases de datos en cuanto a la forma de organizar los datos, a las reglas y protocolos, pueden ser: Estructura jerárquica. Primera estructura diseñada para bases de datos en Mainframe. Estructura de red. Se utiliza aun en paquetes mainframe, permite relaciones de muchos a muchos. Estructura relaciona. Estructura mas conocida, utilizada por PCs y Mainframe, mejores tiempos de respuesta. Se forma de tablas con indicadores. Estructura multidimensional. Se define como una variación del modelo relacional, se caracteriza por usar un diseño basado en dimensiones. Tanto las bases de datos relacionales como las multidimensionales, pueden construirse en forma física mediante los modelos copo de nieve y modelo estrella. 25

35 1.5. Descubrimiento de conocimiento en las bases de datos Descubrimiento de aprendizaje computacional Se le llama así a los sistemas inteligentes que tienen la posibilidad de adaptar su comportamiento futuro respecto a experiencias obtenidas del pasado. El aprendizaje implica cambios de adaptación en el sistema, que permita llevar a cabo las mismas tareas a partir de las mismas condiciones de un modo cada vez más eficiente y más eficaz. Para que se puedan resolver problemas de aprendizaje necesitamos adecuados mecanismos de resolución de problemas y técnicas de representación de conocimientos. Se puede decir que el aprendizaje se realiza mediante dos fenómenos. La perfección de una habilidad: consiste en que el sistema produce respuestas óptimas conforme se va ejecutando a través del tiempo, y La adquisición de conocimiento: el sistema recoge y cataloga de forma supervisada o automática información desde el exterior para utilizarla en posteriores consultas. Como alternativa a los métodos estadísticos tradicionales surge lo que se conoce como machine learning o aprendizaje computacional, una disciplina derivada de la inteligencia artificial, que permite implementar algoritmos para extraer reglas y patrones a partir de grandes cantidades de datos. Los algoritmos de aprendizaje son una parte integral de KDD. Las técnicas de aprendizaje podrían ser supervisadas o no supervisadas. En general, las técnicas de aprendizaje dirigidas disfrutan de un rango de éxito definido por la utilidad del descubrimiento del conocimiento. De acuerdo a Brachman R.J in Advances et al. En Knowledge Discovery And Data Mining (1996) Hay muchos métodos diferentes que son clasificados como las técnicas de KDD. Hay métodos cuantitativos, como los probabilísticos y los estadísticos. Hay métodos que utilizan las técnicas de visualización. Hay métodos de clasificación Bayesiana, lógica inductiva, descubrimiento de modelado de datos y análisis de 26

36 decisión. Otros métodos incluyen la desviación y tendencia al análisis, algoritmos genéticos, redes neuronales y los métodos hibridos que combinan dos o mas técnicas. Debido a las maneras en que estas técnicas pueden usarse y combinarse, hay una falta de acuerdos de cómo estas técnicas debes categorizarse. Método probabilístico Esta familia de técnicas KDD utiliza modelos de representación grafica para comparar las diferentes representaciones del conocimiento. Estos son útiles para aplicaciones que involucran incertidumbre y aplicaciones estructuradas tal que una probabilidad puede asignarse a cada uno de los resultados o pequeña cantidad del descubrimiento del conocimiento. Las técnicas probabilísticas pueden usarse en los sistemas de diagnostico, planeación y sistemas de control de acuerdo a Fayyad U.M et al en Advances In Knowledge Discovery And Data Mining (1996). Método estadístico El método estadístico usa la regla del descubrimiento y se basa en las relaciones de los datos. El algoritmo de aprendizaje inductivo puede seleccionar automáticamente trayectorias útiles y atributos para construir las reglas de una base de datos con muchas relaciones Hsu, C.N In Advances In knowledge discovery And Data mining (1996). Este tipo de inducción es usado para generalizar los modelos en los datos y construir las reglas de los modelos nombrados. El proceso analítico (OLAP) es un ejemplo de un método orientado a la estadística. 27

37 Método de clasificación La clasificación es probablemente el método más viejo y mayormente usado de todos los métodos de KDD, de acuerdo a Quinlan, J.R. Programs For Machine Learning. (1993). Este método agrupa los datos de acuerdo a similitudes o clases. Hay muchos tipos de clasificación de técnicas y numerosas herramientas disponibles que son automatizadas Recopilación de almacenes de datos Las primeras fases del KDD determinan que las fases sean capaces de extraer conocimiento valido y útil a partir de la información original. Generalmente encontramos la información que se requiere investigar sobre un cierto dominio de la organización se encuentra en: Bases de datos y otras fuentes muy diversas. Tanto internas como externas. Muchas de estas fuentes son las que se utilizan para el trabajo transaccional Almacenes de datos Cada día la información es fundamental e indispensable en la toma de decisiones por parte de la gerencia de cualquier empresa. Los almacenes de datos se han convertido en piezas claves en el entorno empresarial. Un almacén de datos es una colección de datos orientada a un determinado ámbito: empresa, organización, etc., integrado, no volátil y variable en el tiempo, que ayuda a la toma de decisiones en la entidad en la que se utiliza. Sobre todo, 28

38 de un expediente completo de una organización, más allá de la información transaccional y operacional, almacenando en una base de datos diseñada para favorecer el análisis y la divulgación eficiente de datos. El almacenamiento de los datos no debe usarse con datos de uso actual. Los almacenes de datos contienen a menudo grandes cantidades de información que se subdividen a veces en unidades lógicas más pequeñas dependiendo del subsistema de la entidad del que proceda o para el que sean necesario. Bill Inmon fue uno de los primeros autores en escribir sobre el tema de los almacenes de datos, define un Datawarehouse en términos de las características del repositorio de datos: Orientado a temas. Los cambios producidos en los datos están organizados de manera que todos los elementos de datos relativos al mismo evento u objeto del mundo real queden unidos entre sí. Variante en el tiempo. Los cambios producidos en los datos a lo largo del tiempo quedan registrados para que los informes que se puedan generar reflejen esas variaciones. No volátil. La información no se modifica ni se elimina, una vez almacenado el dato, este se convierte en información de solo lectura, y se mantiene para futuras consultas. Integrado. La base de datos contiene los datos de todos los sistemas operacionales de la organización, y dichos datos deben ser consistentes. Inmon defiende una metodología descendente (top down) a l ahora de diseñar un almacén de datos, ya que de esta forma se consideran mejor todos los datos corporativos. En esta metodología los Datamarts se crearan después de haber terminado el Datawarehouse completo en la organización. Otro conocido autor es Ralph Kimball quien define al almacén de datos como una copia de las transacciones de datos específicamente estructurada para la consulta y el análisis también Kimball determino que un Datawarehouse no era 29

39 más que la unión de todos los Data marts de una entidad defiende por tanto una metodología ascendente (bottom-up) a la hora de diseñar un almacén de datos. Función de un almacén de datos En un almacén de datos lo que se quiere es contener datos que son necesarios o útiles para una organización, es decir, que se utiliza como un repositorio de datos para posteriormente transformarlos en información útil para el usuario. Un almacén de datos debe entregar la información correcta a la gente indicada en el momento óptimo y en el formato adecuado. El almacén de datos da respuesta a las necesidades de usuarios expertos, utilizando Sistema de Soporte a las Decisiones (DSS), Sistema de Información Ejecutiva (EIS) o herramientas para hacer consultas o informes. Los usuarios finales pueden hacer fácilmente consultas sobre sus almacenes de datos sin tocar o afectar la operación del sistema. En el Funcionamiento de un almacén de los datos son muy importantes las siguientes ideas: Integración de los datos provenientes de bases de datos distribuidas por las diferentes unidades de la organización y que con frecuencia tendrán diferentes estructuras (fuentes heterogéneas). Se debe facilitar una descripción global y un análisis comprensivo de toda la organización en el almacén de datos. Separación de los datos usados en operaciones diarias de los datos usados en el almacén de datos para los propósitos de divulgación, de ayuda en la toma de decisiones, para el análisis y para operaciones de control. Ambos tipos de datos no deben coincidir en la misma base de datos, ya que obedecen a objetivos muy distintos y podrían entorpecerse entre sí. Periódicamente, se importan datos al almacén de datos de los distintos sistemas de planteamiento de recursos de la entidad (ERP) y de otros sistemas de software relacionados con el negocio para la transformación posterior. Es práctica común normalizar los datos antes de combinarlos en el almacén de datos 30