TÉCNICAS DE ANÁLISIS DE DATOS

Transcripción

1 TÉCNICAS DE ANÁLISIS DE DATOS APLICACIONES PRÁCTICAS UTILIZANDO MICROSOFT EXCEL Y WEKA José Manuel Molna López Jesús García Herrero 2006

2 PRÓLOGO Estos apuntes pretenden dar una vsón general de las técncas de análss de datos y de las aplcacones que las mplementan, permtendo entender los conceptos y algortmos sobre los que se basan las técncas así como el resultado de su aplcacón sobre dversas fuentes de fcheros. Estos apuntes son una recoleccón de nformacón de muy varadas fuentes, págnas de ntenet, artículos etc.. todas ellas aparecen ctadas. De entre todas ellas cabe resaltar el trabajo fn de carrera de Davd Sánchez ttulado Data Mnng medante Sstemas Clasfcadores Genétcos. Análss comparatvo con las técncas cláscas mplementadas en WEKA, en la ttulacón de Ingenería Informátca (Julo 2003) donde se realza un gran esfuerzo por explcar el funconamento nterno de la herramenta WEKA y de dónde se ha extraído la nformacón acerca de las clases y el códgo que mplementa los algortmos para estos apuntes. Así tambén resulta necesaro resaltar la tess doctoral de Félx Chamorro, ya que el capítulo 2 (el estado del arte) se pormenorzan todas las técncas de análss de datos y que ha sdo utlzado para la elaboracón de estos apuntes. Esperamos que estos apuntes sean de utldad para los alumnos que se acerquen al análss de datos y en partcular para aquellos que tengan nterés en aplcar los conocmentos teórcos en el campo de la práctca. José Manuel Molna López Jesús García Herrero

3 Índce Índce CAPÍTULO. INTRODUCCIÓN.. KDD Y MINERÍA DE DATOS..2. EL PROCESO DE KDD MINERÍA DE DATOS TECNOLOGÍAS DE APOYO ÁREAS DE APLICACIÓN TENDENCIAS DE LA MINERÍA DE DATOS 3.2. MINERÍA DE DATOS Y ALMACENAMIENTO DE DATOS ARQUITECTURA, MODELADO, DISEÑO, Y ASPECTOS DE LA ADMINISTRACIÓN DATA MINING Y FUNCIONES DE BASES DE DATOS DATA WAREHOUSE DATA WAREHOUSE Y DATA MINING 2.3. HERRAMIENTAS COMERCIALES DE ANÁLISIS DE DATOS ARQUITECTURA SOFTWARE PARA DATA MINING ARQUITECTURA FUNCIONAL ARQUITECTURA DEL SISTEMA EL DATA MINING EN LA ARQUITECTURA DEL SISTEMA 38 CAPÍTULO 2. ANÁLISIS ESTADÍSTICO MEDIANTE EXCEL ANÁLISIS DE UNA VARIABLE. ESTADÍSTICA DESCRIPTIVA E INFERENCIA 43 Técncas de Análss de Datos

4 Índce 2.2. TÉCNICAS DE EVALUACIÓN DE HIPÓTESIS ANÁLISIS DE RELACIONES ENTRE ATRIBUTOS RELACIÓN ENTRE VARIABLES NOMINALES-NOMINALES RELACIONES NUMÉRICAS-NOMINALES Comparacón de dos medas Análss de la varanza RELACIONES NUMÉRICAS-NUMÉRICAS: Regresón lneal EVALUACIÓN DEL MODELO DE REGRESIÓN Meddas de Caldad Test de Hpótess sobre modelo de regresón EJEMPLOS DE APLICACIÓN DE TÉCNICAS DE EVALUACIÓN DE HIPÓTESIS EJEMPLOS DE VALIDACIÓN DE HIPÓTESIS TÉCNICAS CLÁSICAS DE CLASIFICACIÓN Y PREDICCIÓN CLASIFICACIÓN BAYESIANA: REGRESIÓN LINEAL 90 CAPÍTULO 3. TÉCNICAS DE MINERÍA DE DATOS BASADAS EN APRENDIZAJE AUTOMÁTICO TÉCNICAS DE MINERÍA DE DATOS CLUSTERING. ( SEGMENTACIÓN ) CLUSTERING NUMÉRICO (K-MEDIAS) CLUSTERING CONCEPTUAL (COBWEB) CLUSTERING PROBABILÍSTICO (EM) REGLAS DE ASOCIACIÓN LA PREDICCIÓN REGRESIÓN NO LINEAL ÁRBOLES DE PREDICCIÓN ESTIMADOR DE NÚCLEOS LA CLASIFICACIÓN TABLA DE DECISIÓN ÁRBOLES DE DECISIÓN REGLAS DE CLASIFICACIÓN 35 Técncas de Análss de Datos

5 Índce CLASIFICACIÓN BAYESIANA APRENDIZAJE BASADO EN EJEMPLARES REDES DE NEURONAS LÓGICA BORROSA ( FUZZY LOGIC ) TÉCNICAS GENÉTICAS: ALGORITMOS GENÉTICOS ( GENETIC ALGORITHMS ) 57 CAPÍTULO 4. TÉCNICAS DE ANÁLISIS DE DATOS EN WEKA 59 INTRODUCCIÓN 59 PREPARACIÓN DE LOS DATOS 60 MUESTRA DE DATOS 60 OBJETIVOS DEL ANÁLISIS 6 EJECUCIÓN DE WEKA 62 PREPROCESADO DE LOS DATOS 64 CARACTERÍSTICAS DE LOS ATRIBUTOS 65 TRABAJO CON FILTROS. PREPARACIÓN DE FICHEROS DE MUESTRA 67 Fltros de atrbutos 68 Fltros de nstancas 72 VISUALIZACIÓN 73 REPRESENTACIÓN 2D DE LOS DATOS 73 FILTRADO GRÁFICO DE LOS DATOS 77 ASOCIACIÓN 78 AGRUPAMIENTO 83 AGRUPAMIENTO NUMÉRICO 84 AGRUPAMIENTO SIMBÓLICO 89 CLASIFICACIÓN 9 MODOS DE EVALUACIÓN DEL CLASIFICADOR 92 SELECCIÓN Y CONFIGURACIÓN DE CLASIFICADORES 95 PREDICCIÓN NUMÉRICA 203 APRENDIZAJE DEL MODELO Y APLICACIÓN A NUEVOS DATOS. 209 SELECCIÓN DE ATRIBUTOS 2 Técncas de Análss de Datos

6 Índce CAPÍTULO 5. IMPLEMENTACIÓN DE LAS TÉCNICAS DE ANÁLISIS DE DATOS EN WEKA UTILIZACIÓN DE LAS CLASES DE WEKA EN PROGRAMAS INDEPENDIENTES TABLA DE DECISIÓN EN WEKA ID3 EN WEKA C4.5 EN WEKA (J48) ÁRBOL DE DECISIÓN DE UN SOLO NIVEL EN WEKA R EN WEKA PRISM EN WEKA PART EN WEKA NAIVE BAYESIANO EN WEKA VFI EN WEKA KNN EN WEKA (IBK) K* EN WEKA REDES DE NEURONAS EN WEKA REGRESIÓN LINEAL EN WEKA REGRESIÓN LINEAL PONDERADA LOCALMENTE EN WEKA M5 EN WEKA KERNEL DENSITY EN WEKA K-MEANS EN WEKA COBWEB EN WEKA EM EN WEKA ASOCIACIÓN A PRIORI EN WEKA 236 CAPÍTULO 6. EJEMPLOS SOBRE CASOS DE ESTUDIO 239 Técncas de Análss de Datos v

7 Índce BIBLIOGRAFÍA 240 Técncas de Análss de Datos v

8 Capítulo Introduccón Capítulo. Introduccón En este texto se estuda uno de los campos que más se están estudando en estos días: La extraccón de conocmento a partr de fuentes masvas de datos. Para ello se emplean las denomnadas técncas de mnería de datos, que son algortmos capaces de obtener relacones entre dstntos atrbutos o conceptos para ayudar, por ejemplo, a la toma de decsones. Además de las técncas estadístcas se estudan las técncas de Mnería de Datos [Data Mnng] basadas en técncas de aprendzaje automátco que se mplementan en una herramenta de mnería de datos de lbre dstrbucón: WEKA. Esta herramenta permte, a partr de fcheros de texto en un formato determnado, utlzar dstntos tpos de técncas para extraer nformacón. A contnuacón se defnen los conceptos fundamentales empleados en el texto: KDD y, sobretodo, mnería de datos, así como sus prncpales característcas. Posterormente se comenta la estructura del proyecto... KDD y Mnería de Datos Hoy en día, la cantdad de datos que ha sdo almacenada en las bases de datos excede nuestra habldad para reducr y analzar los datos sn el uso de técncas de análss automatzadas. Muchas bases de datos comercales transacconales y centífcas crecen a una proporcón fenomenal. KDD [Knowledge Dscovery n Databases] [PSF9] es el proceso completo de extraccón de nformacón, que se encarga además de la preparacón de los datos y de la nterpretacón de los resultados obtendos. KDD se ha defndo como el proceso no trval de dentfcacón en los datos de patrones váldos, nuevos, potencalmente útles, y fnalmente comprensbles [FAYY96]. Se trata de nterpretar grandes cantdades de datos y encontrar relacones o patrones. Para consegurlo harán falta técncas de aprendzaje automátco [Machne Learnng] [MBK98], estadístca [MIT97, DEGR86], bases de datos [CODD70], técncas de representacón del conocmento, razonamento basado en casos [CBR, Case Based Reasonng], razonamento aproxmado, adquscón de conocmento, redes de neuronas y vsualzacón de datos. Tareas comunes en KDD son la nduccón de reglas, los problemas de clasfcacón y clusterng, el reconocmento de patrones, el modelado predctvo, la deteccón de dependencas, etc. KDD es un campo crecente: hay muchas metodologías del descubrmento del conocmento en uso y bajo desarrollo. Algunas de estas técncas son genércas, mentras otros son de domno específco. Técncas de Análss de Datos Págna de 266

9 Capítulo Introduccón Los datos recogen un conjunto de hechos (una base de datos) y los patrones son expresones que descrben un subconjunto de los datos (un modelo aplcable a ese subconjunto). KDD nvolucra un proceso teratvo e nteractvo de búsqueda de modelos, patrones o parámetros. Los patrones descubertos han de ser váldos, novedosos para el sstema (para el usuaro sempre que sea posble) y potencalmente útles. Se han de defnr meddas cuanttatvas para los patrones obtendos (precsón, utldad, benefco obtendo...). Se debe establecer alguna medda de nterés [nterestngness] que consdere la valdez, utldad y smplcdad de los patrones obtendos medante alguna de las técncas de Mnería de Datos. El objetvo fnal de todo esto es ncorporar el conocmento obtendo en algún sstema real, tomar decsones a partr de los resultados alcanzados o, smplemente, regstrar la nformacón conseguda y sumnstrársela a quen esté nteresado. Ha llegado un momento en el que dsponemos de tanta nformacón que nos vemos ncapaces de sacarle provecho. Los datos tal cual se almacenan [raw data] no suelen proporconar benefcos drectos. Su valor real resde en la nformacón que podamos extraer de ellos: nformacón que nos ayude a tomar decsones o a mejorar nuestra comprensón de los fenómenos que nos rodean. Se requere de grandes cantdades de datos que proporconen nformacón sufcente para dervar un conocmento adconal. Dado que se requeren grandes cantdades de datos, es esencal el proceso de la efcenca. La exacttud es requerda para asegurar que el descubrmento del conocmento es váldo. Los resultados deberán ser presentados de una manera entendble para el ser humano. Una de las premsas mayores de KDD es que el conocmento es descuberto usando técncas de aprendzaje ntelgente que van examnando los datos a través de procesos automatzados. Para que una técnca sea consderada útl para el descubrmento del conocmento, éste debe ser nteresante; es decr, debe tener un valor potencal para el usuaro. KDD proporcona la capacdad para descubrr nformacón nueva y sgnfcatva usando los datos exstentes. KDD se defne como: "The nontrval process of dentfyng vald, novel, potentally useful, and ultmately understandable patterns n data" en Fayyad, Patetsky-Shapro & Smyth: "From data mnng to knowledge dscovery: An overvew" Advances n Knowledge Dscovery and Data Mnng (AAAI / MIT Press, 996) y se puede resumr en la Fgura. Técncas de Análss de Datos Págna 2 de 266

10 Capítulo Introduccón Fgura.: Esquema del proceso de KDD KDD rápdamente excede la capacdad humana para analzar grandes cantdades de datos. La cantdad de datos que requeren procesamento y análss en grandes bases de datos exceden las capacdades humanas y la dfcultad de transformar los datos con precsón es un conocmento que va más allá de los límtes de las bases de datos tradconales. Por consguente, la utlzacón plena de los datos almacenados depende del uso de técncas del descubrmento del conocmento. La utldad de aplcacones futuras en KDD es de largo alcance. KDD puede usarse como un medo de recuperacón de nformacón, de la msma manera que los agentes ntelgentes realzan la recuperacón de nformacón en el Web. Nuevos modelos o tendencas en los datos podrán descubrrse usando estas técncas. KDD tambén puede usarse como una base para las nterfaces ntelgentes del mañana, agregando un componente del descubrmento del conocmento a un sstema de bases de datos o ntegrando KDD con las hojas de cálculo y vsualzacones...2. El proceso de KDD El proceso de KDD se nca con la dentfcacón de los datos. Para ello hay que magnar qué datos se necestan, dónde se pueden encontrar y cómo consegurlos. Una vez que se dspone de datos, se deben selecconar aquellos que sean útles para los objetvos propuestos. Se preparan, ponéndolos en un formato adecuado. Una vez se tenen los datos adecuados se procede a la mnería de datos, proceso en el que se selecconarán las herramentas y técncas adecuadas para lograr los objetvos pretenddos. Y tras este proceso llega el análss de resultados, con lo que se obtene el conocmento pretenddo. En la fgura.2 se muestra la metodología que debe segurse para obtener conocmento a partr de los datos que se encuentran en la base de datos. Técncas de Análss de Datos Págna 3 de 266

11 Capítulo Introduccón Fgura.2: Metodología para el descubrmento de conocmento en bases de datos. KDD es un proceso nteractvo e teratvo, que nvolucra numerosos pasos e ncluye muchas decsones que deben ser tomadas por el usuaro, y se estructura en las sguentes etapas [FAYY96]: Comprensón del domno de la aplcacón, del conocmento relevante y de los objetvos del usuaro fnal. Creacón del conjunto de datos: consste en la seleccón del conjunto de datos, o del subconjunto de varables o muestra de datos, sobre los cuales se va a realzar el descubrmento. Lmpeza y preprocesamento de los datos: Se compone de las operacones, tales como: recoleccón de la nformacón necesara sobre la cual se va a realzar el proceso, decdr las estrategas sobre la forma en que se van a manejar los campos de los datos no dsponbles, estmacón del tempo de la nformacón y sus posbles cambos. Reduccón de los datos y proyeccón: Encontrar las característcas más sgnfcatvas para representar los datos, dependendo del objetvo del proceso. En este paso se pueden utlzar métodos de transformacón para reducr el número efectvo de varables a ser consderadas o para encontrar otras representacones de los datos. Elegr la tarea de Mnería de Datos: Decdr s el objetvo del proceso de KDD es: Regresón, Clasfcacón, Agrupamento, etc. Eleccón del algortmo(s) de Mnería de Datos: Seleccón del método(s) a ser utlzado para buscar los patrones en los datos. Incluye además la decsón sobre que modelos y parámetros pueden ser los más apropados. Mnería de Datos: Consste en la búsqueda de los patrones de nterés en una determnada forma de representacón o sobre un conjunto de Técncas de Análss de Datos Págna 4 de 266

12 Capítulo Introduccón representacones, utlzando para ello métodos de clasfcacón, reglas o árboles, regresón, agrupacón, etc. Interpretacón de los patrones encontrados. Dependendo de los resultados, a veces se hace necesaro regresar a uno de los pasos anterores. Consoldacón del conocmento descuberto: consste en la ncorporacón de este conocmento al funconamento del sstema, o smplemente documentacón e nformacón a las partes nteresadas. El proceso de KDD puede nvolucrar varas teracones y puede contener cclos entre dos de cualquera de los pasos. La mayoría de los trabajos que se han realzado sobre KDD se centran en la etapa de mnería. Sn embargo, los otros pasos se consderan mportantes para el éxto del KDD. Por eso aunque la Mnería de Datos es una parte del proceso completo de KDD [FAYY96], en buena parte de la lteratura los térmnos Mnería de Datos y KDD se dentfcan como s fueran lo msmo. En la fgura.3 se muestra el esfuerzo que requere cada fase del proceso de KDD. 70% 60% Esfuerzo (%) 50% 40% 30% 20% 0% 0% Entendmento del Domno Preparacón de los Datos Data Mnng Interpretacón y Consoldacón del Conocmento Fase Fgura.3: Esfuerzo requerdo por cada fase del proceso de KDD. Como se observa en la fgura.3, gran parte del esfuerzo del proceso de KDD recae sobre la fase de preparacón de los datos, fase crucal para tener éxto como ya se comentó anterormente...3. Mnería de Datos Mnería de Datos es un térmno genérco que engloba resultados de nvestgacón, técncas y herramentas usadas para extraer nformacón útl de grandes bases de datos. S ben Mnería de Datos es una parte del proceso completo de KDD, en buena parte de la lteratura los térmnos Mnería de Datos y KDD se dentfcan como s fueran lo msmo. Concretamente, el térmno Técncas de Análss de Datos Págna 5 de 266

13 Capítulo Introduccón Mnería de Datos es usado comúnmente por los estadístcos, analstas de datos, y por la comundad de admnstradores de sstemas nformátcos como todo el proceso del descubrmento, mentras que el térmno KDD es utlzado más por los especalstas en Intelgenca Artfcal. El análss de la nformacón recoplada (por ejemplo, en un expermento centífco) es habtual que sea un proceso completamente manual (basado por lo general en técncas estadístcas). Sn embargo, cuando la cantdad de datos de los que dsponemos aumenta la resolucón manual del problema se hace ntratable. Aquí es donde entra en juego el conjunto de técncas de análss automátco al que nos refermos al hablar de Mnería de Datos o KDD. Hasta ahora, los mayores éxtos en Mnería de Datos se pueden atrbur drecta o ndrectamente a avances en bases de datos (un campo en el que los ordenadores superan a los humanos). No obstante, muchos problemas de representacón del conocmento y de reduccón de la complejdad de la búsqueda necesara (usando conocmento a pror) están aún por resolver. Ahí resde el nterés que ha despertado el tema entre nvestgadores de todo el mundo. A contnuacón se presentan varas defncones de Mnería de Datos (MD): MD es la extraccón no trval de nformacón mplícta, desconocda prevamente, y potencalmente útl desde los datos [PSF9]. MD es el proceso de extraccón y refnamento de conocmento útl desde grandes bases de datos [SLK96]. MD es el proceso de extraccón de nformacón prevamente desconocda, válda y procesable desde grandes bases de datos para luego ser utlzada en la toma de decsones [CHSVZ]. "MD es la exploracón y análss, a través de medos automátcos y semautomátcos, de grandes cantdades de datos con el fn de descubrr patrones y reglas sgnfcatvos" [BERR97]. "MD es el proceso de planteamento de dstntas consultas y extraccón de nformacón útl, patrones y tendencas prevamente desconocdas desde grandes cantdades de datos posblemente almacenados en bases de datos [THUR99]. MD es el proceso de descubrr modelos en los datos [WF00]...4. Tecnologías de Apoyo Para el estudo de la Mnería de Datos se ha tomado la perspectva orentada a datos, por dos razones. Prmero porque la mayoría de los trabajos en Mnería de Datos están enfocados haca el data warehouse que proporcona el apoyo a la Mnería de Datos organzando y estructurando los datos. Además, otras tecnologías de apoyo a la mnería datos han sdo utlzadas desde hace tempo Técncas de Análss de Datos Págna 6 de 266

14 Capítulo Introduccón y la ntegracón de estas tecnologías con la admnstracón de datos ha contrbudo mucho a mejorar la Mnería de Datos. Las más mportantes entre estas tecnologías son los métodos estadístcos [DEGR86] y el aprendzaje automátco [MIT97]. Los métodos estadístcos han producdo varos paquetes estadístcos [THUR99] para computar sumas, promedos, y dstrbucones, que han do ntegrándose con las bases de datos a explorar. El aprendzaje automátco consste en la obtencón de reglas de aprendzaje y modelos de los datos, para lo cual a menudo se necesta la ayuda de la estadístca. Por esta razón, los métodos estadístcos y el aprendzaje automátco son los dos componentes más mportantes de la Mnería de Datos. Además exsten otras tecnologías, entre las que se ncluyen vsualzacón, procesamento paralelo, y apoyo a la toma de decsones. Las técncas de vsualzacón ayudan a presentar los datos para facltar la Mnería de Datos. Las técncas procesamento paralelo ayudan a mejorar el rendmento de la Mnería de Datos. Los sstemas de apoyo a la toma de decsones ayudan a dscrmnar los resultados y proporconan los resultados esencales para llevar a cabo las funcones de dreccón. Razonamento estadístco Las técncas y métodos estadístcas del razonamento han sdo utlzados durante varas décadas, sendo los úncos medos de analzar los datos en el pasado. Numerosos paquetes [THUR99] están ahora dsponbles para computar promedos, sumas, y dferentes dstrbucones para dferentes aplcacones. Por ejemplo, la ofcna del censo usa análss y métodos estadístcos para analzar la poblacón en un país. Más recentemente, las técncas estadístcas del razonamento están jugando un papel mportante en la Mnería de Datos. Algunos paquetes estadístcos que han sdo utlzados durante mucho tempo, se han ntegrado con las dferentes bases de datos, y se están comercalzándose en la actualdad como productos para la Mnería de Datos. La estadístca juega un mportante papel en el análss de los datos, e ncluso tambén en el aprendzaje automátco. Debdo a esto, no se puede estudar la Mnería de Datos sn un buen conocmento de la estadístca. Vsualzacón Las tecnologías de la vsualzacón muestran gráfcamente los datos en las bases de datos. Se ha nvestgado mucho sobre la vsualzacón y el campo ha adelantado un gran trecho sobre todo con la ncorporacón de la nformátca multmeda. Por ejemplo, los datos en las bases de datos serán flas y flas de valores numércos, y las herramentas de vsualzacón toman estos datos y trazan con ellos algún tpo de gráfco. Los modelos de vsualzacón pueden ser bdmensonales, trdmensonales o ncluso multdmensonales. Se han desarrollado varas herramentas de vsualzacón para ntegrarse con las bases de datos, y algunos trabajos sobre este tema están recogdos en [VIS95]. Así, las herramentas de vsualzacón ayudan de forma nteractva a la Mnería de Datos, aunque hay pocos trabajos sobre la ntegracón de las herramentas Técncas de Análss de Datos Págna 7 de 266

15 Capítulo Introduccón de Mnería de Datos y de vsualzacón. Algunas deas prelmnares se presentaron en el IEEE Databases and Vsualzaton Workshop de 995 (véase, por ejemplo, [VIS95]). Sn embargo, se han realzado más progresos que se pueden encontrar en [VIS97], aunque queda todavía mucho trabajo por hacer en este tema. Procesamento paralelo El procesamento paralelo es una técnca que ha sdo utlzado durante mucho tempo. El área se ha desarrollado sgnfcatvamente, desde sstemas con un únco procesador hasta sstemas multprocesador. Los sstemas de multprocesamento pueden estar formados por sstemas dstrbudos o por sstemas centralzados de multprocesadores con memora compartda, o con multprocesadores sn memora compartda. Hay muchos trabajos sobre la utlzacón de las arqutecturas paralelas para el procesamento de las bases de datos (véase, por ejemplo, [IEEE89]). A pesar de haberse realzado consderable trabajo sobre el tema, estos sstemas no fueron comercalzados hasta el desarrollo del data warehouse, ya que muchos de los data warehouses emplean el procesamento paralelo para acelerar el proceso de las consultas. En un sstema de bases de datos paralelas, se ejecutan varas operacones y funcones en paralelo. A pesar de que la nvestgacón en sstemas de bases de datos en paralelo empezó en los años setenta, estos sstemas se han empezado a utlzar para las aplcacones comercales recentemente, debdo en parte a la explosón del data warehouse y de las tecnologías de Mnería de Datos dónde el rendmento de los algortmos de consulta es crítco. Para escalar las técncas de Mnería de Datos se necesta hardware y software apropado, por lo que los fabrcantes de bases de datos están empleando ordenadores con procesamento paralelo para llevar a cabo la Mnería de Datos. Apoyo a la toma de decsones Los sstemas de apoyo a la toma de decsones son las herramentas que usan los drectvos para tomar decsones efcaces, y se basan en la teoría de la decsón. Se puede consderar a las herramentas de Mnería de Datos como tpos especales de herramentas de apoyo a la toma de decsones. Las herramentas de apoyo a la toma de decsones pertenecen a una ampla categoría (véase, por ejemplo, [DECI]). En general, las herramentas de apoyo a la toma de decsones podrían utlzarse tambén como herramentas para elmnar los resultados nnecesaros e rrelevantes obtendos de la Mnería de Datos. Tambén pueden ser consderadas de este tpo, herramentas tales como las hojas de cálculo, sstemas expertos, sstemas de hpertexto, sstemas de gestón de nformacón de web, y cualquer otro sstema que ayude a analstas y gestores a manejar efcazmente grandes cantdades de datos e nformacón. Recentemente ha aparecdo un área nueva llamada gestón del conocmento. La gestón del conocmento trata de manejar efcazmente los datos, la nformacón, y el conocmento de una organzacón [MORE98a]. Técncas de Análss de Datos Págna 8 de 266

16 Capítulo Introduccón Se puede pensar que el apoyo a la toma de decsones es una tecnología que se solapa con la Mnería de Datos, almacenamento de datos, gestón del conocmento, aprendzaje automátco, estadístca, y otras tecnologías que ayudan gestonar el conocmento de una organzacón y los datos. Aprendzaje automátco El aprendzaje automátco, en muchos casos, consste fundamentalmente en el aprendzaje de reglas a partr de los datos [MIT97], y por eso muchas de las técncas de aprendzaje automátco son utlzadas en la actualdad en la Mnería de Datos. El aprendzaje automátco aparece contnuamente en la realzacón de aprendzaje computaconal desde la experenca. Como Mtchell descrbe en su excelente texto sobre aprendzaje automátco [MIT97], el aprendzaje automátco consste en aprender de las experencas del pasado con respecto a alguna medda de rendmento. Por ejemplo, en las aplcacones de los juegos de computadora, el aprendzaje automátco podría ser aprender a jugar un juego de ajedrez, desde las experencas del pasado que podrían ser juegos que el ordenador juega contra sí msmo, con respecto a alguna medda de rendmento, como ganar un certo número de partdas. Se han desarrollado dstntas técncas en el aprendzaje automátco, ncluyendo el aprendzaje conceptual donde se aprende los conceptos desde dferentes ejemplos de entrenamento, las redes de neuronas, los algortmos genétcos, los árboles de decsón, y la programacón de la lógca nductva. Se han realzado dferentes estudos teórcos sobre el aprendzaje automátco, que ntentan determnar la complejdad y capacdad de las dferentes técncas de aprendzaje automátco [MIT97]. Los nvestgadores del aprendzaje automátco han agrupado las técncas en tres categorías [THUR99]. La prmera es el aprendzaje actvo que se ocupa de la nteraccón y realzacón de las consultas durante el aprendzaje, la segunda es el aprendzaje desde el conocmento anteror, y la tercera es el aprendzaje ncremental. Hay alguna superposcón entre los tres métodos. Durante un semnaro sobre aprendzaje automátco [DARP98] fueron estudados los problemas y desafíos en aprendzaje automátco y sus relacones con la Mnería de Datos. Hay todavía mucha nvestgacón que realzar en este área, sobre todo en la ntegracón del aprendzaje automátco con las dferentes técncas de gestón de datos. Tal nvestgacón mejorará sgnfcatvamente el área de Mnería de Datos. Algunos de los algortmos más conocdos de aprendzaje automátco se encuentran en [QUIN93, MBK98]...5. Áreas de Aplcacón En este punto se presentan las prncpales áreas y sectores empresarales en las que se puede aplcar la mnería de datos. Marketng Técncas de Análss de Datos Págna 9 de 266

17 Capítulo Introduccón Actualmente con la generacón de los puntos de ventas nformatzados y conectados a un ordenador central, y el constante uso de las tarjetas de crédtos se genera gran cantdad de nformacón que hay que analzar. Con ello se puede emplear la mnería de datos para: Identfcar patrones de compra de los clentes: Determnar cómo compran, a partr de sus prncpales característcas, conocer el grado de nterés sobre tpos de productos, s compran determnados productos en determnados momentos,... Segmentacón de clentes: Consste en la agrupacón de los clentes con característcas smlares, por ejemplo demográfcas. Es una mportante herramenta en la estratega de marketng que permte realzar ofertas acordes a dferentes tpos de comportamento de los consumdores. Predecr respuestas a campañas de malng: Estas campañas son caras y pueden llegar a ser molestas para los clentes a los que no le nteresan el tpo de producto promoconado por lo que es mportante lmtarlas a los ndvduos con una alta probabldad de nteresarse por el producto. Está por ello muy relaconada con la segmentacón de clentes. Análss de cestas de la compra [market-basket analyss]: Consste en descubrr relacones entre productos, esto es, determnar qué productos suelen comprarse junto con otros, con el fn de dstrburlos adecuadamente. Compañías de Seguros En el sector de las compañías de seguros y la salud prvada, se pueden emplear las técncas de mnería de datos, por ejemplo para: Banca Análss de procedmentos médcos solctados conjuntamente. Predecr qué clentes compran nuevas pólzas. Identfcar patrones de comportamento para clentes con resgo. Identfcar comportamento fraudulento. En el sector bancaro la nformacón que puede almacenarse es, además de las cuentas de los clentes, la relatva a la utlzacón de las tarjetas de crédto, que puede permtr conocer hábtos y patrones de comportamento de los usuaros. Esta nformacón puede aplcarse para: Detectar patrones de uso fraudulento de tarjetas de crédto. Identfcar clentes leales: Es mportante para las compañías de cualquer sector mantener los clentes. Y es que hay estudos que demuestran que Técncas de Análss de Datos Págna 0 de 266

18 Capítulo Introduccón es cuatro veces más caros obtener nuevos clentes que mantener los exstentes. Predecr clentes con probabldad de cambar su aflacón. Determnar gasto en tarjeta de crédto por grupos. Encontrar correlacones entre ndcadores fnanceros. Identfcar reglas de mercado de valores a partr de hstórcos: Telecomuncacones En el sector de las telecomuncacones se puede almacenar nformacón nteresante sobre las llamadas realzadas, tal como el destno, la duracón, la fecha,... en que se realza la llamada, por ejemplo para: Deteccón de fraude telefónco: Medante por ejemplo el agrupamento o clusterng se pueden detectar patrones en los datos que permtan detectar fraudes. Medcna Tambén en el campo médco se almacena gran cantdad de nformacón, sobre los pacentes, tal como enfermedades pasadas, tratamentos mpuestos, pruebas realzadas, evolucón,... Se pueden emplear técncas de mnería de datos con esta nformacón, por ejemplo, para: Identfcacón de terapas médcas satsfactoras para dferentes enfermedades. Asocacón de síntomas y clasfcacón dferencal de patologías. Estudo de factores (genétcos, precedentes, hábtos, almentcos,...) de resgo para la salud en dstntas patologías. Segmentacón de pacentes para una atencón más ntelgente según su grupo. Estudos epdemológcos, análss de rendmentos de campañas de nformacón, prevencón, susttucón de fármacos,... Identfcacón de terapas médcas y tratamentos erróneos para determnadas enfermedades. Industra farmacéutca Técncas de Análss de Datos Págna de 266

19 Capítulo Introduccón En el sector químco y farmacéutco se almacenan gran cantdad de nformacón: Bases de datos de domno públco contenendo nformacón sobre estructuras y propedades de componentes químcos. Resultados de unversdades y laboratoros publcadas en revstas técncas. Datos generados en la realzacón de los expermentos. Datos propos de la empresa. Los datos son almacenados en dferentes categorías y a cada categoría se le aplca un dferente trato. Se podrían realzar, entre otras, las sguentes operacones con la nformacón obtenda: Clusterng de moléculas: Consste en el agrupamento de moléculas que presentan un certo nvel de smltud, con lo que se pueden descubrr mportantes propedades químcas. Búsqueda de todas las moléculas que contenen un patrón específco: Se podría ntroducr una subestructura (un patrón), devolvendo el sstema todas las moléculas que son smlares a dcha estructura. Búsqueda de todas las moléculas que vncula un camno específco haca una molécula objetvo: Realzar una búsqueda exhaustva puede ser mpractcable, por lo que se pueden usar restrccones en el espaco de búsqueda. Predccón de resultado de expermentos de una nueva molécula a partr de los datos almacenados: A través de determnadas técncas de ntelgenca artfcal es posble predecr los resultados a nuevos expermentos a partr de los datos, con el consguente ahorro de tempo y dnero. Bología Con la fnalzacón en los próxmos años del Proyecto Genoma Humano y el almacenamento de toda la nformacón que está generando en bases de datos accesbles por Internet, el sguente reto consste en descubrr cómo funconan nuestros genes y su nfluenca en la salud. Exsten nuevas tecnologías (chps de ADN, proteómca, genómca funconal, varabldad genétca ndvdual) que están posbltando el desarrollo de una nueva bología que permte extraer conocmento bomédcos a partr de bases de datos expermentales en el entorno de un ordenador báscamente medante técncas de mnería de datos y vsualzacón. Estos trabajos forman parte de los desarrollos de la Bonformátca. Técncas de Análss de Datos Págna 2 de 266

20 Capítulo Introduccón..6. Tendencas de la Mnería de Datos El nterés que desperta la Mnería de Datos para el análss de la nformacón especalmente en el área comercal hace que se busquen nuevas aplcacones basadas en esta tecnología. Algunas de las prncpales nuevas aplcacones basadas en la Mnería de Datos se presentan a contnuacón. Mnería de Textos La Mnería de Textos [Text Mnng] surge ante el problema cada vez más apremante de extraer nformacón automátcamente a partr de masas de textos. Se trata así de extraer nformacón de datos no estructurados: texto plano. Exsten varas aproxmacones a la representacón de la nformacón no estructurada [HH96]: Bag of Words : Cada palabra consttuye una poscón de un vector y el valor corresponde con el número de veces que ha aparecdo. N-gramas o frases: Permte tener en cuenta el orden de las palabras. Trata mejor frases negatvas... excepto...,... pero no..., que tomarían en otro caso las palabras que le sguen como relevantes. Representacón relaconal (prmer orden): Permte detectar patrones más complejos (s la palabra X está a la zquerda de la palabra Y en la msma frase...). Categorías de conceptos. Cas todos se enfrentan con el vocabulary problem [FUR87]: Tenen problemas con la snonma, la polsema, los lemas, etc. Un ejemplo de aplcacón basada en Mnería de Textos es la generacón automátca de índces en documentos. Otras más complcadas consstrían en escanear completamente un texto y mostrar un mapa en el que las partes más relaconadas, o los documentos más relaconados se coloquen cerca unos de otros. En este caso se trataría de analzar las palabras en el contexto en que se encuentren. En cualquer caso, aunque aún no se ha avanzado mucho en el área de Mnería de Textos, ya hay productos comercales que emplean esta tecnología con dferentes propóstos. Mnería de datos Web La Mnería de datos Web [Web Mnng] es una tecnología usada para descubrr conocmento nteresante en todos los aspectos relaconados a la Web. Es uno de los mayores retos. El enorme volumen de datos en la Web generado por la explosón de usuaros y el desarrollo de lbrerías dgtales hace que la extraccón de la nformacón útl sea un gran problema. Cuando el usuaro Técncas de Análss de Datos Págna 3 de 266