INCORPORACIÓN DE TÉCNICAS MULTIVARIANTES EN UN SISTEMA GESTOR DE BASES DE DATOS TESIS DE MAESTRÍA. Autoría de: CARLOS MARIO SOTO JARAMILLO

Transcripción

1 INCORPORACIÓN DE TÉCNICAS MULTIVARIANTES EN UN SISTEMA GESTOR DE BASES DE DATOS TESIS DE MAESTRÍA Autoría de: CARLOS MARIO SOTO JARAMILLO Drectora: Ph. D. CLAUDIA JIMÉNEZ RAMÍREZ MAESTRÍA EN INGENIERÍA - INGENIERÍA DE SISTEMAS FACULTAD DE MINAS UNIVERSIDAD NACIONAL DE COLOMBIA SEDE MEDELLÍN 2009

2

3 AGRADECIMIENTOS Por el esfuerzo, apoyo y dedcacón, presento ms más snceros agradecmentos a la Profesora Asocada, Clauda Jménez Ramírez, adscrta a la Facultad de Mnas de la Unversdad Naconal de Colomba, Sede Medellín, quen como drectora de la Tess de Maestría, merece m respeto y admracón por su apoyo en la lectura cudadosa, sugerencas y aportes presentados. Adconalmente, quero ofrecer ms agradecmentos a la Facultad de Mnas, quen me otorgó una Beca durante ms estudos de Maestría, snténdome satsfecho de haber contnuado estudos de posgrado en la Unversdad Naconal de Colomba, reconocda por su caldad académca e nsttuconal. Por últmo, se agradece a todas las personas que de una u otra forma han partcpado o colaborado con su conocmento en el desarrollo del trabajo nvestgatvo. Igualmente, a m esposa Alejandra Restrepo Castañeda, y demás famlares, por su apoyo y comprensón.

4

5 RESUMEN El objetvo prncpal de la presente Tess de Maestría es la ncorporacón de las técncas de regresón lneal y logístca multvarante en un sstema gestor de bases de datos, con el propósto de facltar el Descubrmento de Conocmentos en Bases de Datos y promover el enfoque de Intelgenca del Negoco con una herramenta con la ntelgenca sufcente para nterpretar y presentar los resultados de manera amgable para apoyar la toma de decsones. Se propuso un modelo conceptual para la ncorporacón de las técncas multvarantes en un sstema gestor de bases de datos, adconalmente, se presenta un modelo para la vsualzacón de resultados y se desarrolló un prototpo de una aplcacón Web para verfcar la factbldad técnca del modelo propuesto. Se muestra cómo el modelo propuesto para la vsualzacón de los resultados posee la potenca expresva para facltar la asmlacón del nuevo conocmento generado con el análss de regresón. Se demostró que el prototpo desarrollado faclta la seleccón de los datos para un análss de regresón e nterpreta por sí msmo los resultados, facltando el Descubrmento de Conocmento en Bases de Datos a usuaros no expertos. Fnalmente, el modelo conceptual para la ncorporacón de las técncas de regresón multvarantes en un sstema gestor de bases de datos y el modelo para la vsualzacón de los resultados, presentan las característcas apropadas para brndar soporte a proyectos de Descubrmento de Conocmento en Bases de Datos.

6

7 ABSTRACT The prncpal objectve of ths Thess s to ncorporate technques of multvarate lnear and logstc regressons n a database management system, wth the purpose of facltate Knowledge Dscovery n Databases and to promote the Busness Intellgence wth an ntellgent tool that allows to nterpret and to present the results n frendly way to support the decson makng. A conceptual model whch ncorporates technques related wth multvarate regressons n database management system s proposed. Addtonally, a model for the vsualzaton of results s presented and a Web applcaton prototype to verfy the techncal feasblty of the model s developed. The vsualzaton model of regresson results showed expressve power to facltate the assmlaton of new knowledge produced wth regresson analyss. It was demonstrated that the developed prototype facltates the selecton of data for a regresson analyss and nterprets the results by tself, makng easy to non expert users the Knowledge Dscovery n Databases. Fnally, the conceptual model for ncorporatng technques of multvarate regressons n a database management system and the model for the vsualzaton of results presented characterstcs approprated to support the projects to Knowledge Dscovery n Databases. v

8

9 TABLA DE CONTENIDO 1. INTRODUCCIÓN FUNDAMENTOS TEÓRICOS Intelgenca del Negoco Dfcultades para la mplementacón...7 Inerca organzaconal...7 Personal poco capactado...7 Brecha tecnológca...7 Dfcultades en el análss de datos Descubrmento de Conocmento en Bases de Datos Pasos del Descubrmento de Conocmento...8 Comprensón del domno de aplcacón...8 Extraccón, transformacón y carga de datos...9 Preprocesamento de datos...9 Mnería de Datos Evaluacón de los hallazgos Interpretacón y presentacón del conocmento Algunos enfoques en Mnería de Datos Segmentacón y/o clasfcacón Predccón Análss de dependenca Gestores de bases de datos con enfoque a la Intelgenca del Negoco Modelamento y Clasfcacón de Herramentas OLAP MOLAP ROLAP HOLAP Técncas de Mnería de Datos ncorporados en gestores de bases de datos comercales ORACLE Data Mnng SQL Server Ejemplo de análss con SQL Server TÉCNICAS MULTIVARIANTES Y CRITERIOS DE VALIDACIÓN Regresón lneal multvarante Crteros de valdacón para la regresón lneal Sgnfcanca de la regresón lneal Sgnfcanca de los coefcentes de regresón lneal Coefcentes de regresón estandarzados Regresón logístca multvarante Ajuste del modelo de regresón logístca Método de Gauss-Newton Método de mínmos cuadrados teratvamente reponderados v

10 Crteros de valdacón para la regresón logístca Sgnfcanca de la regresón logístca Sgnfcanca de los coefcentes de regresón logístca MODELO PARA LA VISUALIZACIÓN DE RESULTADOS Característcas del modelo de vsualzacón de resultados Ejemplfcacón del modelo de vsualzacón de resultados MODELADO DE LAS TÉCNICAS DE REGRESIÓN Incorporacón de las técncas de análss multvarante Modelo de comportamento del sstema Propedades de la solucón planteada PROTOTIPO DESARROLLADO CONCLUSIONES TRABAJO FUTURO...70 REFERENCIAS BIBLIOGRÁFICAS...71 ANEXOS (COPIA ELECTRÓNICA)...74 A. Códgo Fuente para PostgreSQL B. Códgo Fuente del Prototpo de la Aplcacón Web...74 C. Tablas Estadístcas y Datos de los Ejemplos Utlzados...75 D. Archvos de Instalacón de Postgres 8.2 (Dstrbucón Lbre)...75 E. Archvo de Instalacón de WampServer 2 (Dstrbucón Lbre)...75 F. Lbrerías para Grafcar con PHP - JpGraph (Dstrbucón Lbre)...75 G. Artículo Publcado con Resultados Parcales del Trabajo Investgatvo...75 H. Informe Ejecutvo...76 v

11 LISTA DE FIGURAS Fgura 1. Proceso Descubrmento de Conocmento en Bases de Datos Fgura 2. Resultados con SQL Server para el análss de regresón lneal Fgura 3. Resultados con SQL Server para el análss de regresón logístca Fgura 4. Dagrama de dspersón con línea de tendenca Fgura 5. Gráfco de la funcón logístca Fgura 6. Modelo de vsualzacón para descrbr la varable Rendmento Fgura 7. Modelo de vsualzacón para descrbr la varable Potenca Fgura 8. Dagrama de flujo de la funcón de regresón lneal Fgura 9. Dagrama de flujo de la funcón de regresón logístca Fgura 10. Modelo de comportamento del sstema Fgura 11. Interfaz para la valdacón de usuaro Fgura 12. Interfaz para la seleccón de atrbutos Fgura 13. Ejemplo de seleccón de atrbutos de dferentes tablas Fgura 14. Opcones para el planteamento del análss Fgura 15. Planteamento del análss de regresón para descrbr la varable Rendmento Fgura 16. Sentenca SQL para obtener el vector de datos Fgura 17. Modelo de vsualzacón y matemátco para la varable Rendmento Fgura 18. Valdacón de supuestos para el modelo de Rendmento Fgura 19. Resumen del análss para el modelo de Rendmento Fgura 20. Prueba de sgnfcanca para el modelo de Rendmento Fgura 21. Matrz de varanzas y covaranzas para el modelo de Rendmento 64 Fgura 22. Planteamento de un análss de regresón logístca para la varable Enfermedad Fgura 23. Modelo de vsualzacón y matemátco de la regresón logístca para la varable Enfermedad Fgura 24. Valdacón de supuestos de la regresón logístca para la varable Enfermedad x

12 Fgura 25. Resumen del ajuste y prueba de sgnfcanca de la regresón logístca para la varable Enfermedad Fgura 26. Matrz de varanzas y covaranzas de la regresón logístca para la varable Enfermedad Fgura 27. Resultados de un modelo de regresón nadecuado LISTA DE TABLAS Tabla 1. Paralelo entre enfoques gerencales...6 Tabla 2. Métodos de ajuste para la regresón logístca Tabla 3. Modelo lógco de la tabla estadístca de la dstrbucón F Tabla 4. Modelo lógco de la tabla estadístca de la dstrbucón T Tabla 5. Modelo lógco de la tabla estadístca de la dstrbucón χ x

13 1. INTRODUCCIÓN En la actualdad el mundo es cada vez más compettvo, por esto, la toma de decsones debe ser más acertada y oportuna para tener una mayor capacdad de lograr un efecto determnado, o ser capaz de reacconar rápdamente, adaptándose a nuevas crcunstancas. Todo esto mplca, la necesdad de un fortalecmento de los sstemas nformátcos para apoyar la toma de decsones y la necesdad del análss de los datos dsponbles en bases de datos u otros. Lo anteror explca la tendenca crecente en la utlzacón de la nformacón almacenada para apoyar decsones admnstratvas; pero aún, un gran número de organzacones desconocen los benefcos del Descubrmento de Conocmento en Bases de Datos. Una de las razones puede ser que no se valore el mpacto real de la carenca de buena nformacón sobre la rentabldad del negoco. Otra razón, puede ser la ausenca de un equpo de desarrollo dentro de la empresa, o quzás en algunos casos, se encuentran organzacones cuyos ejecutvos están poco preparados para realzar estas labores técncas. El manejo de la nformacón es una actvdad dara en cualquer organzacón, empresa o nsttucón. Un prmer paso para facltar el manejo de los datos generados por las operacones daras son las bases de datos operaconales. Las bases de datos operaconales surgeron hace algunas décadas, facltando el almacenamento de la nformacón y sendo dseñadas para optmzar o facltar el trabajo cotdano, que le srve a la empresa para realzar sus operacones báscas. Actualmente, el almacenamento de la nformacón es sencllo y económco; los gestores de bases de datos son las prncpales herramentas para almacenar grandes cantdades de nformacón. Estas herramentas ofrecen una nterfaz o lenguaje nteractvo para plantear solctudes de nformacón. La mayoría de los gestores de bases de datos convenconales soportan el lenguaje estructurado de búsqueda SQL (por sus sglas en nglés: Structured Query Language). SQL ha demostrado ser bastante versátl en la recuperacón de nformacón en bases de datos, convrténdose en el lenguaje de consulta más popular. Los sstemas de consulta-respuesta basados en SQL pueden responder a una gran cantdad de preguntas que representan gran parte del conocmento almacenado en una base de datos; sn embargo, exste conocmento oculto, representado en parte por relacones que no son dentfcables a smple vsta. Extraer conocmento a partr de los datos para apoyar la toma de decsones es ahora ndspensable en cualquer sstema de base de datos, pero los sstemas de bases de datos convenconales están concebdos, dseñados y optmzados para operacones cotdanas de una organzacón o empresa, sn 1

14 permtr un análss profundo de los datos. Por lo anteror, exsten otras herramentas para extraer nformacón de un conjunto de datos: Herramentas OLTP (On-Lne Transacton Processng), con nterfaz gráfca para realzar consultas y reportes sn usar sentencas SQL. Herramentas OLAP (On-Lne Analytcal Processng), permte el análss multdmensonal de los datos con dversos crteros de agrupamento. Herramentas de Mnería de Datos, DM (Data Mnng), permten descubrr patrones, asocacones, dentfcar tendencas y comportamentos dnámcos. Las herramentas de Mnería de Datos nacen de la necesdad del Descubrmento de Conocmento en Bases de Datos. La Mnería de Datos se puede defnr como un proceso analítco dseñado para explorar grandes cantdades de datos (generalmente datos de negoco y mercado) con el objetvo de detectar patrones de comportamento o relacones entre las dferentes varables. En la Mnería de Datos confluyen varas dscplnas, en especal la Estadístca, que puede constturse en un alado muy productvo y efcaz para los gestores de bases de datos. El auge nformátco de la últma década ha vendo planteando, que para analzar los datos y descubrr relacones entre sus atrbutos, es necesaro la construccón de una Bodega de Datos. Es mportante aclarar, que una Bodega de Datos es una base de datos de nformacón hstórca e ntegrada de dstntos sstemas de una empresa para el análss multdmensonal de los datos, enfocada al negoco no a las operacones. Las herramentas para el Descubrmento de Conocmento en Bases de Datos son generalmente costosas e ndependentes de las bases de datos operaconales. En los últmos años, los gestores de bases de datos específcamente los gestores de bases de datos comercales como ORACLE y SQL Server han ncorporado algunos algortmos o técncas de Mnería de Datos (Berger y Haberstroh, 2005; Dumler, 2005; Larson, 2006; Planeaux et al., 2007; Stackowak et al., 2007; Utley, 2005). Los nconvenentes de utlzar las herramentas de Mnería de Datos que ofrecen los gestores de bases de datos y las Bodegas de Datos actuales para descubrr conocmento, se pueden resumr así: Requeren de personal altamente calfcado que domne la termnología de la Estadístca o de la Intelgenca Artfcal, manpulen las herramentas nformátcas especalzadas e nterprete los resultados. 2

15 Implcan altas nversones por el uso de herramentas comercales, dado que las herramentas de dstrbucón lbre no tenen la robustez requerda para el manejo de grandes volúmenes de datos o la comuncacón con los sstemas gestores de bases de datos. Los nconvenentes de utlzar paquetes estadístcos para el análss y el planteamento de hpótess en el Descubrmento de Conocmento en Bases de Datos, se pueden resumr en: Al ser herramentas ndependentes del almacenamento de los datos, se requere de tempo para la preparacón, mportacón o vnculacón de los datos al paquete estadístco, prolongando así el tempo de respuesta de los análss y por ende su efcaca. Requere expertos en el área que domnen la termnología estadístca, manpulen el paquete y realcen la nterpretacón de los resultados. Tradconalmente, la toma de decsones se ha basado en jucos altamente subjetvos, pero un nuevo enfoque gerencal toma cada vez más fuerza. A este enfoque gerencal se le denomna Intelgenca del Negoco (Busness Intellgence o BI), y se basa en la utlzacón de la nformacón almacenada en bases de datos y en otras fuentes de nformacón nternas o externas, para apoyar decsones con dagnóstcos más precsos y solucones más ntelgentes (Soto y Jménez, 2007). De la crecente necesdad de Descubrmento de Conocmento en Bases de Datos nace en el grupo de Intelgenca Artfcal de la Facultad de Mnas, Unversdad Naconal de Colomba, Sede Medellín, la dea de un mega-proyecto que busque la generacón de un conjunto de herramentas gerencales para fortalecer los sstemas gestores de bases de datos de dstrbucón lbre, que faclte la aplcacón de un enfoque de Intelgenca de Negocos, con el fn, de promover el Descubrmento de Conocmento en Bases de Datos y la nterpretacón de los resultados en cualquer empresa o nsttucón, sn tener que nvertr grandes cantdades de dnero. La presente Tess de Maestría surge como uno de los prmeros proyectos en el mega-proyecto. Los gestores de bases de datos o herramentas nformátcas actuales no son lo sufcentemente amgables para que un usuaro que no domne la termnología especalzada, realce por sí msmo un análss de regresón multvarante. Sn contar que las herramentas no ncorporan la ntelgenca sufcente para nterpretar los resultados del análss y presentarlos en forma condensada como nuevo conocmento, no sugeren, n recomendan alternatvas según el análss realzado. Por lo anteror, en la presente Tess de Maestría se pretende la construccón de los modelos que permtan ncorporar las técncas de regresón lneal y logístca multvarante en un gestor de bases de datos, una nterfaz para el planteamento del análss con la ntelgenca sufcente para 3

16 facltar su uso y proporconar una propuesta de representacón gráfca para la presentacón de resultados. Adconalmente, se construye el prototpo de una aplcacón Web para valdar el modelo propuesto de vsualzacón de resultados y presentar un ejemplo de mplementacón. Todo con el fn de facltar el Descubrmento del Conocmento en Bases de Datos y por ende, promover la aplcacón del enfoque de Intelgenca del Negoco con un sstema que ofrezca los resultados de la manera más amgable para que un drectvo pueda tomar las decsones acertadamente. El empleo de las técncas de regresón lneal y logístca multvarante tene como objetvos prncpales (Neter et al., 1996): Explcar la relacón entre varables o atrbutos (obtener un modelo descrptvo de un fenómeno). Construr un modelo que permta predecr el valor de la varable respuesta para casos no observados o consderados en un expermento, o la probabldad de ocurrenca de un suceso. Algunos benefcos del desarrollo de la presente Tess de Maestría son los sguentes: Amplar las capacdades de un gestor de bases de datos de dstrbucón lbre para el descubrmento de relacones entre varables. Facltar el análss rguroso de la nformacón recoplada en una base de datos y, realzarlo con la msma herramenta, ganando rapdez en los tempos de respuesta para la toma de decsones. Elmnar la dependenca de especalstas para la manpulacón de una herramenta, como paquetes estadístcos que requeran el conocmento de comandos específcos o domno de una termnología compleja. Facltando el trabajo para personas expertas y no expertas en el análss de datos. Incorporar la ntelgenca sufcente para nterpretar los resultados y facltar que un usuaro fnal sn conocmentos técncos, pueda realzar por s msmo un análss rguroso y con profunddad. Los productos esperados se pueden resumr en: Un modelo conceptual para la ncorporacón de las técncas de regresón lneal y logístca multvarante, un modelo físco o funcones programadas en un gestor de bases de datos específco de dstrbucón lbre y un prototpo de aplcacón medante una nterfaz Web para el planteamento de análss de regresón y los resultados del msmo. 4

17 El alcance de la presente Tess de Maestría es la ncorporacón de la regresón lneal y logístca multvarante en un gestor de bases de datos. Para el caso de la regresón logístca sólo se consderará la clasfcacón de objetos en dos clases excluyentes. La propuesta de un modelo para la vsualzacón de resultados y la realzacón de una aplcacón Web como prototpo para garantzar la factbldad técnca. En el sguente capítulo se presentan los fundamentos teórcos, entre los cuales se tene el concepto de Intelgenca del Negoco, Descubrmento de Conocmento en Bases de Datos, enfoques de la Mnería de Datos, gualmente se enuncan las técncas de Mnería de Datos presentes en los sstemas gestores de bases de datos; por últmo, se muestra un ejemplo de análss con SQL Server. En el capítulo 3, se descrben las técncas de regresón lneal y logístca multvarantes, los métodos de solucón y sus respectvas pruebas para evaluar la sgnfcanca de la regresón y de los coefcentes de regresón. En el capítulo 4, se descrbe el modelo para la vsualzacón de resultados del análss de regresón lneal y logístca multvarante y, en el capítulo 5, se descrbe la ncorporacón de las técncas de análss multvarante en un sstema gestor de bases de datos. En el capítulo 6, se descrbe el prototpo de aplcacón Web desarrollada y se realza la verfcacón de la factbldad técnca del modelo propuesto. Para fnalzar, se presentan las conclusones en el capítulo 7, y se expone brevemente, en el capítulo 8, algunos posbles trabajos futuros que permtrían amplar las capacdades de un sstema gestor de bases de datos para el Descubrmento de Conocmento. 5

18 2. FUNDAMENTOS TEÓRICOS 2.1. Intelgenca del Negoco Algunas defncones de Intelgenca del Negoco son: 6 La Intelgenca del Negoco es la entrega de nformacón precsa y útl para las personas adecuadas que toman las decsones dentro de un marco de tempo justo, para dar soporte a toma de decsones efectvas (Larson, 2006). La Intelgenca del Negoco puede ser defnda como tener acceso apropado a los datos o nformacón necesara para tomar las decsones apropadas del negoco en el tempo apropado (Stackowak et al., 2007). La Intelgenca del Negoco es un nuevo enfoque gerencal que se basa en la utlzacón de la nformacón almacenada en bases de datos y en otras fuentes de nformacón nternas o externas, para apoyar la toma de decsones. La Tabla 1, compara el enfoque tradconal para la toma de decsones con el enfoque de Intelgenca del Negoco. Tabla 1. Paralelo entre enfoques gerencales Tradconal Intelgenca del Negoco Basado en jucos subjetvos Basado en jucos objetvos Basado en la ntucón y en las Basado en la nformacón emocones Aprovecha la nformacón dsponble Utlza poca nformacón La nformacón apoya la toma de decsones En la actualdad las organzacones se enfrentan a un mundo cada vez más compettvo y, por tanto, las estrategas deben ser flexbles para adaptarse a las condcones cambantes del entorno. El análss de nformacón, basado en el enfoque de Intelgenca del Negoco podría permtr conocer tendencas en varables de nterés, sus relacones o asocacones, evaluar el mpacto de decsones tomadas en el pasado, entre otras. Por esto, es necesaro facltar el análss de los datos para la toma de decsones más acertadas y oportunas. La ncatva de un proyecto de Descubrmento de Conocmento en Bases de Datos debe estar drgda al negoco y no a la tecnología. Es decr, la justfcacón de la ncatva no debe ser sólo el hecho de expermentar con nuevas tecnologías, sno reducr los problemas que afectan la rentabldad o la efcenca de la organzacón, tenendo en cuenta, la mportanca de la caldad

19 de la nformacón que consttuye la dferenca entre tomar decsones correctas e ncorrectas. El enfoque de Intelgenca del Negoco busca maxmzar la explotacón de la nformacón recolectada por una organzacón, al ser común la práctca de recoger más nformacón de la que en realdad usan. Tambén es común pensar que la Mnería de Datos requere grandes nversones y costosas aplcacones nformátcas, que sólo son justfcables en grandes empresas, pero es sorprendente el poco aprovechamento de los recursos nformátcos dsponbles. Un desafío es hacer que la extraccón de la nformacón y los análss se convertan en una operacón rutnara y semautomátca Dfcultades para la mplementacón Las dfcultades para la mplementacón del enfoque de Intelgenca del Negoco en cada organzacón son dferentes, y dependerá de un sn número de factores como: Tpo de organzacón, dnámca del mercado específco, cantdad de personal, formacón académca del personal, entre otros. En general, se pueden resaltar las sguentes dfcultades: Inerca organzaconal La nerca organzaconal hace referenca a la resstenca a los cambos que se presentan en las organzacones, dado que todo el personal no asmla los cambos con la msma rapdez. Personal poco capactado Es frecuente que las organzacones tengan un bajo número de personal capactado para el análss de nformacón, y poco personal actualzado en la utlzacón de herramentas nformátcas. El personal operatvo es necesaro en toda organzacón para su funconamento, pero el mundo cada vez más compettvo, oblga a las organzacones a contratar personal altamente calfcado. Brecha tecnológca La reduccón de gastos en las organzacones frecuentemente converge a un bajo nvel de actualzacón tecnológca. Dfcultades en el análss de datos En el empleo de paquetes estadístcos o programas especalzados se requere de tempo y esfuerzo en la preparacón de los datos, su mportacón o vínculo. Adconalmente, se pone a la vsta la dependenca de expertos que domnen las técncas y la termnología, manpulen las aplcacones e nterpreten los resultados de los análss. Por todo lo anteror, se mantene una baja efcenca en el proceso completo de descubrmento de conocmento. 7

20 2.2. Descubrmento de Conocmento en Bases de Datos Los sstemas de consulta-respuesta basados en SQL pueden responder de manera espontánea a una gran cantdad de preguntas, algunas de ellas de bastante complejdad que representan parte del conocmento almacenado en una base de datos. Sn embargo, exste otro conocmento oculto, representado en gran parte por relacones entre dstntos objetos de la base de datos, que demanda un análss mucho más complejo de los datos almacenados. Los datos almacenados en una base de datos pueden contener nformacón que no se ve a smple vsta, el proceso completo de extraccón de conocmento mplícto en los datos, es denomnado Descubrmento de Conocmento en Bases de Datos o KDD, por sus sglas en nglés Knowledge Dscovery n Databases (Han y Kamber, 2001). En los últmos años, el Descubrmento de Conocmento en Bases de Datos, ha recbdo especal atencón debdo a la dsponbldad actual de grandes cantdades de datos y a la necesdad de convertrlos en nformacón útl y en nuevo conocmento (Jménez, 2008). Este proceso tambén es conocdo como Mnería de Datos: un proceso que a través del análss y la cuantfcacón de relacones en los datos, permte extraer patrones comunes, asocacones o modelar el comportamento de dstntos fenómenos de la naturaleza. Sendo rgurosos, la Mnería de Datos es el proceso central del Descubrmento de Conocmento en Bases de Datos, pero se necestan otros procesos antes de aplcar los métodos de la Intelgenca Artfcal, de la Estadístca o de las Bases de Datos Pasos del Descubrmento de Conocmento Implantar un proceso para transformar datos en nformacón, nformacón en conocmento y conocmento en ayuda a la toma de decsones, no es tan dfícl n complejo como se tende a pensar; máxme s se tenen claros los objetvos y las necesdades. Los atrbutos que se buscan son sempre los msmos: la nformacón debe ser tangble, precsa, comprensble y oportuna. A contnuacón se detallan los pasos en el proceso de Descubrmento de Conocmento en Bases de Datos (Jménez, 2008; Mtra y Acharya, 2003; Soto y Jménez, 2007). Comprensón del domno de aplcacón Incluye la recoleccón de la nformacón a pror relevante, sobre la temátca que se aborda en el domno del problema y de los supuestos que se cumplen. Tambén es común dvdr esta etapa en dos: a) Comprensón del negoco: Esta fase ncal se enfoca en la comprensón de los objetvos del proyecto y exgencas desde una perspectva de 8

21 negoco, luego convrtendo este conocmento de los datos en la defncón de un problema de Mnería de Datos y en un plan prelmnar dseñado para alcanzar los objetvos. Al comenzo de un proceso de Descubrmento de Conocmento en Bases de Datos, el usuaro a menudo no conoce n el objetvo precso del análss n la naturaleza exacta de los datos. b) Comprensón de los datos: La fase de entendmento de datos comenza con la coleccón de datos ncal y contnúa con las actvdades que le permten famlarzarse prmero con los datos, dentfcar los problemas de caldad de datos, descubrr los prmeros conocmentos en los datos y/o descubrr subconjuntos nteresantes para formar hpótess en cuanto a la nformacón oculta. La exploracón ncal del análss de datos puede ayudar a los usuaros a entender la naturaleza de los datos y formar hpótess potencales de la nformacón oculta. La estadístca descrptva smple y las técncas de vsualzacón, proporconan las prmeras deas sobre los datos. Por ejemplo: La dstrbucón de clentes por edad y regones geográfcas pueden drgr futuras estrategas de comercalzacón. Extraccón, transformacón y carga de datos Se elgen los datos que se consderan relevantes para el análss y se hace un proceso de ntegracón de datos s están almacenados en dstntas fuentes o con dstntos formatos. La extraccón de datos se enfocan en el problema y debe ser consstente con los objetvos del proyecto defndos en la etapa anteror. A veces, una recoplacón y resumen de los datos sólo puede ser un objetvo de un proyecto de Descubrmento de Conocmento en Bases de Datos. Esta clase de problema estaría en lo más bajo de la escala de problemas en Descubrmento de Conocmento en Bases de Datos. Sn embargo, la recoplacón y resumen de datos ocurren generalmente en combnacón con otros tpos de problemas de Mnería de Datos. Preprocesamento de datos Este proceso se necesta para depurar la nformacón, chequear nconsstencas o preparar los datos para la mnería. Las tareas de preparacón de datos probablemente van a ser realzadas muchas veces, y en ocasones, en un orden prescrpto. El preprocesamento puede nclur tareas de: a) Lmpeza de datos: Consste en la remocón de rudo (errores) o correccón de datos nconsstentes. b) Transformacón de los datos: En ocasones, los datos deben ser transformados o consoldados en una forma apropada para la mnería. 9

22 Puede ser necesaro resumr la nformacón recolectada, realzar cambos de escala o reducr la dmensonaldad del problema, antes de aplcar una técnca de Mnería de Datos, en partcular. Mnería de Datos La Mnería de Datos se defne como la extraccón no trval de nformacón mplícta, prevamente desconocda y potencalmente útl, a partr de los datos (Frawley et al., 1992). Esta fase es el proceso central del Descubrmento de Conocmento en Bases de Datos donde se aplcan los métodos o técncas que permten el análss de los datos para encontrar relacones mplíctas o patrones prevamente desconocdos. La Mnería de Datos consta de un amplo espectro de técncas para la caracterzacón de un domno, la dscrmnacón o la clasfcacón de objetos, o para el hallazgo de asocacones o dependencas funconales, entre otras tareas. En esta fase varas técncas de modelado son selecconadas, aplcadas, y sus parámetros son calbrados a valores óptmos. En general, hay varas técncas para el msmo tpo de problema de Mnería de Datos. Algunas técncas tenen requermentos específcos sobre la forma de datos. Por lo tanto, es a menudo necesaro volver a la fase de preparacón de datos. La Mnería de Datos nverte la dnámca del método centífco, dado que se colecconan los datos y se esperan que de ellos emerjan hpótess, mentras que el método centífco, formula la hpótess y luego se dseña el expermento para colecconar los datos que confrmen o refuten la hpótess. Evaluacón de los hallazgos Este proceso es necesaro para valdar los modelos construdos o las hpótess planteadas. En la valdacón de modelos, es frecuente determnar el grado de bondad de ajuste de datos reales a los modelos, empleando datos de prueba o valdacón. Antes de proceder al desplegue fnal del modelo, tambén se debe realzar una revsón de los pasos ejecutados para comparar el modelo correctamente obtendo con los objetvos del negoco. Un objetvo clave es determnar s exste algún tema mportante del negoco que no ha sdo sufcentemente consderado. Es frecuente no poder reconocer la dvsón entre la evaluacón y la nterpretacón de los hallazgos, dado que valdar o comprobar que las conclusones son váldas y satsfactoras, ncluye nterpretacón. En caso de haber obtendo varos modelos medante el uso de dstntas técncas, se deben comparar e nterpretar los modelos en busca de aquel que mejor se ajuste al domno de aplcacón. S nnguno de los modelos alcanza los resultados esperados, se regresará a una etapa anteror en busca de nuevos modelos. 10

23 Interpretacón y presentacón del conocmento La creacón del modelo no es generalmente el fnal del proyecto. Incluso s el objetvo del modelo es aumentar el conocmento de los datos, el conocmento ganado tendrá que ser organzado y presentado de modo que el analsta o las personas que toma decsones puedan usarlo, lo cual requere la aplcacón de técncas para la vsualzacón y la representacón del conocmento mnado. Al fnal de esta fase, una decsón en el uso de los resultados de Mnería de Datos debería ser obtenda dentro de un proceso de toma de decsones de una organzacón. El proceso de Descubrmento de Conocmento en Bases de Datos aparenta ser un proceso en cascada, pero realmente es un proceso cíclco, y desde cualquer etapa se puede regresar a otra, la retroalmentacón ncluso alcanza a la base de datos, dado que puede servr de guía para cambar, aumentar o dsmnur la nformacón almacenada. En la Fgura 1, se lustra el proceso de Descubrmento de Conocmento en Bases de Datos. Fgura 1. Proceso Descubrmento de Conocmento en Bases de Datos. Esta Tess de Maestría aporta prncpalmente en los tres últmos pasos del proceso de Descubrmento de Conocmento en Bases de Datos. En la etapa de Mnería de Datos se ofrecen las técncas de regresón lneal y logístca multvarantes en un sstema gestor de bases de datos, adconalmente, en el prototpo de aplcacón Web se faclta la seleccón de datos para el planteamento del modelo de regresón, sn necesdad de que el usuaro posea conocmentos en SQL. 11

24 Los procedmentos ncorporados en un sstema gestor de bases de datos cubren la etapa de Evaluacón de los hallazgos con la valdacón de los modelos de regresón construdos, por medo de pruebas de hpótess para hallar la sgnfcanca de la regresón, de los coefcentes de regresón y la valdacón de los supuestos del modelo. Por últmo, el aporte en la etapa de Interpretacón y presentacón del conocmento corresponde a un modelo propuesto para la vsualzacón de los resultados del análss Algunos enfoques en Mnería de Datos En defntva, la Mnería de Datos es una tecnología usada para descubrr nformacón oculta, desconocda y potencalmente útl. A contnuacón se descrben brevemente algunos enfoques en Mnería de Datos. Segmentacón y/o clasfcacón En la lteratura exste ambgüedad en el sgnfcado de los térmnos segmentacón, agrupamento y clasfcacón, y en ocasones se utlzan en forma ndferente. A veces se referen a la creacón de grupos, creacón de clases o creacón de modelos para predecr las clases conocdas para casos antes no vstos. La segmentacón apunta a la separacón de los datos en subgrupos o clases sgnfcatvos, todos los membros de un subgrupo deben compartr característcas comunes (Chapman et al., 2000). El analsta puede suponer certos subgrupos como relevantes basado en un conocmento prevo de los datos o como resultado de la descrpcón y el resumen de datos. Adconalmente, exsten técncas automátcas de agrupamento (clusterng) que pueden descubrr las estructuras antes nsospechadas y ocultas en que permten la segmentacón. La segmentacón a veces puede ser un objetvo de la Mnería de Datos. A menudo, la segmentacón es un paso haca la solucón de otros tpos de problemas. Por lo tanto, el objetvo es encontrar los subconjuntos de datos homogéneos que son más fácles para analzar. Típcamente en grandes conjuntos de datos varados, se obscurecen patrones o relacones mportantes. En este caso, la segmentacón apropada hace la tarea más fácl y/o más sgnfcatva. Por ejemplo: Una empresa de venta de autos con regulardad recoge nformacón sobre sus clentes acerca de sus característcas socoeconómcas como el ngreso, la edad, el sexo, la profesón, ngresos promedos, entre otros. Realzando una segmentacón, la empresa puede dvdr a sus clentes en subgrupos más comprensbles y analzar la estructura de cada subgrupo, para defnr o desarrollar estrategas de comercalzacón específcas para cada grupo separado. 12

25 La clasfcacón asume que hay un conjunto de objetos caracterzados por algún atrbuto o rasgo, que pertenecen a dferentes clases. La etqueta de clase es un valor dscreto (smbólco) y es conocdo para cada objeto. El objetvo es construr los modelos de clasfcacón (a veces llamados clasfcadores), que asgnan la etqueta de clase correcta a objetos antes no vstos y sn etquetas. En general, los modelos de clasfcacón se pueden utlzar como modelos predctvos (Chapman et al., 2000). Las etquetas de clase pueden ser defndas por el usuaro o dervadas de la segmentacón. La clasfcacón es uno de los tpos de problemas más mportantes de la Mnería de Datos que ocurren en una ampla gama de aplcacones. Muchos problemas de la Mnería de Datos pueden ser transformados a problemas de clasfcacón. Por ejemplo: El problema de evaluar el rego potencal de otorgar un crédto a un clente nuevo, puede ser transformado a un problema de clasfcacón donde se crean dos clases (clentes buenos y clentes malos). Un modelo de clasfcacón puede ser generado de los datos de comportamento credtco de los clentes exstentes en una base de datos. Fnalmente, el modelo de clasfcacón puede ser usado para determnar a cual de a una las dos clases pertenece el clente nuevo y por ende decdr el otorgamento del crédto. La clasfcacón tene conexones a cas todos los otros tpos de problemas. Los problemas de predccón pueden ser transformados a los problemas de clasfcacón por dscretzacón de etquetas de clase contnuas, porque las técncas de dscretzacón permten transformar rangos contnuos en ntervalos dscretos. Estos ntervalos dscretos, más que los valores numércos exactos, son usados como etquetas de clase, y de ahí conducen a un problema de clasfcacón. Algunas técncas de clasfcacón producen una clase comprensble o descrpcones de concepto. Hay tambén una conexón al análss de dependenca porque los modelos de clasfcacón típcamente usan y aclaran las dependencas entre atrbutos. La clasfcacón requere de categorías que puedan reunr un grupo de observacones y que se dstnga de otro grupo (Hand, 1989). La clasfcacón no es únca y un agrupamento puede ser bueno para certas cosas e nadecuado para otras. El análss de grupo es prncpalmente una herramenta para la exploracón de datos, por lo cual se tene una clasfcacón desconocda (Hand, 1989). Un análss de grupo puede generar una clasfcacón, para esto se requeren dos cosas: Una medda que muestre cómo los subespacos de representacón se ajustan aproxmadamente a la representacón orgnal. Esta medda se basa en la smltud. Un algortmo para buscar que los subespacos se optmcen. 13

26 Los algortmos se clasfcan en: Métodos jerárqucos y métodos de optmzacón. Los métodos de análss de grupo jerárquco se dvden a su vez en métodos de acumulacón o dvsón. Métodos jerárqucos de acumulacón: Se parte de n grupos, guales a n observacones. Un crtero de mínma dstanca o smlardad permte r formando un grupo con las dos observacones más cercanas, hasta que todas las observacones pertenecen a un únco grupo y se puede representar en un gráfco de árbol o dendrograma. Métodos jerárqucos de dvsón: Incalmente el conjunto de observacón forma un solo grupo o grupo padre, se nca la dvsón formando dos subgrupos y se contnúa hasta poder obtener un gráfco de árbol o dendrograma. La decsón de dvdr un grupo en dos subgrupos, debe consderar todas las varables smultáneamente, dependendo de la técnca selecconada. Métodos de optmzacón: Estos métodos requeren defnr el crtero de agrupamento y un método de optmzacón. Cada crtero de optmzacón da lugar a una estructura de grupos, por ello se sugere explorar los datos con dstntos métodos. Los métodos de optmzacón conssten en transferr puntos u observacones entre grupos, buscando la optmzacón. Los anterores métodos de clasfcacón son técncas de agrupamento que deben cumplr con los requstos de cobertura y exclusvdad. La cobertura hace referenca a que la unón de todos los grupos forma el unverso del dscurso; la exclusvdad hace referenca a la pertenenca únca de un elemento a un grupo. La segmentacón puede tambén proporconar las etquetas de clase o restrngr el conjunto de datos para que buenos modelos de clasfcacón puedan ser construdos. Es útl analzar desvacones antes de que un modelo de clasfcacón sea construdo. Las desvacones y contngencas (los valores atípcos - outlers) pueden obscurecer el patrón que podría permtr un buen modelo de clasfcacón. De otro modo, un modelo de clasfcacón tambén puede ser usado para dentfcar desvacones y otros problemas con los datos. Predccón Otro tpo de problema mportante que ocurre en una ampla gama de usos de las técncas de mnería de datos es la predccón. La predccón es smlar a la clasfcacón, se dferenca en que la predccón del atrbuto objetvo es contnuo y no un atrbuto cualtatvo dscreto o clase. El objetvo de la predccón busca encontrar el valor numérco del atrbuto objetvo para objetos no vstos. En la lteratura, este tpo de problema es comúnmente llamado regresón. S la predccón trata con datos de sere de tempo, entonces se le llama pronostcacón. 14

27 El análss de regresón es una técnca estadístca para la generacón de modelos y la nvestgacón de relacones entre varables que sean cuanttatvas, cualtatvas, o de ambos tpos (Pérez, 2004). Es común que exstan relacones entre dos o más varables, pero cuando estas relacones no han sdo dentfcadas o no están completamente determnadas, toma valor el análss de regresón. En los últmos años (gracas en gran parte al desarrollo de los computadores), el análss de regresón y en especal los métodos de análss multvarantes han probado su efcaca en dferentes áreas: las ngenerías, las cencas de la salud, en dversas nvestgacones, entre otras. Los métodos de análss multvarantes de datos han probado su efcaca, sobre todo en los métodos factorales y de clasfcacón, muy utlzados en la Mnería de Datos (Pérez, 2004). En el capítulo 3, se descrbe en detalle las técncas de regresón lneal y logístca multvarante con sus crteros de nterpretacón. Análss de dependenca El análss de dependenca consste en encontrar un modelo que descrbe dependencas sgnfcatvas (o asocacones) entre atrbutos o acontecmentos. Aunque las dependencas pueden ser usadas para el modelado predctvo son más usados por su comprensón. Las dependencas pueden ser estrctas o probablístcas (Chapman et al., 2000). La asocacón es un caso especal de dependenca. Las asocacones descrben las afndades de atrbutos, esto es, atrbutos o acontecmentos que con frecuenca ocurren smultáneamente (Chapman et al., 2000). Los algortmos para detectar asocacones son muy rápdos y producen muchas asocacones. Selecconar las más mportantes es un desafío. El análss de dependenca tene conexones cercanas a la predccón y a la clasfcacón, ya que las dependencas mplíctamente son usadas para la formulacón de modelos predctvos. En aplcacones, el análss de dependenca a menudo converge a la segmentacón. Cuándo las dependencas no son sgnfcatvas en grandes conjuntos de datos es aconsejable realzar el análss sobre segmentos de datos más homogéneos Gestores de bases de datos con enfoque a la Intelgenca del Negoco En los últmos años, los sstemas gestores de bases de datos comercales como ORACLE y SQL Server, ofrecen herramentas para la construccón de Bodegas de Datos, la utlzacón de la tecnología OLAP y algunos algortmos para Mnería de Datos. 15

28 Las Bodegas de Datos hacen parte de los sstemas de apoyo a la toma de decsones, que guardan nformacón hstórca resumda, consoldada y usualmente, requeren nformacón de muchas fuentes, ncluso de fuentes de nformacón externas a la organzacón. La utlzacón de las Bodegas de Datos y la tecnología OLAP, ntroducen el concepto de Cubo de Datos, tambén denomnado como Cubo Multdmensonal o smplemente Cubo (Zvenger y Fdel, 2005). El Cubo de Datos consttuye el modelo de datos de una base de datos multdmensonal; en un cubo, la nformacón se representa por medo de matrces multdmensonales o cuadros de múltples entradas, que permte realzar dstntas combnacones de sus elementos para vsualzar los resultados desde dstntas perspectvas y varando los nveles de detalle. El dseño de un cubo exge determnar qué se quere capturar como medda, es decr, los valores cuanttatvos que se queren analzar y montorear como ndcadores de la actvdad del negoco. Las herramentas OLAP permten el análss multdmensonal nteractvo de los datos con dversos crteros de agrupamento, esta exploracón nteractva dstngue a OLAP de las herramentas smples de consulta y reportes. El rol de OLAP va mas allá del montoreo de meddas de ejecucón. La defncón de tales meddas debería ser un proceso de artculacón de valores y metas. En muchos casos, este proceso es tan mportante como los resultados. Las herramentas OLAP pueden proveer un entorno colaboratvo y son mportantes por la multdmensonaldad, que permte ver las meddas del negoco desde varas perspectvas, trabajar en forma ntutva con datos agregados o totalzados. Además, converte al usuaro en un explorador actvo de la nformacón, permténdole ejecutar consultas complejas que nvolucran muchas facetas de su negoco sn usar sentencas SQL Modelamento y Clasfcacón de Herramentas OLAP Las Bodegas de Datos pueden requerr grandes espacos de almacenamento, y por su tamaño, la efcenca de los métodos de acceso y las técncas de procesamento de consultas suelen ser parámetros mportantes en el dseño de bases de datos multdmensonales. Las característcas relevantes en los servdores de las Bodegas de Datos son: El manejo de los índces, la materalzacón de las vstas, las técncas para soluconar consultas complejas y el paralelsmo en el procesamento masvo de bases de datos. Un elemento esencal de la arqutectura de las Bodegas de Datos es la admnstracón de los metadatos. Entre los dferentes tpos de metadatos a admnstrar se encuentran: Los metadatos de admnstracón, negoco y operacones (Chaudhur y Dayal, 1997). El modelo conceptual de los sstemas de soporte de decsón que nfluenca el dseño de las Bodegas de Datos es un modelo multdmensonal de datos, que 16

29 faclta el análss y vsualzacón de los datos, en el cual, los dagramas de entdad-relacón y las técncas de normalzacón usadas generalmente en bases de datos operaconales no son apropados dado que compromete la efcenca de las consultas. Las bases de datos relaconales están optmzadas para obtener una ejecucón optma en consultas smples y frecuentes, pero no funconan de manera deal para las consultas multdmensonales y complejas, ya que exsten muchas de ellas que no se pueden expresar en una únca consulta SQL, y seguramente se requerrán muchas operacones de JOIN, lo cual reduce drástcamente el tempo de respuesta de la consulta. Exsten tres tpos de estrategas de almacenamento de nformacón en las herramentas OLAP (Zvenger y Fdel, 2005): MOLAP Las bases de datos multdmensonales especalzadas usan estructuras de tpo arreglo para almacenar los datos. Estas estructuras están ndexadas con el fn de proveer un tempo de acceso óptmo a cualquer elemento. Se pueden dstngur dos enfoques en la forma de organzar estas estructuras: Arqutectura de Hpercubo y Arqutectura de Multcubos. Arqutectura de Hpercubo: Almacena un únco gran cubo en el cual cada medda está referencada y totalzada en todas las dmensones del msmo, con una ejecucón más pareja en cuanto al tempo de respuesta a las consultas; pero requere mucho espaco en dsco, y además necesta un buen manejo de la dspersón de los datos para evtar que el tamaño del cubo se vuelva nmanejable. Arqutectura de Multcubos: Los datos se guardan en más de un cubo, y se logra una mejor ejecucón s la consulta no requere el acceso a más de un cubo, pero en el caso contraro, la ejecucón se reduce notoramente ya que se requere un procesamento complejo para asegurar que los resultados del cruce de cubos sea consstente. ROLAP Las Bodegas de Datos ROLAP son construdas sobre una tecnología relaconal, pero la optmzacón se drge al apoyo de toma de decsones en lugar de las operacones transacconales. La arqutectura MOLAP presenta una mejor ejecucón para el análss multdmensonal, pero la arqutectura ROLAP tene ventajas en otros aspectos. En partcular, son escalables a conjuntos más grandes de datos e ncluyen soporte para replcacón, rollback y recuperacón. Además, en la mayoría de las organzacones están más famlarzadas con el uso de una base de datos relaconal. Las herramentas ROLAP brndan análss multdmensonal sobre datos almacenados en una base de datos relaconal. Lo hacen a través de un mapeo entre los datos en la bodega a un modelo multdmensonal, usando consultas 17

30 SQL. Para mejorar la ejecucón, se tende a almacenar algunos valores totalzados en la bodega, así que los datos dspersos sguen sendo un tema de mportanca que en este caso se delega al dseñador. Cuando las Bodegas de Datos llegan al orden del terabyte, se observa claramente ventajas con respecto a la arqutectura MOLAP. HOLAP Las herramentas con arqutectura HOLAP ncluyen característcas de ambos modelos, MOLAP y ROLAP. Cada alternatva tene sus ventajas y desventajas. En lugar de dscutr cual de las dos es mejor, se debe defnr un crtero para optar por una u otra, y evaluar el alcance de HOLAP, que en la práctca, ntenta combnar lo mejor de ambos modelos Técncas de Mnería de Datos ncorporados en gestores de bases de datos comercales Las últmas versones de los gestores de bases de datos ORACLE y SQL Server, han ncorporado algunos algortmos o técncas para el análss de datos, buscando facltar la mplementacón del enfoque de Intelgenca del Negoco. ORACLE Data Mnng La herramenta de Mnería de Datos del gestor de bases de datos ORACLE, no es una herramenta ndependente, funcona en conjunto con el motor de base de datos. A contnuacón se enuncan las técncas que ofrece (Planeaux et al., 2007; Berger y Haberstroh, 2005): Clasfcador Bayesano Naïve (Nave Bayes): Técnca de clasfcacón y predccón que construye modelos que predce la probabldad de posbles resultados. Nave Bayes utlza datos hstórcos para encontrar asocacones y relacones y hacer predccones. Este algortmo predce resultados bnaros o multclase. Árboles de Decsón: Técnca basada en los algortmos de árboles de regresón y clasfcacón, en cada nodo se tene un crtero de separacón. Los árboles de decsones son populares porque son unversalmente aplcables, fácles de entender y aplcar. Máqunas de Vector de Soporte (Support Vector Machnes): El algortmo soporta modelos de clasfcacones bnaras y multclase, predccón y regresón. Este algortmo es partcularmente bueno para descubrr patrones ocultos en los problemas que tenen un número muy grande de atrbutos ndependentes, con un número muy lmtado de regstros o de observacones. Atrbuto Relevante: El algortmo permte dentfcar los atrbutos de mayor nfluenca sobre un atrbuto respuesta. 18

31 Agrupamento: ORACLE provee dos algortmos, K-Means Realzado y Clusterng Ortogonal (O-Cluster). Las técncas permten dentfcar grupos en una poblacón de datos. Reglas de Asocacón: Las reglas de asocacón detectan eventos asocados que se ocultan en las bases de datos. Las reglas de asocacón generan un conjunto de pares A-B con una confanza y un soporte determnado. Característca de Seleccón: El algortmo Nonnegatve Matrx Factorzaton (NMF) es útl para reducr un gran conjunto de atrbutos en atrbutos representatvos, smlar en su concepto al Análss de Componentes Prncpales, pero capaz de manpular cantdades mayores de atrbutos y, en un modelo adtvo de representacón, NMF es un algortmo poderoso de Mnería de Datos de avanzada tecnología que puede servr en una varedad de casos de uso. Deteccón de Anomalías: El algortmo permte la deteccón de "casos raros", aún con muy pocos ejemplos dsponbles. ORACLE puede clasfcar los datos en "normal" y "anormal", el algortmo usa una versón del algortmo Support Vector Machnes para crear un perfl de una clase conocda. Cuando el modelo se aplque a la poblacón general, los casos clasfcados como anormales son datos sospechosos. Mnería de Texto: Permte realzar Mnería de Datos en datos no estructurados, como es el caso del texto. Las prmeras cuatro técncas enuncadas son técncas de Mnería de Datos supervsadas y requeren de la nteraccón con el usuaro, las demás son técncas no supervsadas. SQL Server El Gestor de bases de datos SQL Server ncorpora una herramenta que ofrece los sguentes algortmos o técncas de Mnería de Datos (Utley, 2005; Dumler, 2005): Árboles de Decsón Reglas de Asocacón Clasfcador Bayesano Naïve (Nave Bayes) Agrupamento (Sequence Clusterng) Mnería de Texto 19