ICC+: DataMining aplicado al Marketing y Comportamiento de Consumo

Transcripción

1 UNIVERSIDAD POLITÉCNICA DE MADRID FACULTAD DE INFORMÁTICA Proyecto fin de carrera ICC+: DataMining aplicado al Marketing y Comportamiento de Consumo AUTOR: SANTIAGO GONZÁLEZ TORTOSA TUTOR: VÍCTOR ROBLES FORCADA OSCAR CUBO MEDINA MADRID, OCTUBRE 2005

2

3 El futuro pertenece a quienes hacen realidad sus sueños A las dos mujeres que más quiero, mi madre y Carol.

4

5 SINOPSIS Sinopsis ICC+ es una herramienta para el Marketing Inteligente, destinado a departamentos de marketing de empresas que comercializan productos que van dirigidos al consumidor. Su contenido es información que aporta un alto nivel de conocimiento para decidir clientes, a quién y dónde dirigir las actividades, dónde abrir puntos de venta, etc. El desarrollo de esta herramienta comprende un diseño, utilizando la metodología de minería de datos CRISP-DM, y una implementación, desarrollada bajo aplicaciones como puedan ser Clementine o R-Project. La herramienta ICC+ está comprendida principalmente por tres niveles de información: Índices: Valor que una determinada área censal adopta respecto a la media nacional. Podemos apreciar dos tipos de índices, económicos, y de consumo. Propensiones: Valores que expresan la probabilidad que tienen determinadas familias situadas en un área censal respecto de una serie de variables específicas. Tipologías: ICC+ realiza una clasificación de las familias en perfiles, utilizando diferentes enfoques analíticos. La información permite disponer de una caracterización de la misma, o bien una estructura de diferentes grupos. - i -

6

7 AGRADECIMIENTOS Agradecimientos Durante toda mi carrera como ingeniero, han estado muchas personas a mí alrededor, animándome y prestándome todo su apoyo. Es por ello que, en este proyecto, quisiera transmitir mi más sincero agradecimiento a todas ellas. En primer lugar, recordar a mi madre, Mariluz, que descanse en paz. Quiero agradecerle tantas cosas que no sé por donde empezar. He aprendido muchas cosas de ella, pero si algo tengo que destacar, es la fuerza de voluntad y las ganas de vivir. Desde el día que lo aprendí, observo la vida con diferente perspectiva, hasta el punto de llegar a creer que todo lo que uno se proponga, puede llegar a conseguirlo. Por ello y por más cosas, gracias por todo madre. Realmente, si a alguien debo haber terminado la carrera, y con ello este proyecto, es a Carol, mi novia. Sin ella, mi vida no tendría ningún sentido. Gracias, de todo corazón, por tu apoyo, tu confianza, tu simpatía, tu sinceridad, tu preocupación, tu aprecio, tu cariño, tu sonrisa, en todo momento. En definitiva, mil gracias por todo Carol. Quiero agradecer a mi familia el apoyo recibido en todo momento. Han sido comprensibles, tanto en los estudios como en el trabajo, y me han facilitado todo lo necesario para poder haber hecho realidad mi sueño desde pequeño, ser ingeniero informático. Gracias por estar ahí en los buenos y malos momentos de mi vida. Especial mención a todos los miembros del grupo DaME (Javier Segovia, Ernestina, Víctor, Oscar, Alex, etc.), por su trabajo, confianza, apoyo y colaboración, pero sobre todo, por su compañerismo y amistad. Y, claro está, agradecer a los compañeros del laboratorio de Sistemas Operativos, especialmente a Ramón, el aguantarme todos estos días en los que hemos estado haciendo el proyecto. También quiero agradecer a todos los miembros del Departamento de Arquitectura y Tecnología de Sistemas Informáticos el apoyo y la confianza depositada en mí, sin los cuales no habría podido llevar a cabo este proyecto. Gracias especialmente a Víctor, mi tutor, quien me ofreció la posibilidad de trabajar en el Laboratorio de Sistemas Operativos, y de realizar este proyecto. También quisiera destacar a Fernando y Chema, por su gran ayuda y amabilidad en todo momento. - iii -

8 AGRADECIMIENTOS Como olvidar a mis compañeros y amigos del grupo ISYS (Victor s, Mamen, Sandra, Nuria, Juanjo, Alex, etc.) a quienes agradezco su ánimo, consejo, confianza y amistad. Os tendré siempre en mi recuerdo. No debo olvidar a mis compañeros de colegio (Alfonso, Javier, Juan, etc.). Gracias por la amistad que, después de tantos años, permanecemos teniendo. Gracias por todos los sabios consejos y ánimos que me habéis estado dando en el transcurso del tiempo. Puede que me olvide de muchos nombres y lo lamento. Pero todos saben dónde guardo aquel momento de vida que compartí con ellos, que me acompañará el resto de mi vida, sin borrarse de mis recuerdos.

9 CONTENIDOS Contenidos SINOPSIS... I AGRADECIMIENTOS... III CONTENIDOS... V Índice de figuras... vii Índice de tablas... viii 1. INTRODUCCIÓN MDS Boole e ICC Arquitectura de ICC Niveles de Información Índices Tipologías Propensiones Objetivos Contenidos ESTADO DEL ARTE Mineria de Datos Alcance Fundamentos Generación de Modelos Ciclo CRISP-DM Algoritmos Heurísticos Búsqueda Local Recocido Simulado Algoritmos Genéticos Herramientas v -

10 CONTENIDOS Clementine R Project Lenguaje C# PostGres PREPROCESO DE DATOS Censo de Población y Viviendas Encuesta Continua de Presupuesto Familiares (ECPF) Carga de Datos del Censo Transformación de las Variables Variables demográficas comunes Índices derivados de la ECPF METODOLOGÍA DE AGRUPACIÓN Variables de interés Algoritmos de Optimización Algoritmo Genético Búsqueda Local Simulated Annealing Comparativa Cálculo de Índices Entrenamiento de modelos Estimación de Índices Validación de resultados GENERACIÓN DE TIPOLOGÍAS Y PROPENSIONES Generación de Tipologías Tipologías de ciclo de vida familiar Tipologías económicas Tipologías de gasto Proyección de tipologías en el Censo Cálculo de Propensiones Propensión de hipotecas Propensión de tenencia de segunda vivienda Propensión de posesión de segundo vehículo vi -

11 CONTENIDOS Propensión de compra de gama de automóvil CONCLUSIONES Y LÍNEAS FUTURAS Conclusiones Documentación Conocimientos Dificultades en el desarrollo Líneas Futuras BIBLIOGRAFÍA TRANSFORMACIÓN DE VARIABLES Índice de figuras Figura 2.1 Fases del modelo de proceso CRISP-DM Figura 2.2 Función de Enfriamiento Figura 2.3 Cruce en un punto Figura 2.4 Cruce en dos puntos Figura 2.5 Cruce uniforme Figura 2.6 Cruce aritmético Figura 2.7 Inversión de genes Figura 2.8 Cambio de orden Figura 2.9 Modificación de genes Figura 2.10 Selección por la regla de la ruleta Figura 2.11 Método del Ranking Figura 2.12 Arquitectura de Clementine Figura 2.13 Ejemplo de análisis con Clementine Figura 2.14 Una visión esquemática del funcionamiento de R Figura 2.15 Ejemplo de resolución gráfica de un análisis en R Figura 4.1 Factor de enfriamiento Figura 4.2 Condición de evaluación para Recocido Simulado Figura municipios con mayor población de la Comunidad de Madrid Figura municipios con mayor población del País Vasco Figura municipios con mayor población de Asturias Figura 5.1 Tipologías Económicas (Riqueza / ValorVivienda) Figura 5.2 Histograma asociado a la variable Valor Vivienda Figura 5.3 Histograma asociado a la variable Riqueza vii -

12 CONTENIDOS Figura 5.4 Histograma asociado a la variable Gasto...86 Figura 5.5 Distribución de tipos de gasto con escasa representatividad...88 Figura 5.6 Tipologías de Gasto (OcioCultura / Energía)...89 Figura 5.7 Histograma de la variable OcioCultura...90 Figura 5.8 Histograma de la variable Energía...90 Figura 5.9 Histograma de la variable Telecomunicaciones...90 Índice de tablas Tabla 4.1 Comparativa entre algoritmos de optimización...74 Tabla 4.2 Comunidad de Madrid...79 Tabla 4.3 País Vasco...80 Tabla 4.4 Asturias viii -

13 Parte I Introducción

14

15 1. INTRODUCCIÓN Capítulo 1 1. Introducción El proyecto surge, en la empresa MDS Boole, por la necesidad de explorar y desarrollar el conocimiento individual de los consumidores, el cual, se ha convertido en uno de los principales objetivos en la mayoría de las empresas que desean orientar sus actividades de marketing de forma más eficaz y rentable. La falta de información sobre nuestros propios clientes, y sobre los consumidores en general, es un importante obstáculo que impide saber más acerca de los potenciales consumidores a nivel individual. En el mejor de los casos, aquellas empresas que desarrollan sus actividades directamente con el consumidor, disponen de una información transaccional muy importante pero, en la mayoría de los casos, desconocen los aspectos descriptivos de cómo son sus clientes. Por el contrario, las empresas que desarrollan sus actividades a través de un canal de distribución sobre el que no tienen control directo, la transacción es anónima y el conocimiento sobre el transaccional de los clientes a nivel individual es inexistente. Se planteó, pues, desarrollar una herramienta (denominada ICC+), la cual, tiene por objeto el proporcionar colas de información que permitan, por un lado, enriquecer la información que dispone la empresa acerca de sus clientes, y por otro, proporcionar datos a nivel microgeográfico sobre los perfiles y comportamiento de consumo de la población española MDS Boole e ICC+ MDS es una empresa de servicios de Marketing, encargada de ayudar a compañías y empresas a obtener mejores resultados en sus departamentos de marketing. MDS posee tres filiales, una de las cuales se localiza en Madrid, denominada MDS Boole. Ésta última ha solicitado el desarrollo del proyecto ICC+ a partir de un documento descriptivo del mismo. ICC+: DataMining aplicado al Marketing y Comportamiento de Consumo

16 1. INTRODUCCIÓN ICC+ [1] es una herramienta para el Marketing Inteligente, destinado a departamentos de marketing de empresas que comercializan con productos que van dirigidos al consumidor. Su contenido es información que le aporta un alto nivel de conocimiento para decidir a quien y donde dirigir las actividades, donde abrir puntos de venta, etc. La información que facilita ICC + está basada en los principios de la demografía, es decir, los individuos que viven en un mismo entorno tienen características y comportamientos similares. Con ello, se deduce que un individuo por el hecho de vivir en una determinada microárea geográfica se le puede asociar diferentes perfiles de consumidor, patrones y comportamientos de consumo. La información de ICC+ está referida a nivel de áreas censales, y por tanto existe información para cada una de las aproximadamente áreas censales en las que está dividida España. A partir de esta unidad geográfica es posible realizar diferentes tipos de agregaciones basadas en distintos criterios aunque uno de los más usados sea el de proximidad. Un área censal tiene como características destacables: Está formada, por término medio, por 400 familias Representa la mínima unidad de análisis con validez estadística del INE. Es un área geográfica estándar muy utilizado y extendido entre las empresas para la explotación de la información a nivel microgeográficos (ej.: planos digitales). La dirección postal tiene asociada un área censal específica, lo que permite asociar información de ICC+ de forma individual a registros de datos sólo partiendo de la dirección postal. Tiene una composición muy homogénea, lo que permite aplicar los principios de demografía con mayor precisión. Al utilizar datos agregados no nominales no le afecta la LOPD (Ley Orgánica de Protección de Datos) ICC+: DataMining aplicado al Marketing y Comportamiento de Consumo

17 1. INTRODUCCIÓN 1.2. Arquitectura de ICC+ La información necesaria para realizar el producto ICC+ se obtiene a partir de dos conjuntos diferentes de datos: Censo de Población y Viviendas, con información demográfica de las secciones censales (grupos de 500 familias) actualizada con una frecuencia de 10 años Encuesta Continua de Presupuestos Familiares (ECPF), contiene información de consumo de una muestra de, aproximadamente, 9000 familias. A partir de estos conjuntos de datos es necesario estimar los cuatro niveles de información, los cuales son: Valores Demográficos: obtenidos directamente de los datos originales Índices Económicos Tipologías Propensiones Así pues, siguiendo el ciclo de vida CRISP-DM (que más adelante se comentará), podemos describir la herramienta ICC+ como un conjunto de 4 procesos conectados entre sí, los cuales son: Preproceso de Datos Agrupación de Datos Cálculo de Índices Cálculo de otros niveles de Información El punto clave del proyecto es obtener una estimación de los índices para todas las secciones censales. Para ello, se parte de los valores de la ECPF (transformados en índices) y se proyectan sobre el censo mediante modelos. No obstante, el primer inconveniente encontrado es la diferencia de los datos, es decir, los datos del Censo están representados a nivel de sección censal, y los datos de la ECPF están representados a nivel familiar. ICC+: DataMining aplicado al Marketing y Comportamiento de Consumo

18 1. INTRODUCCIÓN Por lo que, primeramente debemos procesar dichos datos, agrupar las familias por sección censal para, más adelante, realizar el calculo de índices a nivel de sección censal. Para ello, necesitamos partir de datos que sean comunes entre el Censo de Población y la ECPF. Utilizando los datos originales procesados, los índices estimados, y otra información derivada (calculados al procesar los datos) es posible obtener el resto de los niveles de información necesarios: propensiones y tipologías Niveles de Información Para realizar el proyecto ICC+, es necesario obtener distintos niveles de información [1], ya que proporcionan bastante conocimiento sobre los consumidores. Estos niveles son los siguientes: Índices Tipologías Propensiones Índices Un índice es el valor que una determinada área censal adopta respecto a la media nacional y que está disponible para las siguientes variables de información: Índices Económicos: los índices económicos son estimaciones realizadas para cada área censal en base a las características de la población y de su entorno. Los índices económicos necesarios son los siguientes: o Renta: Indica la renta media familiar disponible anual (renta monetaria) por área censal, lo que representa flujos de entrada de dinero para la familia procedente de las diferentes fuentes generadoras de ingresos. o Capacidad de Gasto: Indica el consumo o gasto medio anual realizado por las familias por área censal y que representa flujos de salida de di ICC+: DataMining aplicado al Marketing y Comportamiento de Consumo

19 1. INTRODUCCIÓN nero. Este indicador esta formado por las diferentes partidas o conceptos de gastos que recoge la Encuesta Continua de Presupuestos Familiares del INE (ECPF). o Endeudamiento: Indica la dificultad que las familias tienen para llegar a fin de mes. Se calcula como la diferencia (siempre negativa) de los flujos monetarios entrantes y salientes (ingresos y gastos, respectivamente). o Ahorro: Al contrario que el endeudamiento, indica la facilidad que tienes las familias para llegar a fin de mes. Se calcula como la diferencia entre ingresos y gastos. o Hipoteca (valor no estimado): Indica la proporción respecto a la media nacional de viviendas con deudas pendientes de pago respecto del total de las viviendas de un área censal. Se obtiene por observación directa de los datos del Censo del INE (viviendas con pagos pendientes). o Valor de la Vivienda: Muestra un índice, sobre la media nacional, del valor medio imputable a una vivienda en alquiler o en propiedad existente en una determinada área censal. Resulta de imputar el valor real de alquiler o el coste de oportunidad de una vivienda en propiedad. o Riqueza: Es la agregación de la renta familiar y el valor de la vivienda. Indica el nivel de riqueza medio familiar por área censal. Índices de Consumo: Estos indicadores muestran el nivel de gasto para determinados tipos de consumo realizados por término medio las familias españolas. Las diferentes partidas de gasto utilizadas para construir los índices de consumo se proporcionan siguiendo la clasificación elaborada por el INE. Esta clasificación se apoya en la utilizada en la OSCE para las Encuestas de Presupuestos Familiares de los hogares, que a su vez está basada en la clasificación ICC+: DataMining aplicado al Marketing y Comportamiento de Consumo

20 1. INTRODUCCIÓN PROCOME a 2 dígitos del Sistema Europeo de Cuentas Económicas Integradas (SEC). En dicha nomenclatura, cada partida de gasto aparece asociada, excepto en casos excepcionales, a la actividad que lo produce Tipologías ICC+ realiza una clasificación de las familias en perfiles utilizando diferentes enfoques analíticos. La información que proporciona permite, para cada área censal, disponer de una caracterización (distribución en cada uno de los grupos tipológicos detectados) de la misma o bien una estructura de diferentes grupos. Las diferentes tipologías a obtener son las siguientes: Tipologías económicas: Realiza una clasificación de las familias en función de sus datos económicos (renta, gasto, ahorro, deuda, valor vivienda, etc.). El objetivo es clasificar las familias en grupos tipológicos de comportamiento económico (caracterización y grupos tipológicos existentes en cada área censal). Tipologías familiares: Muestra para cada área censal la estructura de tipologías de las diferentes familias (generadas a partir de la ECPF). Tipologías de distribución del gasto: Muestra las distintas tipologías de distribución del gasto de cada área censal. Tipologías de consumidores: Clasifica las áreas censales en función de su grado de similitud o parecido en cuanto a diferentes grupos de variables discriminantes y representativas del entorno. Cada una de las tipologías anteriores se generan a partir de un conjunto de variables escogidas según varios factores y objetivos: o o Descartar variables que estén altamente correlacionadas, seleccionando únicamente aquellas que se consideren altamente predictivas. Las variables deberán correlacionarse bien con el comportamiento del consumidor ICC+: DataMining aplicado al Marketing y Comportamiento de Consumo

21 1. INTRODUCCIÓN o o o Las variables deberán tener el suficiente tamaño muestral para ser estadísticamente válidas. Las variables no deben estar fuertemente concentradas en un pequeño número de áreas geográficas. Algoritmos de proximidad de las secciones censales (ej.: el distrito municipal que es el siguiente nivel de agregación de las secciones censales) Propensiones Las propensiones expresan la probabilidad que tienen determinadas familias, situadas en un área censal, respecto a una serie de criterios:: Propensión Hipotecas: Indica la probabilidad de que las familias de una determinada área censal tengan la vivienda hipotecada. Propensión posesión Segunda Vivienda: Indica la probabilidad de posesión de una segunda vivienda por parte de las familias que residen en una determinada área censal. Adicionalmente, en el caso de disponer de esta segunda vivienda, se dispone de información de: o o Lugar de posesión: Lugares más probables de posesión, clasificado por provincias. Tiempo de uso: Muestra el tiempo medio de uso de la segunda vivienda. Propensión de posesión de 2 o más coches: Expresa la probabilidad de que las familias de una sección censal dispongan de más de un vehículo dentro del hogar. Propensión de compra de modelos de coches (valor estimado): Indica la probabilidad de una familia situada en una determinada área censal de compra/posesión de los diferentes segmentos de coches. ICC+: DataMining aplicado al Marketing y Comportamiento de Consumo

22 1. INTRODUCCIÓN 1.4. Objetivos Se trata, pues, de aplicar el proceso CRISP-DM al análisis de los datos publicados por el UNE para la creación del producto ICC+. Este objetivo supone los siguientes subobjetivos: 1. Quiénes son mis clientes y dónde puedo encontrar otros similares? 2. Cuáles de mis mejores clientes pueden dejar de serlo? 3. Qué productos no compran mis clientes y podrían comprar? Las aplicaciones específicas de ICC+ se engloban en 4 grupos: Análisis de cartera de clientes: Analizar la composición de la cartera de clientes y determinar los grupos de clientes que son más interesantes para desarrollar actividades de fidelización, venta cruzada y/o riesgos de abandono/fuga. Identificación de potenciales clientes: Conociendo las características de los clientes es posible saber dónde encontrar clientes potenciales, cuántos son y cómo se distribuyen en cada uno de sus puntos de venta. Respuestas a Campañas: Identificar los clientes y prospectos que mejor responden a cada tipo de acción promocional y de marketing directo. Identificar la localización idónea de los puntos de venta: Conocer las áreas geográficas más beneficiosas y de mayor potencial para las compañías Contenidos En primer lugar, se presenta la introducción del proyecto, seguido del estado del arte, el cual, se describirá el proceso de Minería de Datos, su definición, y herramientas que nos permiten llevarla a cabo. Se describirá el ciclo de vida CRISP-DM, y dos herramientas utilizadas en este proyecto, Clementine y R-Project. Seguidamente, se describirá el análisis y preproceso de datos que comprende una descripción del origen de los datos, las operaciones de transformación (agrupar, modificar ICC+: DataMining aplicado al Marketing y Comportamiento de Consumo

23 1. INTRODUCCIÓN nombres, etc.) sobre dichos datos para generar un conjunto de datos útil para las siguientes fases. Tras el preproceso de datos, se procederá a exponer la metodología de agrupación utilizada para agrupar familias de la ECPF. Se presentarán las variables que son interesantes para realizar la agrupación y los algoritmos planteados para realizarla, con una comparativa entre ellas. A continuación, se realizará el cálculo y proyección de todos los índices solicitados, a partir de los grupos generados por el algoritmo de agrupación. Una vez calculados y validados los índices, se crearán las tipologías y propensiones a partir del conjunto de datos inicial Para finalizar, se expondrán las conclusiones, valoraciones y experiencia adquirida durante la realización del proyecto. ICC+: DataMining aplicado al Marketing y Comportamiento de Consumo

24

25 Parte II Estado del Arte

26

27 2. ESTADO DEL ARTE Capítulo 2 2. Estado del Arte La primera fase en el desarrollo de un proyecto es estudiar y comprender las tecnologías existentes para, más tarde, seleccionar las más apropiadas. En este caso, es necesario conocer qué es y para qué sirve la Minería de Datos [10], y el ciclo de vida estándar utilizado en este tipo de proyectos (CRISP-DM) [12]. También se describen los algoritmos heurísticos utilizados para realizar la agrupación de familias de la ECPF. Por último, se proporciona una breve descripción de las herramientas utilizadas en el transcurso del proyecto Mineria de Datos La tecnología disponible actualmente permite almacenar, transferir y gestionar información crítica dentro de una organización. Sin embargo, si esta información no se transforma en conocimiento útil, carece de valor. La minería de datos es el proceso de extracción de información significativa de cualquier conjunto de datos. Las técnicas de minería de datos revelarán tendencias y correlaciones ocultas que permitan una mejor comprensión de los datos, esto es, generar conocimiento útil. Por lo tanto, la minería de datos es un proceso de soporte al usuario. Esta tecnología ayuda a las organizaciones a centrarse en la información más significativa contenida en sus bases de datos corporativas. Mediante esta información es posible predecir nuevas perspectivas y situaciones futuras con mayor precisión, lo que facilita la toma de decisiones y, empleada de forma apropiada, podría suponer una ventaja competitiva. Los avances en la recolección de datos, el amplio uso de códigos de barras y la automatización de muchos negocios, tanto privados como gubernamentales, han generado una ICC+: DataMining aplicado al Marketing y Comportamiento de Consumo

28 2. ESTADO DEL ARTE ingente cantidad de datos. El análisis de este volumen de datos ha generado una necesidad urgente de nuevas técnicas y herramientas que puedan asistir en la transformación automática e inteligente de toda esta información en conocimiento útil. Los avances en minería de datos y en el descubrimiento del conocimiento, han impulsado varios campos de investigación como la estadística basada en técnicas de lógica difusa, bases de datos universales, máquinas que aprenden e inteligencia artificial, todos ellos parte del creciente campo de minería de datos. La minería de datos tiene una serie de ventajas: Contribuye a facilitar la toma de decisiones tácticas y estratégicas proporcionando un procedimiento automatizado para identificar información clave desde volúmenes de datos generados por procesos tradicionales y de e-business. Permite dar prioridad a decisiones y acciones. Proporciona criterios que faciliten la toma de decisiones a los usuarios del negocio que mejor entienden el problema y el entorno. Habitualmente, genera modelos descriptivos. Permite que relaciones ocultas e identificadas a través del proceso de la minería de datos sean expresadas como reglas de negocio o modelos predictivos. Un sistema de minería de datos permite analizar factores de influencia en determinados procesos, predecir o estimar variables o comportamientos futuros, segmentar o agrupar ítems similares, además de obtener secuencias de eventos que provocan comportamientos específicos. La llegada de la minería de datos se considera como la última etapa de la introducción de métodos cuantitativos, científicos en el mundo del comercio, industria y negocios ICC+: DataMining aplicado al Marketing y Comportamiento de Consumo

29 2. ESTADO DEL ARTE Alcance Dados conjuntos de datos de suficiente tamaño y calidad, la minería de datos puede generar nuevas oportunidades al proporcionar las siguientes capacidades: Predicción automatizada de tendencias y comportamientos: La minería de datos automatiza el proceso de encontrar información predecible en cantidades de datos de diverso tamaño. Preguntas que tradicionalmente requerían un intenso análisis manual, ahora pueden ser contestadas directa y rápidamente desde los datos. Descubrimiento automatizado de modelos previamente desconocidos: Las herramientas de minería de datos identifican modelos y relaciones ocultas en los datos analizados. Cuando son implementadas en sistemas de procesamiento paralelo de alto rendimiento, pueden analizar bases de datos masivas en minutos Fundamentos En la evolución desde los datos a información, cada nuevo paso se basa en el previo. Por ello, las técnicas de minería de datos son el resultado de largos procesos de investigación y desarrollo. Esta evolución comenzó cuando los datos de negocios fueron almacenados por primera vez en computadoras, continuó con mejoras en el acceso a los datos y, más recientemente, con mecanismos que permiten a los usuarios navegar a través de los datos en tiempo real. La minería de datos se sustenta en tres tecnologías que tienen suficiente madurez: Recolección masiva de datos Algoritmos de aprendizaje Potentes computadoras con multiprocesadores Estos componentes esenciales de la minería de datos han estado en desarrollo durante décadas en diferentes áreas de investigación: estadística, inteligencia artificial y aprendizaje automático. ICC+: DataMining aplicado al Marketing y Comportamiento de Consumo

30 2. ESTADO DEL ARTE Hoy, la madurez de estas técnicas junto con los motores de bases de datos relacionales de alto rendimiento, hacen que la aplicación de estas tecnologías sea viable en los entornos actuales. Los sistemas de minería de datos suelen utilizar algoritmos procedentes de la inteligencia artificial o modelos matemáticos tales como: Redes neuronales artificiales: modelos predecibles no-lineales que aprenden a través del entrenamiento y se asemejan a la estructura de una red neuronal biológica. Árboles de decisión: estructuras en forma de árbol que representan conjuntos de decisiones. Estas decisiones generan reglas para la clasificación de un conjunto de datos. Método del vecino más cercano: técnica que clasifica cada registro en un conjunto de datos basado en una combinación de las clases de los k registros más cercanos a él en un conjunto de datos históricos. Regla de inducción: extracción de reglas if-then de datos basados en significado estadístico. Algoritmos heurísticos: técnicas de optimización que usan procesos como combinaciones genéticas, mutaciones y selección natural en un diseño basado en los conceptos de evolución. Muchas de estas técnicas han estado en desarrollo durante más de una década en herramientas de análisis especializadas que trabajan con volúmenes de datos relativamente pequeños. Estas capacidades están ahora evolucionando para integrarse directamente con herramientas OLAP y de Data Warehousing Generación de Modelos El modelado es la técnica usada en minería de datos para construir un modelo capaz de explicar una situación en la que se conoce la respuesta para, posteriormente, aplicarlo en aquellas situaciones en las que dicha respuesta es desconocida ICC+: DataMining aplicado al Marketing y Comportamiento de Consumo

31 2. ESTADO DEL ARTE Para ello, las computadoras se cargan con mucha información acerca de una variedad de situaciones donde la respuesta es conocida a priori (algoritmos de aprendizaje supervisado). Posteriormente, los algoritmos de aprendizaje investigarán esta información, distinguiendo entre las distintas características, y construirán un modelo. Una vez este modelo ha sido construido, puede ser usado en situaciones similares en las que la respuesta no es desconocida. Para estimar la precisión del modelo se aplican técnicas de validación. Una de las más empleadas consiste en excluir un conjunto de las situaciones conocidas en el entrenamiento del modelo y aplicarles el modelo resultante. De esta forma es posible comparar la respuesta real conocida con la generada por el modelo Ciclo CRISP-DM CRISP-DM (CRoss Industry Standard Process for DataMining) surgió por iniciativa de Daimler Chrysler a finales de 1996 y tuvo éxito al basarse en la experiencia práctica del mundo real; de cómo los profesionales, tales como los médicos, trabajaban en proyectos basados en la experiencia, para de este modo obtener mejores resultados. CRISP-DM es una metodología estándar para la realización de proyectos de minería de datos que reduce el tiempo de recuperación de la inversión realizada. El modelo de proceso proporciona una descripción del ciclo de vida de un proyecto, conteniendo sus correspondientes fases, tareas y las relaciones entre estas tareas. No es posible identificar a este nivel de descripción todas las relaciones, al existir éstas probablemente entre todas las tareas existentes dependiendo de los objetivos, motivos, intereses de los usuarios y, por supuesto, de los datos. A continuación, se muestra el ciclo de vida de un proyecto de minería de datos, consistente en 6 fases cuya secuencia no es estricta sino dependiente del resultado de la última fase llevada a cabo. El círculo externo simboliza la naturaleza cíclica de la minería de datos y las flechas pequeñas indican las dependencias más importantes y frecuentes entre fases. ICC+: DataMining aplicado al Marketing y Comportamiento de Consumo