Minería de datos (Fases de la minería de datos)

Transcripción

1 Minería de datos (Fases de la minería de datos) M. en C. Sergio Luis Pérez Pérez UAM CUAJIMALPA, MÉXICO, D. F. Trimestre 12-O. Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 1 / 23

2 Fase de integración y recopilación Fase de integración y recopilación I El primer paso es, en su caso, la integración de múltiples bases de datos en almacenes de datos (data warehousing). Un almacen de datos es un conjunto de datos históricos, internos o externos, que describen un contexto o área de estudio. Un almacen de datos se encuentra organizado de manera que permite aplicar eficientemente las herramientas para resumir, describir y analizar los datos. Un almacen de datos generalmente maneja modelos de tipo multidimensional. Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 2 / 23

3 Fase de integración y recopilación Fase de integración y recopilación II En un modelo multidimensional los datos se organizan en torno a hechos que poseen ciertos atributos o medidas que pueden verse con cierto detalle dependiendo de las dimensiones. Medidas o atributos cuánto. Dimensiones cuándo, qué, dónde. Un almacen de datos es deseable pero no imprescindible. Se puede trabajar con formatos heterogéneos. Archivos de texto. Hojas de cálculo. Bases de datos. Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 3 / 23

4 Fase de selección, limpieza y transformación El proceso de selección Consiste en utilizar la información adecuada para utilizarla en el modelo de minería de datos. Considerar la parte de los datos más pertinentes a analizar. Entender el tipo de conocimiento que se desea extraer y cómo se desea presentar. Destacar el conocimiento que puede ser válido, novedoso e interesante. Buscar el conocimiento que previo que hace falta para generar el nuevo conocimiento. Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 4 / 23

5 Fase de selección, limpieza y transformación Limpieza de datos I Al obtener la información desde distintas fuentes se debe procurar que datos sobre el mismo objeto se unifiquen. Posibles errores: Dos o mas datos de diferentes individuos se mezclan nuevos individuos que pueden ocasionar ruido en el modelo. Dos o mas fuentes del mismo individuo se replican ocasiona menos ruido pero si es recurrente llevará a resultados inesperados. Soluciones: Identificar patrones similares durante el proceso de mezclado. Por ejemplo: {hombre, varon, masculino} hombre Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 5 / 23

6 Fase de selección, limpieza y transformación Limpieza de datos II Identificar posibles formatos de claves y unificarlos. Por ejemplo: { , , , } Donde 55 es la lada del estado y 582 de la región o zona. Detección de valores faltantes. Posibles problemas: El método de minería de datos puede no tratar correctamente estos datos. Los valores faltantes pueden ocasionar malos cálculos de totales, medias. Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 6 / 23

7 Fase de selección, limpieza y transformación Limpieza de datos III Es importante entender la posible causa que origina el dato faltante. Cuestiones a considerar: La falta de valores puede expresar características relevantes. Ej.: La falta de número celular pues no todos poseen. Valores no existentes. Ej.: Quizá el registro -usuario, cliente- es nuevo y aún no tiene historial. Datos incompletos. Ocasionado por el proceso de mezcla. Una vez que se ha analizado la causa del dato faltante, se pueden dar los siguientes tratamientos: Ignorar tales datos. Pues algoritmos como los árboles de decisión son sencibles a esos casos. Eliminar el campo. Sólo si la cantidad de valores nulos es muy alta. Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 7 / 23

8 Fase de selección, limpieza y transformación Limpieza de datos IV Filtrar la fila. Puede sesgar los datos. Reemplazar el valor. Ya sea manualmente o automáticamente en funciones de otros objetos similares. Esperar los datos faltantes. Puede retrasar el proyecto. Detección de valores erróneos o anómalos. Posibles problemas: Pueden afectar severamente el resultado. No necesariamente son erróneos sino pueden ser especiales o incluso cruciales según el tema de estudio. Es importante entender la posible causa que origina el anómalo. Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 8 / 23

9 Fase de selección, limpieza y transformación Limpieza de datos V Posibles tratamientos: Ignorar tales datos. Eliminar el campo. Si es que afecta a campos de mayor calidad. Filtrar la fila. Puede sesgar los datos pues quizás sean casos o tipos especiales. Reemplazar el valor. Discretizar. Es decir clasificarlos o discretizarlos. Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 9 / 23

10 Fase de selección, limpieza y transformación Transformación I Significa modificar la forma de los datos. Método de análisis de componentes principales. Consiste en transformar los atributos o variables originales en otro conjunto tal que Donde es deseable que m n. x 1, x 2,..., x n y 1, y 2,..., y m Análisis factorial. Intenta reducir el número de atributos utilizando técnicas de mínimos cuadrados, máxima verosimilitud, entre otras. Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 10 / 23

11 Fase de minería de datos Fase de minería de datos I Entender el problema que se desea resolver. Determinar el tipo de modelo a aplicar. Predictivo. Descriptivo. Elegir el algoritmo de minería que resuelva la tarea y/o obtenga el modelo. Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 11 / 23

12 Fase de minería de datos Fase de minería de datos II Tareas de la minería de datos: Clasificación (Tarea predictiva) Cada instancia pertenece a una clase distinguidas por un tipo de atributo. Los demás atributos de la instancia se utilizan para predecir la clase. Ejemplo: Un oftalmólogo desea determinar cuáles de sus nuevos clientes son candidatos a una cirugía ocular y cuáles no, basado en los resultados de sus clientes anteriores y la evolución de éstos después de la cirugía. Algunos factores a considerar son el tipo de enfermedad ocular y algunos padecimientos que pueden afectar la cirugía. El modelo final clasificaría a los nuevos pacientes como operables o no. Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 12 / 23

13 Fase de minería de datos Fase de minería de datos III Regresión (Tarea predictiva) Consiste en aprender una función real que asigna a cada instancia un valor real, de manera que el objetivo es predecir un valor numérico. Ejemplo: Una constructora desea determinar el costo adecuado para los departamentos que va a construir y vender en una determinada zona. Para ello la constructora se puede basar en el costo de las viviendas cercanas a la zona. El modelo ayudaría a predecir el costo factible de sus nuevos deptos. Agrupamiento (Tarea descriptiva) A diferencia de la clasificación, aquí se busca agrupar a los individuos maximizando el grado de similitud entre las instancias de un mismo grupo y minimizando la similitud entre grupos. Los grupos pueden ser o no disjuntos. Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 13 / 23

14 Fase de minería de datos Fase de minería de datos IV Correlaciones (Tarea descriptiva) Ayudan a determinar el grado de similitud entre variables numéricas. El coeficiente de correlación r, con r [ 1, 1], si r = 0 indica que no hay relación entre las variables, r > 0 indica que las variables estan directamente relacionadas y r < 0 indica relación inversa. Ejemplo: El departamento de bomberos desea determinar las correlaciones negativas entre el empleo de distintos grosores de protección de material eléctrico y la frecuencia de incendios. Reglas de asociación (Tarea descriptiva) El objetivo es determinar relaciones no evidentes entre atributos categóricos. No necesariamente las reglas son del tipo causa-efecto. Ejemplo: El ejemplo clásico es el de la cesta de compra para organizar los productos físicamente en el supermercado. Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 14 / 23

15 Fase de minería de datos Fase de minería de datos V Técnicas de la minería de datos. Regresión lineal. La fórmula general para una regresión lineal es y = c 0 + c 1 x c n x n x i son los atributos predictores. y es la salida o variable dependiente. Regresión no lienal. Cuadrados, logaritmos, etc. y = c 0 + f 1 (x 1 ) +... f n (x n ) Métodos bayesianos. Basados en el teorema de bayes. Clasificación Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 15 / 23

16 Fase de minería de datos Fase de minería de datos VI p(h E) = p(e H) P(H) p(e) Donde P(A) representa la probabilidad del suceso A y p(a B) denota la probabilidad del suceso P(A) condicionada al suceso P(B). Árboles de decisión. Son una serie de condiciones organizadas en forma jerárquica, a modo de árbol. Clasificación, Agrupamiento, Regresión Instancia pronóstico humedad viento jugar 1 soleado alta débil No 2 nublado alta débil Si 3 lluvioso alta débil Si 4 lluvioso normal fuerte No 5 soleado baja débil Si Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 16 / 23

17 Fase de minería de datos Fase de minería de datos VII Se puede utilizar la inducción de reglas para derivar el conjunto de condiciones adecuadas para el problema. Si cond 1 y cond 2 y... ycond n entonces pred. Para nuestro ejemplo tenemos que: Si pronóstico = soleado y humedad = normal entonces jugar sí Si pronóstico = cubierto entonces jugar sí Si pronóstico = lluvioso y viento = débil entonces jugar sí en otro caso no Problemas con la inducción de reglas: Las reglas no necesariamente forman un árbol. Las reglas pueden no cubrir todas las posibilidades. Las reglas pueden entrar en conflicto. Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 17 / 23

18 Fase de minería de datos Fase de minería de datos VIII Redes neuronales. Trabajan directamente con números y en caso de que se desee trabajar con datos nominales, éstos deben numerizarse. Clasificación, Agrupamiento, Regresión Las redes neuronales consisten generalmente de tres capas: de entrada, oculta y de salida. Internamente pueden verse como una gráfica dirigida. Algoritmos evolutivos. Son métodos de búsqueda colectiva dentro de un espacio de soluciones. Se siguen patrones de la evolución biológica como el cruce de los genes de los padres para la producción de hijos. Clasificación, Agrupamiento, Reglas de asociación Algunos tipos de algoritmos evolutivos son: Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 18 / 23

19 Fase de minería de datos Fase de minería de datos IX Algoritmos genéticos, estrategia evolutiva, programación genética, algoritmos meméticos, algoritmos culturales, evolución diferencial. Construcción del modelo. Es bueno explorar varios modelos. También es recomendable explorar nuevos modelos mediante otras técnicas. Se aconseja que el modelo sea validado utilizando parte de los datos. Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 19 / 23

20 Fase de evaluación e interpretación Fase de evaluación e interpretación I Técnicas de evaluación. Para entrenar y probar un modelo se parten los datos en dos conjuntos: el conjunto de entrenamiento y el conjunto de prueba. Validación simple. Se utiliza cuando se posee un gran conjunto de datos. De modo que se elige entre el 5 y 50 % de los datos para la parte de las pruebas. Validación cruzada. Se parte el conjunto de datos en dos conjuntos. Primero se utiliza al primer conjunto para predecir los datos del segundo conjunto y luego se aplica el mismo proceso en modo inverso. Si la cantidad de errores no es muy grande se crea un modelo con ambos conjuntos. Validación cruzada con n pliegues. En este caso los datos se parten en n conjuntos y sólo se reserva un conjunto para pruebas. El proceso se repite para los n 1 grupos restantes. Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 20 / 23

21 Fase de evaluación e interpretación Fase de evaluación e interpretación II Bootstrapping. Se sugiere cuando se poseen muy pocos datos. 1 Se contruye un modelo con todos los datos. 2 Se crean varios conjuntos de datos llamados bootstrap samples haciendo un muestreo de los datos originales con reemplazo (se pueden repetir instancias). 3 Se crean tantos modelos como conjuntos de datos se hayan generado. 4 Con los datos restantes de cada muestreo se hacen las pruebas para el cálculo del error y se promedian los errores. Medidas de evaluación de modelos. Dependen de la tarea sobre la que se este trabajando. Clasificación. Se evalua la calidad de los patrones encontrados respecto a su precisión predictiva. instancias clasificadas correctamente instancias totales Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 21 / 23

22 Fase de evaluación e interpretación Fase de evaluación e interpretación III Reglas de asociación. Se suele evaluar aquellas reglas que pueden aplicarse a un número mayor de instancias. Se suele medir: Cobertura. Número de instancias a las que la regla predice correctamente. Confianza. Proporción de instancias que la regla predice correctamente. Regresión. Dado que la salida de este modelo es un valor numérico, lo más común es evaluar utilizando el error cuadrático medio. Se utiliza el valor predicho vs el valor utilizado para la validación. Agrupamiento. Se suele evaluar mediante funciones que nos proporcionen la cohesión del grupo y la separación entre grupos. Por ejemplo calculando la distancia media al centro del grupo y la distancia media entre grupos. Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 22 / 23

23 Fase de difusión y despliegue de resultados Fase de difusión y despliegue de resultados Al final se tiene un modelo que se utilizará para proporcionar recomendaciones. Tales recomendaciones ayudarán en procesos: De la vida real solicitud de créditos bancarios, agencias de viajes Virtuales detección de spam, detección de compras fraudulentas Se recomienda medir constantemente la evolución de la funcionalidad del modelo. Por ejemplo ciertos patrones o recomendaciones respecto a las ventas pueden verse afectados por factores externos como la tasa de inflación. Revaluado Re-entrenado o reconstruido por completo. Sergio Luis Pérez (UAM CUAJIMALPA) Curso de minería de datos 23 / 23