Aux 1. Introducción a la Minería de Datos

Transcripción

1 Aux 1. Introducción a la Minería de Datos Gastón L Huillier 1,2, Richard Weber 2 glhuilli@dcc.uchile.cl 1 Departamento de Ciencias de la Computación Universidad de Chile 2 Departamento de Ingeniería Industrial Universidad de Chile 2010

2 Información General del Curso - Evaluaciones [1] Auxiliares Uso de herramientas computacionales (RapidMiner, Matlab, etc.) Conocimientos básicos de bases de datos, estadística, probabilidades, optimización y algebra lineal. Revisión materia, teoría y aplicación práctica con RapidMiner (v5.0). Tareas No es obligatorio programar Tareas incrementales en dificultad Conocimiento acumulativo. Grupos de 3-4 personas. Informes: Portada, Introducción, metodología propuesta, resultados, análisis y conclusiones, referencias, código. Entregas vía u-cursos.

3 Información General del Curso - Evaluaciones [2] CTPs 4 Lecturas (papers de páginas) CTPs de 30 a 45 minutos basados en la lectura. CTPs sorpresa en clases de cátedra (serán considerados como CTP7) Resolución de un caso (CTP5), presentación invitado (CTP6) Examen Toda la materia del semestre. Con apuntes.

4 Información General del Curso - Evaluaciones [3] Notas CTPs = 7 ( i=1 N.CTP i 5,0) Tareas = 4 ( i=1 N.Tarea i 4,0) Examen = 1 (N.Ex 4,0) N.Final 4,0 Nota final N.Final = 0,2 [ 1 7 [ 7 1 N.CTP i ]+0,4 4 i=1 4 N.Tarea i ]+0,4 N.Ex i=1

5 Calendario Actividades Semana Fecha Actividad Aux 1 - Introducción al curso Aux Aux 3 - CTP Aux 4 - Tarea Aux Aux 6 - CTP Aux 7 - Tarea Vacaciones Mitad de Semestre Aux Aux 9 - CTP Aux 10 - Tarea Aux Aux 12 - CTP Aux 13 - Tarea Aux Examenes Examenes

6 Motivación Bases de Datos permiten almacenar datos. Datos son utilizados para la generación de Información. Información utilizada para generar conocimiento. Sistemas basados en información y conocimiento originados en ambientes preferentemente analíticos. Capacidad de almacenamiento y procesamiento actuales han hecho posible tener aplicaciones en sistemas operacionales. Estos conceptos son la base del proceso KDD 1 [Fayyad et al., 1996]. Data Warehousing [Chaudhuri and Dayal, 1997, Inmon, 2005, Kimball and Ross, 2002]. Minería de Datos [Witten and Frank, 2005, Tan et al., 2005] Machine Learning [Mitchell, 1997] (Supervised Learning, Unsupervised Learning) 1 KDD: Knowledge Discovery in Databases

7 Aprendizaje Supervisado Dataset x 1,1... x 1,A x 2,1... x 2,A X =..., Y = x N,1... x N,A y 1 y 2. y N X = {x i } N i=1, x i = (x i,1,..., x i,a ), i {1,..., N} Y = (y 1,..., y N ) T Probabilidad que cliente j pague el credito y = f (X ) y j = P( pague el credito x j )

8 Aprendizaje No Supervisado Dataset x 1,1... x 1,A x 2,1... x 2,A X =..., k x N,1... x N,A X = {x i } N i=1, x i = (x i,1,..., x i,a ), i {1,..., N} k N + Segmento del cliente j {c i } k i=1 f (X, k) y j = arg mín i d(x j, c i ), i {1,..., k}

9 Escenario Actual [1]

10 Escenario Actual [2] BDs interactúan sin excepciones con todos los departamentos y áreas dentro de las empresas. Toda transacción realizada en una empresa queda (debería quedar). Transacción registrada en algún tipo de BD. Concepto de BD es más amplio que un Sistema Administrador de Bases de Datos relacional.

11 Bases de datos Operacionales BD Operaciones transaccionales del día a día (OLTPs 2 ). Responden a la gran cantidad de transacciones presentes en las empresas. Transacciones cortas con pocos datos. Ejemplos: Enterprise Resource Planning (ERPs) Manufacturing Resource Planning (MRPs) Portales y aplicaciones Web (miles o millones de usuarios cada día) Transacciones Bancarias (Instituciones Financieras) Interacción con Puntos de Ventas (POS) OLTP integrados con Web Services (SOA) 2 OLTP: On-Line Transactional Processing

12 Aplicación: Data Warehousing Figura: Más detalles en Aux. 2 y curso IN840 (Data Warehousing).

13 Aplicación: KDD Figura: Se revisará en profundidad todo el semestre.

14 Data Mining: Ejemplos Determinar la probabilidad que un cliente pague el crédito (Credit Scoring) Predicción de fuga de clientes en una empresa de telecomunicaciones (Churn Analysis) Estimación de demanda en Retail (Regression Analysis) Segmentación de mercado (Clustering Analysis) Determinar niveles de influencia entre usuarios α en Twitter, Facebook, Linked-in (Social Media Mining) Determinación de falla de maquinaria en base a características de algún proceso ( T, P, etc.) Análisis de blogs, noticias y reportes para determinar la opinión ante una empresa (Opinion Mining) Optimización de procesos de negocio y determinación de cuellos de botella (Process Mining) Hot-Spot Analysis para predicción de niveles de criminalidad (Geo-Mining)

15 CRISP-DM [1] CRoss Industry Standard Process for Data Mining Diseñado 1999 por un consorcio de 4 empresas SPSS (U.K.) NCR / TeraData (Dinamarca) DaimlerChrysler (Alemania) OHRA (Holanda) Metodología que pretende estandarizar los proyectos de Minería de datos.

16 CRISP-DM [2]

17 CRISP-DM: Comprensión del Negocio [1] 1 Determinación de los objetivos de negocio Determinación del contexto Determinación de los objetivos del negocio Criterios de éxito del negocio 2 Situación actual Disponibilidad de recursos Requerimientos y restricciones Riesgos y contingencias Costos y beneficios 3 Determinación de Objetivos del proyecto Definición de los objetivos Definición de los criterios de éxito 4 Producción del plan del proyecto Desarrollo del plan de proyecto Asesoría inicial de herramientas y técnicas

18 CRISP-DM: Comprensión y Preparación de los Datos Comprensión de datos 1 Recolección inicial, Descripción, Exploración y Verificación de datos Preparación de datos 1 Selección de datos En base al tamaño de la muestra a utilizar 2 Limpieza de datos Selección de atributos y de observaciones 3 Construcción de datos Transformación y construcción de atributos 4 Integración de datos Integración y definición de tabla maestra 5 Formato de datos

19 CRISP-DM: Modelamiento y Evaluación 1 Seleccionar técnicas para modelar el problema 2 Diseño de pruebas y validación del modelo 3 Construcción del modelo Determinación de los parámetros Determinación de los modelos 4 Evaluación del modelo Evaluación del modelo Revisión de factores de éxito del proyecto 1 Evaluación de resultados Revisión y aprobación de los resultados 2 Revisión del proceso 3 Determinación de los pasos a seguir Definición de lista de posibles acciones a tomar Toma de decisiones sobre la lista anterior

20 CRISP-DM: Despliegue del Proyecto 1 Plan de despliegue Integración e implementación del modelo 2 Plan de monitoreo y mantención del proyecto Actualización del modelo Redefinición de los objetivos y actualización del proyecto 3 Desarrollo del reporte final del proyecto 4 Revisión y cierre del proyecto

21 References I Chaudhuri, S. and Dayal, U. (1997). An overview of data warehousing and olap technology. SIGMOD Rec., 26(1): Fayyad, U. M., Piatetsky-Shapiro, G., and Smyth, P. (1996). From data mining to knowledge discovery: an overview. pages Inmon, W. H. (2005). Building the Data Warehouse, 4rd Edition. Wiley Publishing. Kimball, R. and Ross, M. (2002). The Data Warehouse Toolkit: The Complete Guide to Dimensional Modeling (Second Edition). Wiley. Mitchell, T. M. (1997). Machine Learning. McGraw-Hill, Inc., New York, NY, USA. Tan, P.-N., Steinbach, M., and Kumar, V. (2005). Introduction to Data Mining, (First Edition). Addison-Wesley Longman Publishing Co., Inc., Boston, MA, USA.

22 References II Witten, I. H. and Frank, E. (2005). Data Mining: Practical machine learning tools and techniques. Morgan Kaufmann, San Francisco, 2nd edition edition.