Estadística Inferencial, Aprendizaje de Máquina, y BIG DATA

Transcripción

1 Andrés G. Abad - ESPOL 1 / 51 Estadística Inferencial, Aprendizaje de Máquina, y BIG DATA 20 años de Ingeniería en Estadística Andrés G. Abad, Ph.D. ESCUELA SUPERIOR POLITÉCNICA DEL LITORAL Noviembre 7, 2015

2 Andrés G. Abad - ESPOL 2 / 51 Agenda Estadística Inferencial Introducción Tres Revoluciones Aprendizaje de Máquina Introducción Formalización del Problema de Aprendizaje Temas Centrales al Aprendizaje de Máquina BIG DATA Introducción Paradigma MapReduce BIG DATA en R Conclusiones Referencias Bibliográficas

3 Andrés G. Abad - ESPOL 3 / 51 Agenda Estadística Inferencial Introducción Tres Revoluciones Aprendizaje de Máquina Introducción Formalización del Problema de Aprendizaje Temas Centrales al Aprendizaje de Máquina BIG DATA Introducción Paradigma MapReduce BIG DATA en R Conclusiones Referencias Bibliográficas

4 Andrés G. Abad - ESPOL 4 / 51 Introducción a la Estadística Inferencial Paramétrica I Razonamiento Deductivo Axiomas Razonamiento Inductivo Datos observados Conclusión Posibles hipótesis Def. Estadística Inferencial Es una rama de la estadística que por medio de la inducción busca determinar propiedades de la distribución generadora a partir de un conjunto de datos observados.

5 Andrés G. Abad - ESPOL 5 / 51 Introducción a la Estadística Inferencial Paramétrica II Conocimiento incierto + Cuantificación de incertidumbre = Conocimiento útil Necesariamente para esto utilizamos el Teorema de Bayes P(h D) = P(D h)p(h) P(D) h: hipótesis D: observaciones Figure: Rev. Thomas Bayes ( )

6 Andrés G. Abad - ESPOL 6 / 51 Tres Revoluciones en Estadística Inferencial I Primera Revloución ( ): Laplace Segunda Revolución ( ): Gauss y Laplace Tercera Revolución ( ): Fisher Probabilidad Probabilidad Función de Inversa Directa Verosimilitud P(θ D) P(D θ) L D (θ)

7 Andrés G. Abad - ESPOL 7 / 51 Primera Revloución ( ): Laplace I Se busca E[Y X]. Modelo Lineal Considere Y R n, X R n p, y β R p, tal que Y = Xβ + ε donde ε R n es considerada aleatoria. Esfuerzos por establecer relación entre función de pérdida y distribución de datos Minizar divergencia Maximizar probabilidad

8 Andrés G. Abad - ESPOL 8 / 51 Primera Revloución ( ): Laplace II ˆβ = arg max β P(Y Xβ β) ˆβ = arg min β L(Y Xβ) P generalmente rectangular, triangular, coseno cuadrático, semi-circular, exponencial doble L generalmente l 1, l 2, l Distribución Normal aún no descubierta

9 Segunda Revolución ( ): Gauss y Laplace I Distribución Normal f(x; µ, Σ) = 1 ( Z exp 1 ) 2 (x µ)t Σ 1 (x µ), donde Z = R p exp ( 1 2 (x µ)t Σ 1 (x µ) ) dx. Dos avances gigantes: 1. Distribución normal como distribución de observaciones Se establece la optimalidad del método de mínimos cuadrados bajo errores normalmente distribuidos 2. Distribución normal como aproximación a la distribución de la media muestral (Teorema del Límite Central) Andrés G. Abad - ESPOL 9 / 51

10 Andrés G. Abad - ESPOL 10 / 51 Tercera Revolución ( ): Fisher I Se definieron propiedades de los estimadores Consistencia Eficiencia Suficiencia Se trabajó en técnicas para evitar el uso de la probabilidad a priori P(h) Propuso que toda la información relevante era contenida en la función de verosimilitud Función de Verosimilitud L D (θ) = P(D θ) = P({x 1,..., x n } θ) Evitando asumir funciones de pérdida arbitrarias Evitando asumir una varianza finita

11 Andrés G. Abad - ESPOL 11 / 51 Agenda Estadística Inferencial Introducción Tres Revoluciones Aprendizaje de Máquina Introducción Formalización del Problema de Aprendizaje Temas Centrales al Aprendizaje de Máquina BIG DATA Introducción Paradigma MapReduce BIG DATA en R Conclusiones Referencias Bibliográficas

12 Andrés G. Abad - ESPOL 12 / 51 Introducción al Aprendizaje de Máquina I Énfasis en entendimiento del sistema o en predicción [Breiman, 2001] (a) Modelamiento de Datos (b) Modelamiento Algorítmico

13 Andrés G. Abad - ESPOL 13 / 51 Introducción al Aprendizaje de Máquina II Def. Aprendizaje de Máquina [Mitchell, 1997] Una máquina aprende con respecto a una tarea T, una medida de desempeño P, y un tipo de experiencia E, si la máquina confiablemente mejora su desempeño P, en la tarea T, siguiendo una experiencia E.

14 Andrés G. Abad - ESPOL 14 / 51 Introducción al Aprendizaje de Máquina III El Aprendizaje de Máquina es una rama del Inteligencia Artificial Def. Inteligencia Artificial (AI) La Inteligencia Artificial es la ciencia que estudia la representación de los procesos mentales relacionados a la inteligencia humana mediante modelos El aprendizaje es inceustionablemente uno de los principales procesos del cerebro

15 Andrés G. Abad - ESPOL 15 / 51 Introducción al Aprendizaje de Máquina IV Aprendizaje supervisado Aprendizaje no supervisado Aprendizaje semi-supervisado {Mujer, Hombre}

16 Andrés G. Abad - ESPOL 16 / 51 Introducción al Aprendizaje de Máquina V Dos acercamientos: 1. Escribir un programa en el cual detallamos procesos para diferenciar entre un rostro masculino de uno femenino. Longitud del cabello, distancia entre ojos, medidas de nariz, area del rostro, tonalidad de labios, etc 2. Escribir un meta-programa que defina automaticamente un programa para realizar esta distinción

17 Andrés G. Abad - ESPOL 17 / 51 Introducción al Aprendizaje de Máquina VI Elementos de un algoritmo 1. Datos de entrada 2. Procedimientos 3. Salidas Algoritmos Tradicionales Aprendizaje de Máquina Entradas Entradas + + Procedimientos Salidas Salidas Procedimientos

18 Andrés G. Abad - ESPOL 18 / 51 Formalización del Problema de Aprendizaje I Considere (x 1, y 1 ),..., (x m, y m ) donde x i X R n, y i Y R. Asumimos que existe una función no conocida Según la naturaleza del conjunto Y tenemos los siguientes tipos de problemas f : X Y Y Tipo de problema R Regresión {c 1,..., c n } Clasificación { 1, +1} Clasificación binaria

19 Andrés G. Abad - ESPOL 19 / 51 Formalización del Problema de Aprendizaje II Buscamos una hipótesis h : X Y que tenga un bajo error de generalización ɛ = P[h(x) f(x)]. Para regresión generalmente usamos ɛ = MSE(h) = 1 X (f(x) h(x)) 2 x X Para clasificación generalmente usamos ɛ = 1 X [I(h(x) f(x))] x X

20 Andrés G. Abad - ESPOL 20 / 51 Métodos de clasificación I Algunos de los principales algoritmos para clasificación binaria Clasificador bayesiano ingenuo Arboles de clasificación (e.g., CART, C4.5) Regresión logística Máquinas de Soporte Vectorial Redes Neuronales Artificiales Figure: Clasificación Binaria Análisis de discriminantes (e.g., lineal, cuadrático)

21 Andrés G. Abad - ESPOL 21 / 51 Clasificador bayesiano ingenuo I Considera el criterio de maximo a posteriori (MAP) c = arg max c j C P(x 1,..., x n c j )P(c j ). Bajo el supuesto de independencia entre variables c = arg max c j C P(c j) n P(x i c j ). i=1 No considera interacciones entre variables No sufre de la maldición de la dimensionalidad Si la clase correcta tiene probabilidad alta es robusto al supuesto de independencia

22 Andrés G. Abad - ESPOL 22 / 51 Árboles de clasificación I Basado en reglas del tipo: Si A 1 A m entonces c j Generalmente condición A l de la forma x i θ Algoritmos ID3 [Quinlan, 1986] y C4.5 [Quinlan, 1993] utilizan H(S) = x X p(x) log p(x) Algortimo CART utiliza Impureza Gini: I G (x) = m i=1 x i(1 x i )

23 Análisis de discriminante lineal I Modelamos la densidad de cada clase con una distribución gaussiana multivariada f k (x) = ( 1 (2π) p/2 Σ k 1/2 exp 1 ) 2 (x µ k) T Σ 1 k (x µ k). Asumiremos que las clases tienen una matriz de covarianzas común Σ k = Σ para todo k δ k (x) = x T Σ 1 µ k 1 2 µ k T Σ 1 µ k + log π k Andrés G. Abad - ESPOL 23 / 51

24 Andrés G. Abad - ESPOL 24 / 51 Temas Centrales al Aprendizaje de Máquina I Los siguientes son temas centrales al estudio del Aprendizaje de Máquina El teorema de Nada Es Gratis (No Free Lunch) Combinando Modelos (Ensembles) Sobre-ajuste VS Generalización

25 Andrés G. Abad - ESPOL 25 / 51 El teorema de Nada Es Gratis (No Free Lunch) I Teorema de Nada Es Gratis [Wolpert, 1996] Para cualquier modelo, un desempeño elevado en una clase de problemas es compensado por un bajo rendimiento en otra clase (el desempeño promedio de cualquier modelo es igual.)

26 Andrés G. Abad - ESPOL 26 / 51 Combinando Modelos I En la conferencia Predictive Analytics World/Toronto (PAW) 2012 a Método Valor Diferencia Real Ganador (persona) Promedio (N = 61) a

27 Andrés G. Abad - ESPOL 27 / 51 Combinando Modelos II Combinando modelos de regresión H(x) = 1 T T h i (x). t=1 Combinando modelos de clasificación { cj si T H(x) = i=1 hj i (x) > 1 2 Rechazo si no. l T k=1 i=1 hk (x) i

28 Andrés G. Abad - ESPOL 28 / 51 Combinando Modelos III Utilizar un conjunto de datos de entrenamiento de alguna manera diferente Seleccionar un subconjunto diferente de variables para entrenar a la hipótesis Manipular las etiquetas de las clases Introducir aleatoriedad en el algoritmo

29 Principales métodos de ensembles I Principales métodos de ensembles: Clasificador Bayesiano Óptimo Bagging Boosting AdaBoost Andrés G. Abad - ESPOL 29 / 51

30 Andrés G. Abad - ESPOL 30 / 51 Clasificador Bayesiano Óptimo I Consideramos H como el espacio de todas las hipótesis y D una muestra c = arg max c j C P(c j h i )P(h i D) h i H Es el mejor clasificador en promedio considerando H y conocimiento a priori Dificultades prácticas H generalmente muy grande como para iterar Hipótesis h generalmente entregan clase y no probabilidades P(c h) Calcular probabilidades posterior P(h D) es generalmente no trivial Necesitamos P(D h) y P(h)

31 Andrés G. Abad - ESPOL 31 / 51 Bagging I El Bagging (Bootstrap AGGregatING) fue introducido en Breiman [1996] L = {(x 1, y 1 ),..., (x m, y m )} 1. Utilizando muestreo aleatorio con reposición y obtenemos L b = {(x b1, y b1 ),..., (x bm, y bm )}, para b = 1,..., B. 2. Aprendemos h b utilizando L b 3. Agregamos hipótesis

32 Andrés G. Abad - ESPOL 32 / 51 Boosting I En Kearns and Valiant [1989] se plantea la pregunta de si las clases de complejidad: aprendedores débiles y aprendedores fuertes, son iguales Schapire [1990] responde a esa pregunta, su prueba es constructiva: Boosting

33 Andrés G. Abad - ESPOL 33 / 51 Boosting II Suponga que h 1,..., h T son clasificadores débiles utilizados para aproximar una función f : R k { 1, +1}, tal que ε = P[h(x) f(x)] = 0.5 γ para x X; γ > 0 Figure: Clasificadores Débiles ([Viola and Jones, 2001])

34 Andrés G. Abad - ESPOL 34 / 51 Boosting III Figure: Esquema del Boosting

35 Andrés G. Abad - ESPOL 35 / 51 Boosting IV α 1 = 0.42, α 2 = 0.65, α 3 = 0.92

36 Andrés G. Abad - ESPOL 36 / 51 Sobre-ajuste VS Generalización I Se utilizan modelos de alta complejidad y se evita el sobre-ajuste durante el entranamiento Comúnmente mediante regularización de los parámetros

37 Andrés G. Abad - ESPOL 37 / 51 Regularización I ˆβ = arg min β { L(Y Xβ) + λ β p } Casos comunes incluyen p = 1 (regresión LASSO [Tibshirani, 1996]) y p = 2 (caso particular de regresión RIDGE [Hoerl and Kennard, 1970]).

38 Andrés G. Abad - ESPOL 38 / 51 Habilitadores del desarrollo del Aprendizaje de Máquina I Habilitadores del desarrollo del Aprendizaje de Máquina 1. Avances en optimización matemática 2. Avances en poder de cómputo 3. Disponbilidad de grandes conjuntos de datos

39 Andrés G. Abad - ESPOL 39 / 51 Agenda Estadística Inferencial Introducción Tres Revoluciones Aprendizaje de Máquina Introducción Formalización del Problema de Aprendizaje Temas Centrales al Aprendizaje de Máquina BIG DATA Introducción Paradigma MapReduce BIG DATA en R Conclusiones Referencias Bibliográficas

40 Andrés G. Abad - ESPOL 40 / 51 Introducción al BIG DATA I Def. BIG DATA Un término extenso para denotar colecciones de conjunto de datos tan grandes y complejos que su procesamiento es desafiante utilizando técnicas tradicionales. El desafío incluye: visualizar, analizar, capturar, sanar, buscar, compartir, almacenar, transferir, asignarle una propiedad, determinar su valor, y proteger su privacidad. Estadística y Aprendizaje de Máquina Ciencia de la Computación Ciencias Sociales

41 Las 3+1 V s de BIG DATA I Andrés G. Abad - ESPOL 41 / 51

42 Variedad de Datos en BIG DATA I Qué tipo/fuente de datos ha analizado en los últimos 12 meses? (N = 264) 1 1 Fuente: Andrés G. Abad - ESPOL 42 / 51

43 Andrés G. Abad - ESPOL 43 / 51 Volumen de Datos en BIG DATA I Cuál ha sido el conjunto de datos más grande que ha analizado? (N = 459) 2

44 Andrés G. Abad - ESPOL 44 / 51 Volumen de Datos en BIG DATA II p (variables) n (a) (c) (d) (b) BIG DATA (a) Tabla de datos tradicional (b) n p (transacciones) (c) p n (imagenes, sonido, genética) (d) n y p variables (redes)

45 2 Fuente: Andrés G. Abad - ESPOL 45 / 51 Volumen de Datos en BIG DATA III Tamaño de archivos en R 1 Millón de registros: facilmente procesados en R Entre 1 y 1000 Millones de registros: procesados en R con esfuerzo adicional Millones de registros: necesarios algoritmos siguiendo MapReduce Tamaño del objeto más grande creado durante el análisis es el relevante

46 Andrés G. Abad - ESPOL 46 / 51 Paradigma MapReduce I Def. MapReduce Paradigma de programación que permite el computo en paralelo en clusters de computadoras Basado en funciones map() y reduce() Apache Hadoop es una implementación popular open-source Paquete en R: RHadoop o hive Hadoop InteractiVE

47 Andrés G. Abad - ESPOL 47 / 51 BIG DATA en R I Algunas estrategias para usar R con BIG DATA Muestrear de datos Hardware más potente (R en 32-bit direcciona hasta 2 GB de RAM; en 64-bit hasta 8 TB de RAM) Almacenar en disco y analizar por partes (Paquetes ff, ffbase, y bigglm en R; scaler en Revolution R Enterprise) Integrar con lenguajes de desempeño más eficiente (C++, Java)

48 Andrés G. Abad - ESPOL 48 / 51 Agenda Estadística Inferencial Introducción Tres Revoluciones Aprendizaje de Máquina Introducción Formalización del Problema de Aprendizaje Temas Centrales al Aprendizaje de Máquina BIG DATA Introducción Paradigma MapReduce BIG DATA en R Conclusiones Referencias Bibliográficas

49 Conclusiones I El Aprendizaje de Máquina puede ser considerado como una rama de la estadística cercana a la estadística inferencial El énfasis es en predicción Los métodos de Aprendizaje de Máquina pueden ser escalados al BIG DATA El BIG DATA ofrece oportunidades y desafíos Existen diversos paquetes en R para aplicar técnicas relacionadas al BIG DATA Andrés G. Abad - ESPOL 49 / 51

50 Andrés G. Abad - ESPOL 50 / 51 Referencias Bibliográficas I Breiman, L. (1996). Bagging predictors. Machine Learning, 24(2): Breiman, L. (2001). Statistical Modeling: The Two Cultures. Statistical Science, 16(3): Hoerl, A. E. and Kennard, R. W. (1970). Ridge Regression: Biased Estimation for Nonorthogonal Problems. Technometrics, 12(1): Kearns, M. and Valiant, L. (1989). Cryptographic Limitations on Learning Boolean Formulae and Finite Automata. Mitchell, T. (1997). Machine Learning. McGraw-Hill Education, New York, 1 edition edition. Quinlan, J. R. (1986). Induction of Decision Trees. Machine Learning, 1(1): Quinlan, J. R. (1993). C4.5: Programs for Machine Learning. Morgan Kaufmann Publishers Inc., San Francisco, CA, USA. Schapire, R. E. (1990). The strength of weak learnability. Machine Learning, 5(2): Tibshirani, R. (1996). Regression Shrinkage and Selection via the Lasso. Journal of the Royal Statistical Society. Series B (Methodological), 58(1):

51 Andrés G. Abad - ESPOL 51 / 51 Referencias Bibliográficas II Viola, P. and Jones, M. (2001). Rapid object detection using a boosted cascade of simple features. In Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, CVPR 2001, volume 1, pages I 511 I 518 vol.1. Wolpert, D. H. (1996). The Lack of A Priori Distinctions Between Learning Algorithms. Neural Computation, 8(7):