Aprendizaje Supervisado Clasificación Bayesiana (Método de Naïve Bayes)

Transcripción

1 Aprendizaje Supervisado Clasificación Bayesiana (Método de Naïve Bayes)

2 10 10 Modelo general de los métodos de Clasificación Id Reembolso Estado Civil Ingresos Anuales 1 Sí Soltero 125K No Fraude Algoritmo de Aprendizaje 2 No Casado 100K No 3 No Soltero 70K No 4 Sí Casado 120K No Generar el Modelo 5 No Divorcia do 95K Sí 6 No Casado 60K No Tabla de Aprendizaje Modelo Id Reembolso Estado Civil Ingresos Anuales 7 No Soltero 80K No 8 Si Casado 100K No 9 No Soltero 70K No Tabla de Testing Fraude Evaluar Aplicar el Modelo Nuevos Individuos

3 Definición de Clasificación Dada una base de datos D = {t 1, t 2,, t n } de tuplas o registros (individuos) y un conjunto de clases C = {C 1, C 2,, C m }, el problema de la clasificación es encontrar una función f: D C tal que cada t i es asignada una clase C j. f: D C podría ser una Red Neuronal, un Árbol de Decisión, un modelo basado en Análisis Discriminante, o una Red Beyesiana.

4 Ejemplo: Créditos en un Banco Tabla de Aprendizaje Variable Discriminante Con la Tabla de Aprendizaje se entrena (aprende) el modelo matemático de predicción, es decir, a partir de esta tabla se calcula la función f de la definición anterior.

5 Ejemplo: Créditos en un Banco Tabla de Testing Variable Discriminante Con la Tabla de Testing se valida el modelo matemático de predicción, es decir, se verifica que los resultados en individuos que no participaron en la construcción del modelo es bueno o aceptable. Algunas veces, sobre todo cuando hay pocos datos, se utiliza la Tabla de Aprendizaje también como de Tabla Testing.

6 Ejemplo: Créditos en un Banco Nuevos Individuos Variable Discriminante Con la Tabla de Nuevos Individuos se predice si estos serán o no buenos pagadores.

7 Cálculo de Probabilidades Tomado del libro: Probabilidad y estadística para ingenieros - R. Walpole, R. Myers

8 Probabilidad Condicional Ejemplo: Se lanza un dado y se tienen los siguientes eventos: A: Se observa un número impar. B: Se observa un 1. P(B)=1/6 pues solo hay un caso favorable {1} y hay 6 casos posibles {1,2,3,4,5,6} P(B A)=1/3 pues solo hay un caso favorable {1} y hay únicamente 3 casos posibles {1,3,5}, como ya ocurrió A el dado debe ser impar por lo que el universo de posibilidades se reduce a los números impares. Nótese que A B={1} por lo que P(A B)=1/6, además P(A)=3/6 pues hay 3 casos favorables {1,3,5} y 6 casos posibles {1,2,3,4,5,6}. Entonces: ESTO SIEMPRE SE CUMPLE

9 Definición de Probabilidad Condicional

10 Teorema de la Probabilidad Total

11 Teorema de la Probabilidad Total

12 Ejemplo: Cierto artículo es manufacturado por tres fábricas, F1, F2, y F3. Se sabe que la primera fábrica produce el doble que la segunda, y que la segunda fábrica produce igual que la tercera. Se sabe además que el 2% de los artículos producidos por las dos primeras fábricas son defectuosos, mientras que el 4% de los artículos producidos por la tercera fábrica son defectuosos. Si se colocan todos los artículos en una fila y se escoge uno al azar cuál es la probabilidad de que este artículo sea defectuoso? Solución: Sea S el espacio muestral completo y considere los siguientes eventos: B={El artículo es defectuoso} A 1 ={El artículo fue fabricado en F1} A 2 ={El artículo fue fabricado en F2} A 3 ={El artículo fue fabricado en F3} Nótese que S = A 1 A 2 A 3, entonces: P B = P B A 1 P A 1 + P B A 2 P A 2 + P B A 3 P A 3 P B = = = 0,025

13 Teorema de Naïve Bayes

14 Ejemplo: Siguiendo con el ejemplo anterior, supóngase que se escoge un artículo al azar y que este resulta defectuoso. Cuál es la probabilidad de que este artículo haya sido producido en la primera fabrica? Solución: Deseamos calcular P(A 1 B), usando el Teorema de Naïve Bayes, esto es: P A 1 B = P(B A 1) P(A 1 ) 3 P(B A j ) P(A j ) j =1 = P(B A 1 ) P(A 1 ) P B A 1 P A 1 + P B A 2 P A 2 + P B A 3 P A 3 P A 1 B = = = 0,01 0,025 = 0,4

15 Eventos Independientes

16 Ejemplo: Créditos en un Banco Dada esta de Aprendizaje predecir para los siguientes individuos si van a ser buenos o malos pagadores.

17 Ejemplo: Créditos en un Banco Nuevos Individuos Se tiene una nueva fila de la base de datos t = (100,2,4,2,2,3,?). El problema es: a partir de la tabla de aprendizaje y usando Clasificación Bayesiana predecir si el individuo #100 corresponde a un buen pagador o a un mal pagador. Lo que se hace en estos caso es calcular P(Bueno t) y P(Malo t) para determinar cuál es mayor, donde por bueno se entiende que la variable BuenPagador=1 y por malo que BuenPagador=2. Hay que hacer los mismo con el #101 y el #102 TAREA.

18 Ejemplo de Clasificación Bayesiana P Bueno t = P(t Bueno) P(Bueno) P t Bueno P Bueno + P t Malo P Malo P Bueno = 6 10 y P Malo = 4 10 Como t = (100,2,4,2,2,3,?), este es un evento que corresponde realmente a 5 eventos independientes, ser MontoCredito=2, IngresoNeto=4, CoeficienteCreditoAvaluo=2, MontoCuota=2 y GradoAcademico=3. Así: P t Bueno = P (MontoCredito = 2) Bueno P IngresoNeto = 4 Bueno P CoeficienteCreditoAvaluo = 2 Bueno P (MontoCuota = 2 ) Bueno P (GradoAcademico = 3) Bueno = = = 0,002.

19 Ejemplo de Clasificación Bayesiana P t Malo = P (MontoCredito = 2) Malo P IngresoNeto = 4 Malo P CoeficienteCreditoAvaluo = 2 Malo P (MontoCuota = 2 ) Malo P (GradoAcademico = 3) Malo = = 0. P Bueno t = P(t Bueno) P(Bueno) P t Bueno P Bueno + P t Malo P Malo = Por lo que P Malo t = 0. Pero lo vamos a verificar: P Malo t = P(t Malo) P(Malo) P t Bueno P Bueno + P t Malo P Malo = Por lo que claramente el individuo #100 tiene una probabilidad máxima de ser un buen pagador. = 1 = 0.

20 Naïve Bayes en R Paquete e1071 ## Instalación y carga install.packages('e1071', dependencies = TRUE) library(class) library(e1071)

21

22 Ejemplo 1: IRIS.CSV Ejemplo con la tabla de datos IRIS IRIS Información de variables: 1.sepal largo en cm 2.sepal ancho en cm 3.petal largo en cm 4.petal ancho en cm 5.clase: Iris Setosa Iris Versicolor Iris Virginica

23 > library(scatterplot3d) > scatterplot3d(datos$p.ancho,datos$s.largo,datos$s.ancho)

24 > library(rgl) > D <- as.matrix(dist(datos[,1:4])) > heatmap(d)

25 Ejemplo 1: iris.csv

26 Ejemplo 2: Credit-Scoring MuestraAprendizajeCredito2500.csv MuestraTestCredito2500.csv

27 Descripción de Variables MontoCredito MontoCuota 1= Muy Bajo 1 =Muy Bajo 2= Bajo 2 =Bajo 3= Medio 3 =Medio 4= Alto 4 =Alto IngresoNeto GradoAcademico 1= Muy Bajo 1 =Bachiller 2= Bajo 2 =Licenciatura 3= Medio 3 =Maestría 4= Alto 4 =Doctorado CoeficienteCreditoAvaluo BuenPagador 1= Muy Bajo 1 =NO 2= Bajo 2 =Si 3= Medio 4= Alto

28 Gracias.