EPB 603 Sistemas del Conocimiento

Transcripción

1 EPB 603 Sistemas del Conocimiento Dr. Oldemar Rodríguez R. Maestría en Administración de la Tecnología de la Información Escuela de Informática EIA411 EPB Minería Sistemas de del Datos Conocimiento Capítulo 5 Clasificación Bayesiana (Método de Naïve Bayes) EIA411 EPB Minería Sistemas de del Datos Conocimiento 1

2 Tareas de la Minería de Datos Clasificación (discriminación): Mapea o asocia individuos a grupos predefinidos (aprendizaje supervisado). Encuentra modelos (funciones) que describen y distinguen clases o conceptos para futuras predicciones. Ejemplos: Credit scoring. Métodos: Análisis discriminante, decision-tree, classification rule, neural network. EIA411 EPB Minería Sistemas de del Datos Conocimiento v3 v5 v8 v1 v2 v4 v6 EIA411 EPB Minería Sistemas de del Datos Conocimiento 2

3 Definición de Clasificación Dada una base de datos ={ 1, 2,, } de tuplas o registros (individuos) y un conjunto de clases ={ 1, 2,, }, el problema de la clasificación es encontrar una función : tal que para cada es asignada una clase. : podría ser una Red Neuronal, un Árbol de Decisión, un modelo basado en Análisis Discriminante, o una Red Beyesiana. Ejemplo: Créditos en un Banco Tabla de Aprendizaje Variable Discriminante Con la Tabla de Aprendizaje se entrena (aprende) el modelo matemático de predicción, es decir, a partir de esta tabla se calcula la función f de la definición anterior. 3

4 Descripción de Variables MontoCredito 1=Muy Bajo 2=Bajo 3=Medio 4=Alto IngresoNeto 1=Muy Bajo 2=Bajo 3=Medio 4=Alto MontoCuota 1=Muy Bajo 2=Bajo 3=Medio 4=Alto GradoAcademico 1=Bachiller 2=Licenciatura 3=Maestría 4=Doctorado CoeficienteCreditoAvaluo 1=Muy Bajo 2=Bajo 3=Medio 4=Alto BuenPagador 1=SI 2=NO Ejemplo: Créditos en un Banco Tabla de Testing Variable Discriminante Con la Tabla de Testing se valida el modelo matemático de predicción, es decir, se verifica que los resultados en individuos que no participaron en la construcción del modelo es bueno o aceptable. 4

5 Ejemplo: Créditos en un Banco Nuevos Individuos Variable Discriminante Con la Tabla de Nuevos Individuos se predice si estos serán o no buenos pagadores. Cálculo de Probabilidades Tomado del libro: Probabilidad y estadística para ingenieros - R. Walpole, R. Myers 5

6 Probabilidad Condicional Ejemplo: Se lanza un dado y se tienen los siguientes eventos: A: Se observa un número impar. B: Se observa un 1. P(B)=1/6 pues solo hay un caso favorable {1} y hay 6 casos posibles {1,2,3,4,5,6} P(B A)=1/3 pues solo hay un caso favorable {1} y hay únicamente 3 casos posibles {1,3,5}, como ya ocurrió A el dado debe ser impar por lo que el universo de posibilidades se reduce a los números impares. Nótese que A Β={1} por lo que P(A Β)=1/6, además P(A)=3/6 pues hay 3 casos favorables {1,3,5} y 6 casos posibles {1,2,3,4,5,6}. Entonces: ESTO SIEMPRE SE CUMPLE Definición de Probabilidad Condicional 6

7 Teorema de la Probabilidad Total Teorema de la Probabilidad Total 7

8 Ejemplo: Cierto artículo es manufacturado por tres fábricas, F1, F2, y F3. Se sabe que la primera fábrica produce el doble que la segunda, y que la segunda fábrica produce igual que la tercera. Se sabe además que el 2% de los artículos producidos por las dos primeras fábricas son defectuosos, mientras que el 4% de los artículos producidos por la tercera fábrica son defectuosos. Si se colocan todos los artículos en una fila y se escoge uno al azar cuál es la probabilidad de que este artículo sea defectuoso? Solución: Sea S el espacio muestral completo y considere los siguientes eventos: B={El artículo es defectuoso} A1={El artículo fue fabricado en F1} A2={El artículo fue fabricado en F2} A3={El artículo fue fabricado en F3} Nótese que = 1 2 3, entonces: = = = =0,025 Teorema de Naïve Bayes 8

9 Ejemplo: Siguiendo con el ejemplo anterior, supóngase que se escoge un artículo al azar y que este resulta defectuoso. Cuál es la probabilidad de que este artículo haya sido producido en la primera fabrica? Solución: Deseamos calcular 1, usando el Teorema de Naïve Bayes, esto es: 1 = = =1 1 = = = 0,01 0,025 =0,4 Eventos Independientes 9

10 Ejemplo de Clasificación Bayesiana Supongamos que tenemos la siguiente tabla de datos con el Género y la Altura para 15 individuos, además se tiene una columna con la clasificación para cada individuo en P=Pequeño, M=Mediano o A=Alto. La variable Género tiene dos modalidades F=Femenino y M=Masculino, mientras que la variables Altura tiene 6 modalidades 1 si Altura ]0,1.6], 2 si Altura ]1.6,1.7], 3 si Altura ]1.7,1.8], 4 si Altura ]1.8,1.9], 5 si Altura ]1.9,2] y 1 si Altura ]2,+ ]. Nombre Género Altura Clase Kristina F 1 P Jim M 5 A Maggi F 4 M Martha F 4 M Stephanie F 2 P Bob M 4 M Kathy F 1 P Dave M 2 P Worth M 6 A Steven M 6 A Debbie F 3 M Todd M 5 M Kim F 4 M Amy F 3 M Wynette F 3 M Ejemplo de Clasificación Bayesiana Supongamos que se tiene una nueva fila de la base de datos t=(adam,m,5,?). El problema es: a partir de los datos históricos y usando Clasificación Bayesiana predecir si Adam corresponde a un individuo Pequeño, Mediano o Alto, es decir, saber si tiene mayor probabilidad de ser Pequeño, Mediano o Alto. Un análisis a la ligera diría que es alto pues Todd es M y 5 y fue clasificado como Alto. Sin embargo, esto no quiere decir que necesariamente sea Alto, pues por ejemplo podría ser que existan muchas personas Medianas lo cual aumentaría la probabilidad de ser Mediano. Lo que se hace en estos caso es calcular P(Pequeño t), P(Mediano t) y P(Alto t) para determinar cuál es mayor. 10

11 Tenemos que: Ejemplo de Clasificación Bayesiana ñ = ñ ñ. ñ ñ + + ñ = 4 15, = 8 15 = 3 15 Como t = (Adam, M, 5,?), este es un evento que corresponde realmente a dos eventos independientes, ser M=Masculino y ser de Altura=5. Así: ñ = ñ =5 ñ = =0. = =5 = = = =5 = =1 3. Ejemplo de Clasificación Bayesiana Entonces: ñ ñ ñ = ñ ñ = =0 15 = ñ ñ = =0,

12 Ejemplo de Clasificación Bayesiana = ñ ñ = =0, Por lo tanto Adam tiene mayor probabilidad de ser alto. Ejemplo: Créditos en un Banco Dada esta de Aprendizaje predecir para los siguientes individuos si van a ser buenos o malos pagadores. 12

13 Ejemplo: Créditos en un Banco Nuevos Individuos Setieneunanuevafiladelabasededatost=(100,2,4,2,2,3,?). El problema es: a partir de la tabla de aprendizaje y usando Clasificación Bayesiana predecir si el individuo #100 correspondeaunbuenpagadoroaunmalpagador. LoquesehaceenestoscasoescalcularP(Bueno t)yp(malo t) para determinar cuál es mayor, en donde por bueno se entiende que la variable BuenPagador=1 y por malo que BuenPagador=2. Hayquehacerlosmismoconel#101yel#102TAREA. Ejemplo de Clasificación Bayesiana = + = 6 10 = 4 10 Como t = (100,2,4,2,2,3,?), este es un evento que corresponde realmente a 5 eventos independientes, ser MontoCredito=2, IngresoNeto=4, CoeficienteCreditoAvaluo=2, MontoCuota=2 y GradoAcademico=3. Así: = MontoCredito=2 IngresoNeto=4 CoeficienteCreditoAvaluo=2 MontoCuota=2 GradoAcademico=3 = = =0,

14 Ejemplo de Clasificación Bayesiana = MontoCredito=2 IngresoNeto=4 CoeficienteCreditoAvaluo=2 MontoCuota=2 GradoAcademico=3 = =0. = + = Por lo que =0. Pero lo vamos a verificar: = + = = =0. 10 Por lo que claramente el individuo #100 tiene una probabilidad máxima de ser un buen pagador. Naïve Bayes SQL2005 Analysis Service Cree o importe en SQL Server Management Studio una tabla de aprendizaje: EIA411 EPB Minería Sistemas de del Datos Conocimiento 14

15 Naïve Bayes SQL2005 Analysis Service Cree o importe en SQL Server Management Studio una tabla de testing o predicción: EIA411 EPB Minería Sistemas de del Datos Conocimiento Naïve Bayes SQL2005 Analysis Service Cree en SQL Analysis Service un nuevo proyecto con estas dos tablas: EIA411 EPB Minería Sistemas de del Datos Conocimiento 15

16 Naïve Bayes SQL2005 Analysis Service Use el algortimo Microsoft Naïve Bayes y selecciones como Case Table (tabla de individuos) la tabla de aprendizaje: Naïve Bayes SQL2005 Analysis Service Selecciones la variable a predecir o dependiente (predict) y las variables de aprendizaje o independientes (input), para esto último puede usar el botón Suggest. 16

17 Naïve Bayes SQL2005 Analysis Service La variable a predecir debe ser discreta (o sea varchar en SQL) y las variables de aprendizaje deben ser discretizadas (o sea int en SQL). Naïve Bayes SQL2005 Analysis Service El SQL Analysis Service tiene 4 diferentes gráficos que ayudan a interpretar las clases existentes en la tabla de aprendizaje. 17

18 Naïve Bayes SQL2005 Analysis Service Para predecir en el Tab Mining Model Prediction seleccione el modelo de minería (Mining Model) y la tabla de entrada (Input Table). Esta es la tabla de testing o de predicción. Naïve Bayes SQL2005 Analysis Service En el Tab SQL construya un query DMX para hacer la predicción, usando Design, Query y Result 18

19 Naïve Bayes SQL2005 Analysis Service Para construir el Query visualmente en Souce seleccione el modelo (nombre que le dio al modelo), el Field seleccione la variable a predecir y en Alias el nombre con se desplegará la predicción. Naïve Bayes SQL2005 Analysis Service Finalmente en el Tab SQL seleccione Query si quiere editar la consulta DMX y Result para ver los resultados. 19

20 Naïve Bayes SQL2005 Analysis Service Finalmente se desplegan las predicciones para cada uno de los individuos (cases) en la tabla de predicción. Ejemplo Datos Reales Banca Ej. William en Effiscores William 20

21 Gracias. EIA411 EPB Minería Sistemas de del Datos Conocimiento 21