TEORIA DE LA DECISION DE BAYES

Transcripción

1 TEORIA DE LA DECISION DE BAYES 1

2 2

3 PROBABILIDAD A PRIORI 3

4 4

5 5

6 DENSIDAD DE PROBABILIDAD Además de la probabilidad a priori a menudo se tiene información adicional: el valor de la observación x que se va a clasificar. Ejemplo: Cómo etiquetaríamos a una persona cuya analítica indica que tiene 5 millones de glóbulos rojos? Hay yque considerar: Probabilidad a priori Valor de la observación 6

7 DENSIDAD DE PROBABILIDAD 7

8 DENSIDAD DE PROBABILIDAD 8

9 9

10 10

11 11

12 PROBABILIDAD A POSTERIORI 12

13 PROBABILIDAD A POSTERIORI 13

14 14

15 Efecto de la prob. a priori sobre la prob. a posteriori 15

16 REGLA DE CLASIFICACIÓN DE BAYES 16

17 17

18 18

19 19

20 20

21 Al considerar probabilidades a priori, las clases muy infrecuentes resultan castigadas 21

22 PROBLEMAS MULTICLASE CON PATRONES MULTIDIMENSIONALES REGLA DE CLASIFICACIÓN DE BAYES 22

23 FUNCIONES DISCRIMINANTES Y SUPERFICIES DE DECISIÓN Supongamos que existen g i (X) funciones discriminantes: Una función discriminante para la clase i (g i (X)) tiene la propiedad de que alcanza un mayor valor que cualquier otra función discriminantei i g j (X) para td todas las otras clases La regla de clasificación sería: Seleccionar w i si g i (X) >= g j (X) para todo j 23

24 FUNCIONES DISCRIMINANTES Y SUPERFICIES DE DECISIÓN Una posibilidad para considerar g i (X) es: g i (X)=P(w i X) o bien cualquier otra función equivalente: g i (X)=P(X w i ) π i Para un problema de clasificación en dos clases, la formulación se simplifica. Basta considerar: g(x)=g 1 (X)-g 2 (X) Siendo la regla de clasificación: Seleccionar w 1 si g(x) > 0 y w 2 si (x)<0 24

25 FRONTERA Y REGIONES DE DECISIÓN ENTRE 2 CLASES 25

26 FRONTERA Y REGIONES DE DECISIÓN ENTRE 2 CLASES 26

27 FRONTERA Y REGIONES DE DECISIÓN ENTRE 2 CLASES Influencia de la Probabilidad a Priori π i 27

28 ERROR EN LA CLASIFICACION C C 28

29 ERROR EN LA CLASIFICACION C C 29

30 ERROR EN LA CLASIFICACION C C MÍNIMO ERROR 30

31 ERROR EN LA CLASIFICACION EL ERROR NO ES EL MÍNIMO 31

32 ESTIMACIÓN DEL ERROR Y VERIFICACIÓN DE LOS RESULTADOS 32

33 ESTIMACIÓN DEL ERROR Y VERIFICACIÓN DE LOS RESULTADOS 33

34 ESTIMACIÓN DEL ERROR Y VERIFICACIÓN DE LOS RESULTADOS 34

35 35

36 ESTIMACIÓN POR RESUSTITUCIÓN 36

37 ESTIMACIÓN POR RESUSTITUCIÓN 37

38 ESTIMACIÓN POR CONJUNTO DE PRUEBA O TEST 38

39 ESTIMACIÓN POR CONJUNTO DE PRUEBA O TEST 39

40 ESTIMACIÓN POR VALIDACIÓN CRUZADA 40

41 ESTIMACIÓN POR VALIDACIÓN CRUZADA 41

42 ESTIMACIÓN POR VALIDACIÓN CRUZADA 42

43 VERIFICACIÓN DE RESULTADOS Matriz de confusión o Matriz de contingencia Presentación y análisis del resultado de una clasificación Matriz cuadrada de orden JxJ que tiene anexas filas y columnas auxiliares para contabilizar totales y otras métricas 43

44 VERIFICACIÓN DE RESULTADOS EJEMPLO DE MATRIZ DE CONFUSIÓN con 5 clases 44

45 VERIFICACIÓN DE RESULTADOS 45

46 VERIFICACIÓN DE RESULTADOS 46

47 1.Estructura de los sistemas de reconocimiento de patrones EJEMPLO DETALLADO DE UN SISTEMA DE RECONOCIMIENTO DE PATRONES 47

48 EJEMPLO SISTEMA DE RECONOCIMIENTO DE PATRONES PARA LA CONCESION O NO DE UN PRÉSTAMO BANCARIO Variables disponibles: Edad d Salario mensual Clases: Sí lo va a devolver (BUEN PAGADOR) No lo va a devolver (MOROSO) Se disponen de 20 ejemplos, 10 por cada clase 48

49 EJEMPLO 49

50 EJEMPLO 2 NO devuelve el prestamo 2 SI devuelve el prestamo No de indiv viduos No de indiv viduos Edad Edad 50

51 EJEMPLO 2 3 NO devuelve el prestamo SI devuelve el prestamo No de ind ividuos ividuos No de ind Salario mensual Salario mensual 51

52 EJEMPLO 2500 Concesion de prestamo NO devuelve el prestamo SI devuelve el prestamo 2000 Salario mensual Edad 52

53 EJEMPLO Probabilidad b d a priori: 0.5 para las 2 clases No se conocen las densidades de probabilidad de los atributos de cada clase, luego no utilizamos la regla de Bayes Clasificador utilizado: DISTANCIA EUCLIDEA A LA MEDIA DE CADA CLASE 53

54 EJEMPLO 2500 Concesion de prestamo NO devuelve el prestamo SI devuelve el prestamo 2000 (62, 1745) media CLASE SI Salario men nsual (33, 589) 500 media CLASE NO Edad 54

55 EJEMPLO 55

56 EJEMPLO MATRIZ DE CONFUSIÓN Clases 1 2 Total Éxito Error % 10% % 10% Total % 10% BONDAD MEDIA 56