Análisis de Datos. Teoría de decisión Bayesiana. Profesor: Dr. Wilfrido Gómez Flores

Transcripción

1 Análisis de Datos Teoría de decisión Bayesiana Profesor: Dr. Wilfrido Gómez Flores 1

2 Teoría de decisión Bayesiana La teoría de probabilidad provee un marco teórico para los procesos de cuantificación y manipulación de la incertidumbre. Teoría de decisión Bayesiana: Teoría de probabilidad Decisiones óptimas Teoría de decisión Incertidumbre Cuantifica el compromiso entre varias decisiones de clasificación usando probabilidades y los costos que acompañan tales decisiones. Asume que el problema de decisión está en términos probabilísticos, y que todas las probabilidades relevantes son conocidas. 2

3 Ejemplo ilustrativo Una planta empacadora de pescados quiere automatizar el proceso de separación de pescados que van sobre una banda de producción. Existen dos tipos de pescados: róbalo y salmón. Supóngase que una persona observa los peces pasando por la banda de producción y se le dificulta predecir qué pescado es el próximo en salir, lo cual parece tener un comportamiento aleatorio. Sea ω el estado de naturaleza con ω=ω 1 para róbalo y ω=ω 2 para salmón. Debido a que el estado de naturaleza es impredecible, entonces ω es la variable que debe ser descrita probabilísticamente. 3

4 Probabilidades a priori El estado de naturaleza se puede describir en términos de su probabilidad a priori, la cual expresa el conocimiento existente acerca de ω antes de que aparezca algún tipo de pescado sin ningún otro tipo de evidencia: p(ω 1 es la probabilidad a priori de que el siguiente pescado sea un róbalo. p(ω 2 es la probabilidad a priori de que el siguiente pescado sea un salmón. Estas probabilidades a priori son dependientes de factores como época del año, lugar de pesca, etc. Asúmase que no existen otros tipos de pescados, de manera que p(ω 1 + p(ω 2 =1, lo cual indica exclusividad y exhaustividad. 4

5 Probabilidades a priori Cómo se puede tomar una decisión utilizando únicamente el conocimiento a priori? Decidir ω 1 si p(ω 1 > p(ω 2 ω 2 otro caso Obviamente siempre se tomará la misma decisión aún sabiendo que cualquier tipo de pescado puede ser el próximo en salir. Si p(ω 1 y p(ω 2 son equiprobables, es decir, p(ω 1 =p(ω 2, se tiene 50/50 de estar en lo correcto. La probabilidad de error de la regla de decisión en (1 es: (1 p(error = min{p(ω 1, p(ω 2 } = 1 max{p(ω 1, p(ω 2 } (2 5

6 Probabilidad clase-condicional Para mejorar la decisión, se debe usar otro tipo de información o evidencia, por ejemplo, una medida de luminosidad, x, del pescado a partir de un sensor. Se tendrán diferentes lecturas de luminosidad para pescados de distinta especie, es decir, x debe ser discriminante (e invariante. Considerando x como una variable aleatoria, su distribución depende del estado de naturaleza y se expresa en términos de una función de densidad de probabilidad clase-condicional p(x ω. Entonces, las diferencias entre p(x ω 1 y p(x ω 2 describen las diferencias en luminosidad entre poblaciones de róbalo y salmón. 6

7 Probabilidad clase-condicional p(x ω i ω 2 ω 1 Funciones de densidad de probabilidad (PDF clase-condicionales hipotéticas para dos clases que muestran la densidad de probabilidad de medir una característica x dado un patrón en la clase ω i. x 7

8 Probabilidad a posteriori Supóngase que se conoce p(ω j y p(x ω j, para j=1,2, y la medida de luminosidad de un pescado es x. La función de probabilidad conjunta de encontrar un patrón que está en la clase ω j y que tiene un valor de característica x es: p(x,ω j = p(ω j,x p(ω j xp(x = p(x ω j p(ω j Reacomodando términos se tiene la fórmula de Bayes: p(ω j x = p(x ω p(ω j j (4 p(x donde p(ω j x es la probabilidad a posteriori que indica la probabilidad del estado de naturaleza de ser ω j dado un valor x. El denominador en (4 para el caso de dos clases es: 2 p(x = p(x ω j p(ω j j =1 (3 (5 8

9 Probabilidad a posteriori La fórmula de Bayes se puede expresar informalmente como: posterior = verosimilitud previo evidencia La regla de decisión Bayesiana está dada por: Decidir ω 1 si p(ω 1 x > p(ω 2 x ω 2 otro caso (6 Reescribiendo la regla de decisión: Decidir ω 1 si p(x ω 1 p(ω 1 > p(x ω 2 p(ω 2 ω 2 otro caso (7 9

10 Probabilidad a posteriori p(ω i x ω 1 ω 2 Probabilidades posteriores para las probabilidades particulares p(ω 1 =2/3 y p(ω 2 =1/3. x 10

11 Probabilidad de error Cada vez que se observa un valor particular de x, la probabilidad de error es: p(error x = p(ω 1 x si se decide ω 2 p(ω 2 x si se decide ω 1 Minimizar la probabilidad de error involucra decidir de acuerdo a la regla de clasificación Bayesiana dada en (6, de este modo (8 se vuelve (8 p(error x = min{p(ω 1 x, p(ω 2 x} = 1 max{p(ω 1 x, p(ω 2 x} (9 11

12 Generalización Las ideas hasta ahora consideradas se pueden generalizar en cuatro formas: Permitir más de una característica. Permitir más de dos estados de naturaleza. Permitir acciones además de meramente decidir el estado de naturaleza. Introducir una función de pérdida (loss function más general que la probabilidad de error. 12

13 Definiciones Sea {ω 1,,ω C } un conjunto finito de C estados de naturaleza (clases o categorías. Sea {α 1,,α A } un conjunto de A posibles acciones. Sea λ(αi ω j la pérdida incurrida por tomar una acción α i cuando el estado de naturaleza es ω j. Sea x un vector D-dimensional de variables aleatorias denominado vector de características. 13

14 Fórmula de Bayes p(ω j es la probabilidad a priori de la clase ω j, j=1,,c. p(x ω j es la función de densidad de probabilidad clase condicional para x. La probabilidad a posteriori para la clase ωj se computa de acuerdo con el teorema de Bayes: donde la evidencia es p(ω j x = p(x ω j p(ω j p(x C j =1 p(x = p(x ω j p(ω j (10 (11 14

15 Riesgo condicional Supóngase que se tiene una observación particular x y se contempla tomar la acción α i. Si el verdadero estado de naturaleza es ωj, se incurrirá en la pérdida λ(α i ω j. La pérdida esperada (o riesgo condicional asociada con tomar la acción α i es: C, para i = 1,,A (12 R(α i x = λ(α i ω j p(ω j x j =1 Seleccionar la acción α i para la cual R(α i x es mínimo. 15

16 Clasificación binaria En el caso especial de clasificación binaria se tiene: Acción α 1 : decidir ω 1. Acción α 2 : decidir ω 2. λ ij =λ(α i ω j, pérdida incurrida en decidir ω i cuando el estado de naturaleza verdadero es ω j. En términos de probabilidades a posteriori el riesgo condicional es: R(α 1 x = λ 11 p(ω 1 x + λ 12 p(ω 2 x R(α 2 x = λ 21 p(ω 1 x + λ 22 p(ω 2 x (13 (14 La regla de decisión de mínimo riesgo es: Decidir ω 1 si (λ 21 λ 11 p(ω 1 x > (λ 12 λ 22 p(ω 2 x ω 2 otro caso (15 16

17 Clasificación binaria La regla de decisión de mínimo riesgo en (15 corresponde a decidir ω 1 si: p(x ω 1 p(x ω 2 > λ λ p(ω λ 21 λ 11 p(ω 1 (16 Se compara la proporción de verosimilitud con un umbral que es independiente de la observación x. p(x ω 1 p(x ω 2 Razón de verosimilitudes y frontera de decisión θ a. R 1 es la región del espacio de características clasificada como ω 1 y del mismo modo para R 2 y ω 2. x 17

18 Tasa de error de clasificación En problemas de clasificación las acciones son decisiones sobre clases. Se busca una regla de decisión que minimice la tasa de error de clasificación (i.e., la probabilidad de error. Usualmente si la acción α i es tomada y el verdadero estado de naturaleza es ω j, entonces la decisión es correcta si i=j y es un error si i j, lo cual se expresa mediante la función de pérdida 0-1: λ(α i ω j = 0 i = j 1 i j i, j = 1,,C (17 Esta función no asigna pérdida a una decisión correcta y asigna una pérdida unitaria a cualquier error, de modo que todos los errores son igualmente costosos. 18

19 Tasa de error de clasificación Riesgo condicional correspondiente a la función de pérdida 0-1: C i=1 i j R(α i x = λ(α i ω j p(ω j x = p(ω j x = 1 p(ω i x (18 Minimizar el riesgo requiere maximizar p(ω i x, resultando en la regla de decisión de error mínimo: Decidir ω i si p(ω i x > p(ω j x para todo i j (19 Esta regla de decisión es la generalización de la regla de decisión Bayesiana en (6. 19