Teoría de decisión Bayesiana

Transcripción

1 Teoría de decsón Bayesana Reconocmento de atrones 3 Duda Catulo

2 Decsón Bayesana Enfoque estadístco fundamental en clasfcacón de atrones Idea: Estudar robabldades de tomar decsones ncorrectas ara cuantfcar los costos y comromsos de esas decsones y dseñar las estrategas de menor costo

3 Metodología. Suuestas conocdas todas las robabldades en uego estudaremos como establecer las reglas de decsón.. osterormente analzaremos como roceder cuando no se conocen las robabldades comletamente. Eemlo: Clasfcacón de brotes y de herbas arástas en cultvos, medante la catura de mágenes multesectrales 4 bandas, con el obetvo de realzar una fumgacón esecífca.

4 Eemlo Clasfcacón de brotes y de herbas arástas en cultvos, medante la catura de mágenes multesectrales 4 bandas, con el obetvo de realzar una fumgacón esecífca. re-rocesamento: dscrmnacón suelo vegetacón roblema de clasfcacón de clases: cada el de vegetacón ertenece a: brote arásto C={, } Ω Є C, V. A

5 rors, robabldades a ror, el brote o arásto. Reflean conocmento revo de cuan robable es que un el corresonda a brote o arásto antes de nsecconar magen. Suondremos + =, todo el detectado como vegetacón es brote o arásto.

6 Regla de Decsón Suongamos que somos forzados a tomar una decsón y que todos los costos de decsones ncorrectas son guales. S la únca nformacón a la que odemos acceder son las robabldades a ror, la regla de decsón razonable es: Decdo: s >, en otro caso

7 S >> S al decdr cas semre estamos en lo certo. nos equvocamos en romedo uno de cada dos. error = mn [, ]

8 Densdad de robabldad condconada a la clase En general dsonemos de más nformacón ara tomar decsones. Eemlo: a cada el le asocamos un vector =,, 3, 4 donde : reflectanca en la banda esectral -ésma. Modelo: vector aleatoro densdad de robabldad d R R, d R R

9 donde, Bayes: usamos, de vector de característcas el naturaleza del ara nferr la condconales densdades las y rors las Suuesto conocdas Bayes

10 Bayes Bayes: osteror verosmltud evdenca ror - osteror: robabldad de que la clase sea dado que se mdó. ror: conocmento revo del roblema - verosmltud : de la clase resecto a, cuanto mayor más robable que la verdadera clase sea. - evdenca: factor de escala, normalza a.

11 Regla de Decsón de Bayes, mn : Bao esta regla mínma mínma decdmos s decdmos s, en otro caso, s Decdo 4 4 error error error error d error d error error R R

12 Decsón de Bayes + = En térmno de robabldad a ror y verosmltud la regla es: Decdo s >, en otro caso Elmnando el factor de escala se obtene una regla equvalente, el factor de normalzacón camba la aarenca de las funcones dscrmnantes.

13 S = entonces el medr las característcas, no nos aorta nformacón sobre la clase; la decsón se basa uramente en las rors. S = la decsón se basa en las verosmltudes La regla de decsón bayesana combna ambos factores y toma la decsón que mnmza la robabldad de error.

14 Formalzacón y generalzacón c clases {,. c } Esacos de característcas R d : =,, d T : vector de característcas Є R d : esaco Eucldeano dmensón d Funcones de costos más generales que la robabldad de error. Funcón de costo ó de érdda: cuanto me cuesta cometer dstnto tos de errores o no decdr. E: costo de etraer tedo s es bengno no es gual costo de no etraer tumor malgno.

15 Funcones de Costo C {,. c } conunto fnto de c categorías A {,. a } conunto de a osbles accones : costo asocado a tomar accón, cuando la muestra es en realdad de la clase.

16 c c d E R C R : condconal resgo el es accón de tomar la costo medo El a ncurrr en un costo voy, verdadera clase s, contemlo tomar accón, Observo aleatora varable, Modelo: Resgo Condconal

17 Resgo Total Una regla de decsón es una funcón α α: R d A que nos dce que accón tomar ara cada E: asgno a una de las clases...c o a la clase de rechazo. Resgo total R: eseranza del resgo condconal asocado a una regla de decsón R E R R d R d

18 Resgo de Bayes Elegr Regla de Decsón que mnmce Resgo Total R es mínmo ara cada Rα es mínmo ara cada : α * arg mn A R α El resgo asocado a la Decsón Bayesana : R * R d R * d Es ótmo.en caso de emate entre reglas tomar cualquera se uede

19 Clasfcacón con clases sn rechazo,, R R A C Regla Bayesana: en otrocaso, s : Decdo R R

20 Razón de Verosmltud En general y al de acertar. Interretacón : Decdo costo de errar mayor cuando la razón de verosmltud suera un umbral que es ndeendente de.

21 Clasfcacón de menor tasa de error: cuestan lo msmo : errores Asumo que todos los errores...c, acertos : Costo cerouno Funcón de costo smétrca c R C,

22 Clasfcacón con tasa de error mínma La decsón bayesana es aquella que mnmza el resgo total y or ende el resgo condconal ara Rα ara todo Decdo s ara todo es la robabldad condconal de que la accón α es correcta. ara mnmzar el resgo tengo que elegr que mamza.

23 Regla de decsón Bayesana λ = λ = λ = λ = R R R R R R : regón donde se decde No tene orque ser conea.

24 Crtero mnma En muchos casos es mosble rever la evolucón o los cambos de robabldades a ror, se busca que el clasfcador funcones correctamente sobre un rango de rors. Se dseña el clasfcador ara que el resgo en el eor caso entre todos los rors osbles sea mínmo: estmador mnma F: esaco de característcas R d F R : regón en donde el clasfcador decde

25 , Consderemos : R R d R d R R d R R F R R C R R R d Resgo Mnma

26 B A R d d R R R R Resgo Mnma El obetvo es encontrar una regla de decsón e. Determnar R y R tal que B mínmo y A=. S odemos encontrar una regla de decsón A= la regla es ndeendente de las rors.

27 Resgo Mnma S esta regla este el resgo mnma es B* R mnma = B* mnbr, R sueto a AR y R = Aún en caso de estr el clasfcador mnma, uede ser dfícl encontrar cuando las dstrbucones son comleas. B* Resgo mínmo de Bayes

28 Funcones Dscrmnantes, Suerfces de Decsón Accón Costo C,, funcones Decmos s..... d c T dscrmnantes: g que el g clasfcad or asgna g... c g g g c d el vector a la clase Un clasfcador se uede reresentar como una red que calcula funcones dscrmnantes y elge la clase que corresonde al dscrmnante mayor.

29 Reresentacón Clasfcador Bayesano ln ln de error tasa mínma E : o comutaconalmente. analítca ara smlfcar elegr es dea La clasfcac ón. msma la conducen a y monótona crecente : : Caso genérco c g g g f g f g R R f R g

30

31 Funcones Dscrmnantes ara Densdades Normales: orqué un nterés esecal en la ley normal? Teorema central del límte Analítcamente maneable Tendenca actual: trabaar con estadístca no aramétrca smulacones, otenca de cálculo

32 Dstrbucón Normal Clasfcacón basada en modelos estadístcos determnados or momentos de rmer y segundo orden. roblema ráctco descrto or conunto de entrenamento {,}, no tenemos conocmento de las roedades estocástcas de la fuente de atrones. Enfoque ragmátco: Modelar usando dstrbucón normal y evaluamos s hótess es sensble. Encontrar clasfcador ótmo ara normal.

33 de M ahalanobs Dstanca cuadrátca de de covaranza Matrz : de Valor medo e det Σ Σ Σ T R T T R T d d r d E d E d d Densdad Normal Multvarada

34 ,,Σ Σ Σ Σ Σ Σ Σ Σ, ara r mámo :unmodal, N ostvos. son defndos roosde Valores var, cov, det, det : regular, r ostvas defndas ambas, smétrca : T T roedades de Matrz de covaranza

35 Elsodes Equdensdad 3:elsode ó herbolode con centro en d :else d en un esaco d - dmensonal Suerfece cuadrátca cte. lndet ln ln e det Σ Σ T T d r d r

36

37 Σ I Σ 4 Σ

38 Orentacón y tamaño del elsode B : matrz de vectores roosde Σ D: matrz dagonal de valores roosde Σ Σ Cambo de coordenadas z B, transformacón comuesta traslacón orgen de coordenadas a y rotacón or la matríz B. r BDB z T T D z r d z T : valores roos Los ees del elsode estan defndos de los semees or. or los b y la longtud

39 Transformacones de Blanqueado Transformacón de coordenadas que lleva normal A E : BD arbtrara Blanqueado en una usando una dstrbucón esférca Σ BDB T y Cholesky : dstrbucón blanca Σ Σ I LL T

40 Indeendenca Estadístca - Correlacón Indeendente no correlacó n Caso gaussano co - varanza Nota: v.a. ueden ser margnalme nte gaussanas serlo conuntamente. E : Y Y X UX v.a. gaussana U :gaussana : v.a. conuntamente gaussanas, ndeendenca. X N, U U ssu sn

41 son v.a.gaussanas gaussanas de v.a. lneales Combnaco nes ero no son ndeendentes. tene covaranza no lo son conuntamente gaussano cu :es 3,, 4 XY Z X E X E U E X E Y E X E X E Y X E X E U E UX E XY E t X t X t X t Y U t X U t X t UX t Y Indeendenca Estadístca - Correlacón

42 Funcones dscrmnantes cuadrátcas ln lndet ln : son normales densdades todas las S ln ln tasa de error con menor dscrmnantes ara clasfcar Funcones T d g g Σ

43 gual : odemos gnorarlo : ero se ueden hacer no son lneales Estas funcones ln ln Caso I T T T T T d g g I Σ Matrces de covaranza blancas

44 fltro aareado rototos vectores los o a sueruest var var clase con varanza ndeendente de la no correlaco nado rudo blanco gaussano M odelo adecuado ln k T T T T r g g

45 ln Reordenando : T T T T s s g g s Suerfces de Decsón

46

47 Suerfces de Decsón S S S los en las datos tenen oca ncertdumbre observacones s se acerca a menos sensbles a los creemos rors más

48 Duda

49 Duda

50 Clasfcador de mínma dstanca Eucldeo I - S los rors son equrobables o cas ln c,... c Decdo : Asgnar a la clase * arg mn El clasfcad or eucldeo es ótmo ara clases con dstrbucón normal con matrces de covaranza guales y roorconales a la dentdad y rors equrobables. *.. c

51 ln con lneales. suerfces de decsón son herlanos Las ln con Redefnmo s : ln ln det Caso II T T T T T g g Σ Σ Σ Σ Σ Σ Σ Σ

52 A menos que sea vector roode Σ el herlanode searacón no va ser ortogonal a

53 Duda

54 Clasfcador de Mahalanobs mnma dstanca g - S los rors son unfor mes o cas ln,... c c r Decdo : Asgnar a la clase T arg mn El clasfcad or de M ahalanobs es ótmo ara clases con dstrbucón normal con matrces de covaranza guales y rors equrobables. * *.. c g

55 herbolodes. herarabolodes, herelsodes, heresferas, ares de herlanos, herlanos o : suerfces de decsón son hercuádrcas Las ln lndet con arbtraras Caso III: T T T g Σ Σ Σ Σ W W

56 Duda

57 Duda

58 Las regones de decsón no tenen orqué ser smlemente coneas. E: = R R R ara el caso de c clases las suerfces de decsón son concatenacón de edazos de cuádrcas.

59 Cotas de Error de Clasfcacón ara Densdades Gaussanas 3 mractcable en dmensón ntegracó n numérca requere eacto cálculo El, mn, mn, mn en otro caso, s Decdo Decsón Bayesana d error d error error, C d error error

60 Cotas de Error ara Densdades Gaussanas Se uedeestmar una cota sueror del error usando la desgualda d : a,b, mna,b a b Suongamos sn érdda de generalda d que a b mn a b a,b b b, error d

61 yya Bhattachar e Chernoff e mn det det det ln con e, que s Mostrar, k k error k k d N T Σ Σ Σ Σ Σ Σ Σ Eercco

62 Bayesanos- Frecuentstas Cómo clasfcamos cuando no conocemos las robabldades a ror? Frecuentstas: no tene sentdo hablar de rors solo tenen sentdo los datos Dscusón estemológca: Bayesanos: robabldad ndca grado de creenca no tene orque haber un eermento Frecuentstas: la robabldad es la frecuenca de ocurrenca de un evento. Tene que haber datos y eermento. Crtero de Neyman-earson consttuye una alternatva frecuentsta al enfoque Bayesano.

63 Teorema de Neyman-earson Enfoque alternatvo a la mnmzacón del resgo de Bayes ara la determnacón de la regla de decsón. Neyman-earson: Mamza la robabldad de deteccón sueto a una robabldad de falsa alarma determnada. No nvolucra rors. La eleccón de uno u otro enfoque deende del roblema. En los sstemas de radar y sonar se utlza tícamente Neyman-earson mentras que en los sstemas de comuncacón y reconocmento de atrones se utlza el resgo Bayesano.

64 Teorema de Neyman-earson Consderemos test de hótesssmle: H H R FA D : : : regón donde sedecde robabldad de falsa alarma robabldad de deteccón, d Alser las densdades ostvass aumenta Solo uedeser f hótess nula, "lesón bengna", normal f evento a detectar,"lesón malgna", enfermo D y FA H R f R f d D aumenta f f R R FA s las densdades son dsuntas

65 Crtero de Neyman-earson La regla de decsón se construye ara mamzar D bao la restrccón FA α el test de tamaño α de mayor otenca. Solucón: Lema de Neyman-earson ara mamzar Λ FA f f nula bao f : Λ Este test ótmoes únco un conunto de robabldad H H H,H D d ara una FA dada la regla de decsón donde el umbral se calcula como : :

66 Deteccón DC en resenca de rudo. sueto a ara mamzar se elge Donde s: H : Observado decdo de decsón Regla y,, en resenca de rudo señal ] [ ] [ resenca de rudo ] [ ] [ FA D D f f A Q Q A N f N f k n A k H : k n k : H FA

67 Recever Oeratng Characterstc ROC Una forma de resumr el desemeño de un detector N es grafcando D contra FA. Cada unto de la curva corresonde a una area D, FA ara un umbral dado. E : d f N, ROC determnada or la "dscrmnabldad" f N, D d Dscrmnabldad deende del dseño del recetor FA

68 .4 d d azul.6 roa azul.8.8 roa

69 Característca de oeracón ROC D roedad ntrínseca del detector y no de los costos elegdos. FA En la ráctca se vara un arámetro que afecta la regla de decsón y se grafca los resultados de la tasa de deteccones contra la tasa de falsa alarmas.

70 Térmnos estadístcos ara test de hótess Estadístcos Test estadístco y umbral Hótess nula H Hótess alternatva H Regón crítca Error to I decdo H cuando H verdadero Error to II decdo H cuando H verdadero Nvel de sgnfcanca o tamaño del test α. Ingeneros Detector Hótess solo rudo Hótess señal + rudo Regón con resenca de señal Falsa alarma érdda robabldad de Falsa alarma FA robabldad de Error to II β robabldad de érdda M otenca del test -β robabldad de deteccón D

71 Alcacón ROC a dagnóstco médco E: comaracón de dos test de dagnóstco de dferentes laboratoros Sensbldad: robabldad de que un test resulte ostvo cuando la enfermedad esta resente. Esecfcdad: robabldad que un test resulte negatvo cuando la enfermedad no está resente

72 Determnacón eermental D y FA Analzo en forma eermental utlzando un conunto de test. redccón + redccón - Clase + T FN Clase - F TN Matrz de Confusón o Tabla de contngenca D FA T T FN F F TN tasa de deteccón tasa de falsas alarmas Grafcando ROCs uedo comarar la dscrmnabldad ara comarar efectvdad de tratamentos dstntos.

73 Construccón de curvas ROC Curvas ROC no aramétrcas funcones de dstrbucón emírca ó aramétrcas e. Bnormal

74 Comaracón de ROCs Curvas ROC emírcas de ruebas dagnóstcas dstntas con área bao la curva smlares ero comortamento dstnto.

75 Comaracón de ROCs y AUCs Imagen: Haste et al. Comaracón de algortmos de clasfcacón dstntos

76 Otras meddas de desemeño Accuracy : A T TN T TN F FN Recall : R T T FN recson : F - value : T T F R Fv R