Tema 2.2 TEORÍA DE LA ESTIMACIÓN

Transcripción

1 ema. EORÍA DE LA ESIMACIÓ Febrero-Mayo 006 IDICE.. IRODUCCIÓ.. ESIMACIÓ DE MÁXIMA VEROSIMILIUD (ML)..3 ESIMACIÓ BAYESIAA..4 PROBLEMAS DE LA DIMESIOALIDAD - AÁLISIS DE COMPOEES PRICIPALES (PCA) - AÁLISIS POR MULIPLES DISCRIMIAES (MDA)..5 COCLUSIOES

2 .. IRODUCCIÓ La lasfaón bayesana presa del onomento de f x (x ω ) y de Pr(ω ). Para el álulo de estas magntudes se requere: - Dsponer de una sere de datos prevamente lasfados de forma fable. - Dsponer de un estmador de esas probabldades. La estmaón de f x (x ω ) requere muhos datos a menos que podamos defnr una funón que dependa de unos poos parámetros θ. Caso gaussano: θ ontene la meda y la matrz de ovaranza f ( x ω, θ x ) = exp x μ C x μ ( π ) ( ) ( ) d / / C 3 Exsten dos alternatvas:. Estmaón de máxma verosmldud (ML): Los parámetros a estmar se onsderan determnstas (aunque desonodos).. Estmaón bayesana: Los parámetros son varables aleatoras on dstrbuón a pror onoda. La defnón del estmador bayesano permte mejorar fálmente la estmaón de f x (x ω ) uando se dspone de nuevos datos. 4

3 Supondremos que dsponemos de una base de datos lasfada (un onjunto de vetores de araterístas lasfados por ategorías), a partr de las uales hemos de determnar f x (x ω ): {,,..., } D = x x x : ω {,,..., } D = x x x 3 3 {,,..., } D = x x x : ω 3 3 : ω 5.. ESIMACIÓ DE MÁXIMA VEROSIMILIUD (ML) S los datos observados en ada lase D son ndependentes: ( ) f D θ = fx ( x θ ) = es la funón de verosmltud. El estmador maxmza esta funón (o su logartmo): ( ) ( ) θˆ = arg max f D θ = arg max ln f D θ ML, θ θ Un onjunto de ondones neesaras (no sufentes) para obtener el estmador venen dadas por: ( D ) θ ln f θ = 0 6

4 Algunas posbles funones f x (x ω, θ ) f(d θ) Datos de D 7 Propedades del estmador ML:. Es asntótamente nsesgado (en muhos asos es nsesgado aunque sea pequeño).. Es asntótamente efente (uando es grande, su varanza es la de Crámer-Rao). Sn embargo. o tene porqué ser el que proporone menor error de lasfaón uando utlemos (, ˆ ) fx x ω θ, ML. S la pdf asumda es muy dstnta de la real las estmaones pueden ser de poa aldad. 8

5 Ejemplo : Estmador ML de la meda μ s la matrz de ovaranza C es onoda, en el aso gausano multvarable. Demostrad que: Ejemplo : μˆ ML, = x = Estmador ML de la meda μ y la matrz de ovaranza C en el aso gausano multvarable. Demostrad que: μˆ ML, = x C ˆ, ( ˆ, )( ˆ ML = ML ML, ) = x μ x μ = 9 Ejemplo 3: Estmador ML de la probabldad p de aparón de para ada una de las omponentes del vetor de datos bnaros x {0,} d : f ( D ω, p) = p ( p ) x p = [ p,..., p ] d d j= = x x, j, j 0

6 ..3 ESIMACIÓ BAYESIAA S se dspone de algún onomento a pror de los rangos de valores más probables de θ podemos aproveharlo para:. Mejorar la estmaón ML de θ (usando MAP) ( ) ( ) ( ) ( ) θˆ = arg max f D θ f θ = arg max ln f D θ + ln f θ MAP, θ θ. Estmar dretamente las probabldades a posteror Pr(ω x) Calulando f x (x ω ) y Pr(ω ). Es el proedmento más aonsejable en una aplaón de lasfaón. Suposones Queremos determnar la probabldad a posteror a partr de las observaones en D, y supondremos que: - La forma de f x (x θ ) es onoda pero no el parámetro θ - uestro onomento a pror de θ está en f(θ ) - El resto de nuestro onomento sobre θ vene dado por los datos en D

7 Proedmento:. Promedar la forma onoda para la funón de verosmltud respeto a la probabldad a posteror del parámetro: fx( x ω ) fx( x D ) = f( x θ ) f( θ D ) dθ. Calulamos la probabldad a posteror del parámetro omo f( D θ) f( θ) f( θ D) = f( D θ) f( θ) f( D θ ) f( θ ) dθ 3. Suponendo ndependena de los datos en D = f( D θ ) f( x θ ) = 3 Ejemplo 4: Estmador bayesano de f x (x D ) s ( ) ( ) f ( x μ ) μ, C x f( μ ) μ, C 0 0 donde se suponen onodas μ 0, C 0 y C, y se dspone de los datos observados D = {x,, x } ω A partr de y 3 podemos esrbr: f( μ D) = α f ( x μ) f( μ) = = x = α exp ( + ) + μ C C μ μ C C μ 0 x 0 0 = 4

8 La euaón puede esrbrse tambén omo: f( μ D) = α exp μ μ C μ μ ( ) ( ) donde: C = C + C 0 C μ = C m + C μ 0 0 m = x = Aplando la gualdad matral: ( + ) = ( + ) = ( + ) A B A A B B B A B A 5 pueden reformularse la meda y la matrz de ovaranza: μ = C C + C m + C C + C μ C = C0 C0 + C C ótese que la meda es una ombnaón lneal del onomento a pror de la meda μ 0 y la nformaón aportada por los datos m. Integrando la euaón : ( ) f ( x ω) f ( x D) = f( x μ) f( μ D) dμ μ, C+ C x x Cuando la estmaon tende a ser ML μ = m C = C 6

9 ESIMACIÓ BAYESIAA y ESIMACIÓ ML Comparaón: La funón f( D θ) tendrá un po tanto más abrupto alrededor de θ = θˆ uanto mayor sea. S f(θ ) no es ero y no varía muho era de f( θ D ) = f( D θ ) f( θ ) f( D ) θ = θˆ entones tamben tene un po en θ ˆ y los estmadores obtendos por = θ Bayes y medante ML onden. En la práta, s el número de muestras de entrenamento es pequeño, es mejor la estmaón Bayesana. 7 f(d μ) Ejemplo 5: f(μ) 5 muestras 35 muestras 00 muestras Estmaón ML de la meda (μ 0 =) sobre un número varable de muestras Gaussanas. La fdp a pror de μ es Gaussana μ ο μ f(d μ) f(μ) 5 muestras 35 muestras 00 muestras Estmaón Bayesana de la meda (μ 0 =) sobre un número varable de muestras Gaussanas. La fdp a pror de μ es Gaussana. f(μ) μ ο μ 8

10 f(d μ) f(μ) Estmaón Bayesana de la meda (μ 0 =) sobre un número varable de muestras Gaussanas. La fdp a pror de μ es unforme. f(μ) 5 muestras 35 muestras 00 muestras μ ο μ 9..4 PROBLEMAS DE DIMESIOALIDAD Al aumentar el número de araterístas ndependentes en un problema de lasfaón es posble haer tender el error a ero. Ejemplo : Problema de lasfaón on dos lases gaussanas equprobables ( ) f ( ω ) ; x =, Pr( ω ) = Pr( ω ) x d 0

11 La probabldad de error queda defnda omo: e u du π Pr( ) = exp( / ) r / r ( μ μ ) Σ ( μ μ ) = S las araterístas son ndependentes entre sí: σ σ 0 Σ = 0 0 σ d r d,, = μ μ = σ Cuando d, r, Pr(e) 0 Ejemplo : f x (x ω ) Pr (ω ) f x (x ω )Pr (ω ) Error de lasfaón en D Error de lasfaón en D En este aso, las pdf de dos lases están solapadas uando se dspone de una (x ) o dos araterístas (x, x ). Cuando se añade la terera araterísta (x 3 ), las dos pdf apareen ompletamente separadas y el error de lasfaón se redue a ero.

12 Sn embargo, dsponer de araterístas adonales no sempre mejora la lasfaón s se dspone de poas observaones para determnar parámetros adonales. Por otra parte, es posble que algunas de las araterístas: o aporten nformaón que permta lasfar mejor o sean ndependentes de otras araterístas o se ajusten a la pdf asumda Dsponer de muhas araterístas aumenta la omplejdad de la soluón. La defnón del número de araterístas relevantes es neesara en todo sstema de lasfaón 3 Reduón del número de araterístas medante ombnaón lneal: y W x x y W d d' d' d =,, d' < d Soluones posbles para W:. Proyetar los vetores x de la mejor forma posble en el sentdo del error uadráto análss de omponentes prnpales (PCA). Proyetar los vetores x de forma que las lases resultantes queden lo más separadas posble análss por múltples dsrmnantes (MDA) 4

13 AÁLISIS DE COMPOEES PRICIPALES Dsponemos de un total de observaones asoadas a todas las lases: { x } D = x, x,..., x busamos una matrz W untara (W W = I) que mejor aproxme x Wy + m m= x d x D en el sentdo del error uadráto medo J = Wy + m x () = 5 Los vetores de dmensón reduda venen dados por: ( ) y W x m = y la matrz de transformaón es W = [ w w w ] donde los vetores w j umplen: x D Sw = λ w j j j ( )( ) S = x m x m d ' La mnmzaón del error uadráto medo mpla utlzar en W los autovetores asoados a los mayores autovalores. **** Demostradlo, mnmzando () on la restrón **** () ww j j = 6

14 Los autovetores defnen las dreones prnpales de un hperelpsode. Son ortogonales y apuntan en las dreones de máxma dspersón. 0 Dreon del autovetor 8 asoado al maxmo autovalor 6de S Buena separaón on PCA Mala separaón on PCA Mala separaón on PCA 7 AÁLISIS POR MÚLIPLES DISCRIMIAES La transformaón por omponentes prnpales no es sempre útl para dsrmnar entre dstntas lases. Sería mejor defnr una transformaón que - Aumente la dstana nter-lases y - Dsmnuya la dspersón ntra-lase. Ejemplo : w w Mejor separaón entre lases!! 8

15 Construremos una transformaón W desde un espao de dmenson d (tamaño de los vetores observados x) a un espao de dmenson d - (donde es el numero de lases). eestamos una medda de la dstana nter-lases y una medda de la dspersón ntra-lase, para lo ual defnmos: m x D m = = x m = x { } x D,..., D = { D,..., D } x ( )( ) S = x m x m Meda de los datos de la lase Meda de todos los datos Dspersón total de los datos 9 x { D D },..., = x D ( )( ) ( x m m m)( x m m m) ( x m )( x m ) ( m m)( m m) = x D = x D S = x m x m = = + + = ( )( ) C, C B = = = + = = S + m m m m = S + S Suma de matres de dspersón ntra-lases Matrz de dstana nter-lases 30

16 m 0 m - -4 m La transformaón a aplar será: y W x x y W d d' d' d =,, d' < d Las matres de dspersón ntra-lase e nter-lases quedan modfadas: S W S W S C B C W SBW S suponemos que y es gaussano, el volumen de las pdf / asoadas a ada lase es proporonal a WSW C y la / dstana entre lases es proporonal a WSW B 3

17 Crtero dsrmnante: W = arg max W WSW B WSW C () La soluón para las olumnas de W son los - autovetores generalzados: Sw = λ Sw B j j C j asoados a los - autovalores generalzados mayores. () 33 La dmensón máxma de los vetores y es -, ya que: S B. El rango de es -. Por tanto solo exsten - autovalores dstntos de ero 3. La maxmzaón de () mpla que solo los autovetores asoados a los autovalores dstntos de ero han de nlurse en la soluón. ******* Demostrad que la euaón () maxmza () ********* ******** substtuyendo en () y usando AB = A B ********* 34

18 Ejemplo : f x (x ω ) f x (x ω ) f x (x ω 3 ) Las dstrbuones trdmensonales asoadas a tres lases dstntas se proyetan sobre espaos de dmensón nferor (planos en este aso). La proyeón sobre el plano defndo por W proporona mayor separaón entre lases que el plano defndo por W. 35 Regones de desón sobre los datos transformados El álulo de las regones de desón puede haerse sguendo las pautas de un detetor bayesano óptmo (ver tema.) suponendo gaussandad para y, on parámetros: ( ) μ = W m m =,..., C = W SC, W 36

19 ..5 COCLUSIOES S se puede suponer una forma paramétra para f x (x ω ) entones la fase de entrenamento del lasfador se redue a la estmaón de los parámetros Pueden utlzarse dos soluones para la estmaón de parámetros: ML (más smple omputaonalmente) o bayesana (s se dspone de onomento a pror sobre los parámetros) Los problemas dervados del exeso de dmensonaldad pueden redurse medante el uso de múltples dsrmnantes 37