Introducción. Escuela Técnica Superior de Ingeniería Informática. Universidad de La Laguna. Fernando Pérez Nava

Transcripción

1 Reconocmento de Patrones Introduccón Tema : Reconocmento Estadístco de Patrones Por qué una aproxmacón estadístca en el RP? La utlzacón de característcas para representar una entdad provoca una pérdda de nformacón. Esto mplca que los valores de las característcas tenen asocado un determnado nvel de certeza. El Reconocmento Estadístco de Patrones (REP se basa en: Consderar un patrón como un conjunto de d característcas numércas que se nterpretan como un vector d dmensonal Asumr que la certeza de que el vector represente una determnada entdad vene dada a través de una dstrbucón de probabldad asocada a las característcas Es la aproxmacón más extendda debdo a: La fundamentacón de la aproxmacón en una teoría matemátca sólda como la teoría de la probabldad. Su mayor presenca temporal en el área de RP (desde fnales de los años 30. Su mayor aplcabldad: Clasfcacón con valores de las característcas perddas Toma de decsones que mnmzan la pérdda esperada Escuela Técnca Superor de Ingenería Informátca. Unversdad de La Laguna

2 Reconocmento de Patrones Tema : Reconocmento Estadístco de Patrones Recordatoro de Probabldad (1 Cuando estamos en un entorno en el que no exste certeza absoluta es necesaro tener alguna forma de modelar la ncertdumbre. Dentro de la IA exsten muchas formas de modelar la ncertdumbre: probabldad, lógca dfusa, teoría de Dempster- Shaffer. Puede comprobarse (Cox 1946 que s se pretende trabajar de forma consstente con nveles de certeza, éstos números deben cumplr las reglas de la teoría de la probabldad. La Teoría de la Probabldad (TP asoca un valor numérco entre 0 y 1 a la certeza en un evento. La certeza absoluta de que un evento ocurrrá toma el valor 1 y la certeza completa de que un evento no ocurrrá toma el valor 0. (Cox, 1946 Cox R.T, Probablty, Frequency, and Reasonable Expectaton, Am. Jour. Phys., 14, 1-13, (1946. Escuela Técnca Superor de Ingenería Informátca. Unversdad de La Laguna

3 Reconocmento de Patrones Tema : Reconocmento Estadístco de Patrones Recordatoro de Probabldad ( Las probabldades se manpulan con dos reglas sencllas: Regla del Producto Dadas dos varables X e Y que pueden tomar un conjunto fnto de valores s llamamos P(x,y a la probabldad conjunta de que ocurran X=x e Y=y entonces: P(x,y=P(y xp(x donde:p(y x es la probabldad condconal de que Y=y dado que X=x P(x es la probabldad margnal de que X=x ndependentemente de Y De forma smlar: P(x,y=P(x yp(y Regla de la suma Dadas de nuevo las varables X e Y se tene: donde la suma se hace sobre todos los valores x de la varable X De forma smlar: P( x P( x, y = y P( y = P( x, y x Escuela Técnca Superor de Ingenería Informátca. Unversdad de La Laguna

4 Reconocmento de Patrones Tema : Reconocmento Estadístco de Patrones Recordatoro de Probabldad (3 A partr de la regla del producto se obtene la Regla de Bayes: P( x y = P( y xp( x P( y con: P( y = P( x, y = P( y xp( x x x Podemos consderar P(x como la probabldad a pror (ncal de que X=x antes de observar la varable Y. Entonces P(x y nos dce la probabldad de que X=x después de observar la varable Y. La regla de Bayes proporcona por tanto la forma de adaptar nuestras creencas ncales a la vsta de nueva nformacón Escuela Técnca Superor de Ingenería Informátca. Unversdad de La Laguna

5 Reconocmento de Patrones Tema : Reconocmento Estadístco de Patrones Frecuencas Relatvas y Probabldades La frecuenca relatva de un evento es el cocente entre el número de veces que se presenta un evento y el número total de observacones Las frecuencas relatvas y las probabldades tenen propedades muy parecdas: Ambas toman valores entre 0 y 1 Ambas cumplen la Regla del Producto, la Regla de la Suma y la Regla de Bayes De hecho, la frecuenca relatva de un evento converge* a su probabldad cuando el número de observacones tende a nfnto. *Converge con probabldad 1 Ejemplo de convergenca de frecuencas relatvas a probabldades Azul: Probabldad de obtener n caras al trar 4 monedas Rojo: Frecuenca relatva del número de caras tras 100 lanzamentos Escuela Técnca Superor de Ingenería Informátca. Unversdad de La Laguna

6 Reconocmento de Patrones Tema : Reconocmento Estadístco de Patrones Teoría de Decsón Bayesana (TDB: Motvacón (1 Retomemos el expermento de la clasfcacón con Clases, salmones y ródalos. (w 1 y w Supongamos que la característca elegda es la longtud (X y supongamos por smplfcar que ésta toma 3 valores: x 1 =corta (0-40 cm, x =meda( cm y x 3 =larga (>100 cm Supongamos que tenemos el sguente conjunto de entrenamento: H={(x 1, (x, (x, (x, (x, (x, (x, (x 3, (x 3, (x 1, (x 1, (x 1, (x 1, (x, (x, (x, (x, (x, (x 3, (x 3 } Como dseñarías el clasfcador? Cuál sería tu eleccón (w 1 o w s: Se observa X= x 1 (Corta Se observa X= x (Meda Se observa X= x 3 (Larga Escuela Técnca Superor de Ingenería Informátca. Unversdad de La Laguna

7 Reconocmento de Patrones TDB: Motvacón ( Tema : Reconocmento Estadístco de Patrones Un crtero sencllo: buscar la regla que produzca menos errores o lo que es lo msmo elegr la clase de mayor frecuenca absoluta (o relatva w Eljo w w 1 6 Frecuencas absolutas Eljo w 4 5 Errores absolutos sobre el conjunto de entrenamento. Amarllo: Valores mínmos w 1 w 4/0 5/0 /0 1/0 6/0 /0 Frecuencas relatvas Eljo w 1 Eljo w 1/0 6/0 /0 4/0 5/0 /0 Errores relatvos sobre el conjunto de entrenamento. Amarllo: Valores mínmos Decsón. Naranja:Salmón, Voleta:Ródalo. La frecuenca relatva del error de esta regla es 8/0 y no hay nnguna regla con menor error sobre este conjunto de entrenamento*. *Hay otra regla con el msmo error Escuela Técnca Superor de Ingenería Informátca. Unversdad de La Laguna

8 Reconocmento de Patrones TDB: Motvacón (3 Tema : Reconocmento Estadístco de Patrones A que se aproxma la tabla de errores relatvos cuando el número de muestras tende a nfnto? Eljo w 1 1/0 6/0 /0 Eljo w 1 P(x 1,w P(x,w P(x 3,w Eljo w 4/0 5/0 /0 Eljo w P(x 1,w 1 P(x,w 1 P(x 3,w 1 Errores relatvos sobre el conjunto de entrenamento. Amarllo: Valores mínmos Probabldad de error. Converge a la probabldad de error. Por tanto en el caso deal de un número nfnto de muestras la relacón entre frecuencas relatvas y probabldades sugere utlzar : Elegr w 1 s P(x > P(x Elegr w s P(x > P(x La ntucón es buena. La regla anteror es óptma. Escuela Técnca Superor de Ingenería Informátca. Unversdad de La Laguna

9 Reconocmento de Patrones TDB: Motvacón (4 La regla: Elegr w 1 s P(x > P(x Elegr w s P(x > P(x Tema : Reconocmento Estadístco de Patrones se puede escrbr como (utlzando la regla del producto: Elegr w 1 s P(x w 1 P(w 1 > P(x w P(w Elegr w s P(x w P(w > P(x w 1 P(w 1 P(x w se llama dstrbucón de la característca en la clase e ndca la probabldad de los valores de X dentro de la clase w P(w se llama probabldad a pror de la clase e ndca la probabldad de que aparezca un objeto de la clase w o dvdendo en ambos membros por p(x se obtene: Elegr w 1 s P(w 1 x > P(w x Elegr w s P(w x > P(w 1 x P(w x se llama probabldad a posteror de la clase e ndca la probabldad de la clase tras haber observado la varable X entonces, la regla óptma consste en elegr la clase más probable tras haber observado el valor x. Escuela Técnca Superor de Ingenería Informátca. Unversdad de La Laguna

10 Reconocmento de Patrones Tema : Reconocmento Estadístco de Patrones TDB: Motvacón (5 Volvendo al problema del pescado cómo nterpretamos las probabldades P(w, P(x w, P(w x w 1 w Frecuencas absolutas w 1 11/0 w 9/0 Frecuencas relatva de cada clase w 1 x x 1 x 3 4/11 5/11 /11 1/9 6/9 /9 w Frecuencas relatva de X en w 1 Frecuencas relatva de X en w x x 1 x 3 w 1 4/5 5/11 /4 1/5 6/11 /4 w Frecuencas relatva de w 1 dado X Frecuencas relatva de w dado X Elegr w 1 Elegr w Regones de decsón: Representacón gráfca Escuela Técnca Superor de Ingenería Informátca. Unversdad de La Laguna

11 Reconocmento de Patrones Tema : Reconocmento Estadístco de Patrones Recordatoro de Probabldad (4 Varables Aleatoras Contnuas Cuando una varable X toma valores reales la probabldad de tomar un valor específco es sempre nula. Por ello se habla de la probabldad de que tome valores en un ntervalo (a,b medante una funcón de densdad p(x: P( x ( a, b = p( x dx b a En general, todas las defncones dadas para varables dscretas se pasan a contnuas cambando sumas por ntegrales. Así s X e Y son contnuas las reglas del producto, suma y de Bayes quedan: p ( x, y = p( y x p( x p ( y = p( x, y dx p ( x y = p( y x p( x p( y Cuando se tene un vector de varables aleatoras X=(X 1, X,... X n T se tene una funcón de densdad multdmensonal p(x P( x R = p( x dx Escuela Técnca Superor de Ingenería Informátca. Unversdad de La Laguna R

12 Reconocmento de Patrones Tema : Reconocmento Estadístco de Patrones Teoría de la Decsón Bayesana (TDB La TDB proporcona un marco teórco para tomar decsones en stuacones de ncertdumbre. En nuestro caso la decsón será la clasfcacón de un patrón en una determnada clase La TDB proporcona el clasfcador óptmo (clasfcador bayesano para un conjunto de característcas dadas En el marco de la TDB un clasfcador es óptmo s produce la mínma probabldad de error (o el resgo de la clasfcacón. La TDB necesta que todas las dstrbucones de probabldad de las característcas p(x w en cada clase sean conocdas.en la práctca esto nunca ocurre, por lo que es necesaro nferr (de las muestras la forma de las dstrbucones de probabldad. Tambén es necesaro nferr las probabldades a pror P(w Escuela Técnca Superor de Ingenería Informátca. Unversdad de La Laguna

13 Reconocmento de Patrones Informacón dsponble: Clases: w, =1...c Tema : Reconocmento Estadístco de Patrones TDB: Enfoque formal (1 Característcas : X varable aleatora multdmensonal. Probabldades: P(w, p(x w, =1...c Medante la Regla de Bayes: Ejemplo: p( x w P( w P( w x =, = 1... c con p( x = p( x w P( w p( x c = 1 p(x w p(x w 3 P(w x P(w 3 x p(x w 1 p(x w 4 P(w 1 x Dstrbucón de X en cada clase Probabldades a posteror Probabldades a pror guales Escuela Técnca Superor de Ingenería Informátca. Unversdad de La Laguna P(w 4 x

14 Reconocmento de Patrones Tema : Reconocmento Estadístco de Patrones TDB: Enfoque formal ( Probabldad de error Elegr w P( Error c x = P( w k = 1, k k x = 1 P( w x Regla de decsón Bayesana (óptma: Elegr w s P(w x P(w j x j p(x w P(w p(x w j P(w j j P(w 1 x P(w x P(w 3 x P(w 4 x Propedad: Hace mínma la probabldad de error: P( Error = P( Error x p( x dx Elegr w 1 Elegr w Elegr w 4 Elegr w 3 Elegr w 4 Escuela Técnca Superor de Ingenería Informátca. Unversdad de La Laguna

15 Reconocmento de Patrones Tema : Reconocmento Estadístco de Patrones Decsón Bayesana con Resgo (DBR: Motvacón (1 Retomemos el expermento anteror con Clases: salmones y ródalos. (w 1 y w ; una característca: longtud con tres valores x 1 =corta, x =meda y x 3 =larga y el conjunto de entrenamento: H={(x 1, (x, (x, (x, (x, (x, (x, (x 3, (x 3, (x 1, w 1, (x 1, (x 1, (x 1, (x, (x, (x, (x, (x, (x 3, (x 3 } Los errores que aparecen al realzar la clasfcacón son: Elegr w 1 (salmón cuando la clase verdadera es w (ródalo Elegr w (ródalo cuando la clase verdadera es w 1 (salmón El salmón es un pescado más caro que el ródalo. Supongamos que: S elges w 1 cuando la clase verdadera es w 1 has detectado un salmón. El costo de procesamento del sstema es de λ 11 = 1 undad monetara S elges w 1 cuando la clase verdadera es w proporconas un producto de peor caldad de la especfcada y eso cuesta en sancones λ 1 = 11 undades monetaras. S elges w cuando la clase verdadera es w 1 proporconas un producto de mayor caldad de la necesara y eso cuesta λ 1 = 10 undades monetaras. S elges w cuando la clase verdadera es w has detectado un ródalo. El costo de procesamento del sstema es de λ =1 undad monetara Qué elegrías ahora w 1 o w para X=x 1, X=x y X=x 3? Escuela Técnca Superor de Ingenería Informátca. Unversdad de La Laguna

16 Reconocmento de Patrones DBR:Motvacón ( Con la notacón utlzada λ j es el costo de elegr la clase w cuando la verdadera es w j : Tema : Reconocmento Estadístco de Patrones Una regla que parece lógca es elegr la clase que produzca el menor costo w 1 w Frecuencas absolutas Eljo w 1 Eljo w Eljo = = = = = = w 1 Costos absolutos. Amarllo: costos mínmos Clase Verdadera w 1 w w λ 1 =10 λ =1 λ 11 =1 λ 1 =11 w 1 w 4/0 5/0 /0 1/0 6/0 /0 Frecuencas relatvas Decsón. Naranja:Salmón, Voleta:Ródalo Eljo w 1 Eljo w 1 4/0+11 1/0=15/0 1 5/0+11 6/0=71/0 1 /0+11 /0=4/0 1 1/0+10 4/0=41/0 1 6/0+10 5/0=56/0 1 /0+10 /0=/0 Costo relatvos: Amarllo: costos mínmos El costo relatvo de esta regla es 93/0 (mínmo sobre H Escuela Técnca Superor de Ingenería Informátca. Unversdad de La Laguna

17 Reconocmento de Patrones DBR:Motvacón (3 Tema : Reconocmento Estadístco de Patrones A que se aproxma la tabla de costos relatvos cuando el número de muestras tende a nfnto? Eljo w 1 Eljo w 1 4/0+11 1/0=15/0 1 5/0+11 6/0=71/0 1 /0+11 /0=4/0 1 1/0+10 4/0=41/0 1 6/0+10 5/0=56/0 1 /0+10 /0=/0 Costo relatvos: Amarllo: costos mínmos Eljo w 1 Eljo w λ 11 P(x 1,w 1 +λ 1 P(x 1,w λ 11 P(x,w 1 +λ 1 P(x,w λ 11 P(x 1,w 1 +λ 1 P(x 1,w λ 1 P(x 1,w 1 +λ P(x 1,w λ 1 P(x 1,w 1 +λ P(x 1,w λ 1 P(x 1,w 1 +λ P(x 1,w Costo medo Por tanto en el caso deal de un número nfnto de muestras la relacón entre frecuencas relatvas y probabldades sugere utlzar: Elegr w 1 s λ 11 P(x + λ 1 P(x < λ 1 P(x + λ P(x Elegr w s λ 1 P(x + λ P(x < λ 11 P(x + λ 1 P(x Escuela Técnca Superor de Ingenería Informátca. Unversdad de La Laguna

18 Reconocmento de Patrones Tema : Reconocmento Estadístco de Patrones DBR: Motvacón (4 La ntucón es correcta. La regla: Elegr w 1 s λ 11 P(x + λ 1 P(x < λ 1 P(x + λ P(x Elegr w s λ 1 P(x + λ P(x < λ 11 P(x + λ 1 P(x es óptma La regla se puede escrbr dvdendo por P(x como: Elegr w 1 s λ 11 P(w 1 x + λ 1 P(w x < λ 1 P(w 1 x + λ P(w x Elegr w s λ 1 P(w 1 x + λ P(w x < λ 11 P(w 1 x + λ 1 P(w x Se suele escrbr: R(w 1 x= λ 11 P(w 1 x + λ 1 P(w x R(w x= λ 1 P(w 1 x + λ P(w x a R(w x se le llama resgo de elegr w dado x e ndca el costo de elegr w tras haber observado el valor x entonces, la regla óptma consste en elegr la clase con menor costo tras haber observado el valor x Escuela Técnca Superor de Ingenería Informátca. Unversdad de La Laguna

19 Reconocmento de Patrones Tema : Reconocmento Estadístco de Patrones DBR: Enfoque formal (1 Informacón dsponble: Clases: w, =1...c Característcas : X varable aleatora multdmensonal. Probabldades: P(w, p(x w, =1...c Medante la Regla de Bayes: p( x w P( w P( w x =, = 1... c con p( x = p( x w P( w p( x = 1 Accones:α, =1...c; α = Elegr w Resgos: λ,j = λ(α w j =1...c, j=1...c. Indca el resgo de elegr w cuando la verdadera clase es w j c Funcón de resgo dado un valor de x: c = R( α x λ( α w j P( w j x = 1,... c j = 1 Escuela Técnca Superor de Ingenería Informátca. Unversdad de La Laguna

20 Reconocmento de Patrones Tema : Reconocmento Estadístco de Patrones DBR: Enfoque formal ( Regla de decsón bayesana (óptma: Elegr α s R(α x R(α j x j Esto es, elegr la clase con menor resgo dado el valor de x Propedad: Hace mínmo el resgo total: R = R( α( x x p( x dx Escuela Técnca Superor de Ingenería Informátca. Unversdad de La Laguna

21 Reconocmento de Patrones Tema : Reconocmento Estadístco de Patrones Clasfcadores y su Representacón Defncón formal de Clasfcador Mecansmo de eleccón entre las dstntas clases de un problema de R.P. Representacón Se suele representar por medo de un conjunto de funcones dscrmnantes g (x. De esta forma el clasfcador asgna el vector de característcas x a la clase w s g (x g j (x para todo j. x Vector de Característcas x 1 x... x d Escuela Técnca Superor de Ingenería Informátca. Unversdad de La Laguna g 1 g... g c g 1 (x g (x... g c (x Entrada Cálculo de las Funcones Dscrmnantes Selector de Máxmo Decsón Esquema de un clasfcador genérco max α(x

22 Reconocmento de Patrones Tema : Reconocmento Estadístco de Patrones Funcones Dscrmnantes y Regones de Decsón Ejemplos de funcones dscrmnantes: Caso Bayesano: g (x=p(w x Caso Bayesano con resgo: g (x=-r(α x o alguna expresón equvalente como: g (x=ln (p(x w + ln (P(w para el caso Bayesano. Regones de decsón Todo clasfcador dvde el espaco de característcas en regones de decsón R donde se elge la clase. La frontera entre dos regones de decsón de llama frontera de decsón. Utlzando las funcones dscrmnante las regones de decsón se escrben para cada clase w como R ={x/g (x g j (x j} S R son R j contguas entonces la frontera de decsón es la nterseccón de las dos regones R R j ={x/g (x=g j (x}. Escuela Técnca Superor de Ingenería Informátca. Unversdad de La Laguna

23 Reconocmento de Patrones Tema : Reconocmento Estadístco de Patrones Recordatoro de Probabldad (5 Varable Aleatora Normal La normal es la varable aleatora contnua más mportante. Cuando hay una únca varable se llama normal undmensonal, cuando hay varas varables que se dstrbuyen de forma normal a la dstrbucón conjunta se la llama normal multdmensonal La normal undmensonal N(µ,σ² 1 Funcón de densdad: p( x = πσ Algunas propedades Su valor medo E(X es gual a µ Su varanza es gual a V(X=σ² e 1( x µ σ, σ > 0 N(-3, N(0,1 N(3,0.5 Normal undmensonal. Representacón gráfca Escuela Técnca Superor de Ingenería Informátca. Unversdad de La Laguna

24 Reconocmento de Patrones Tema : Reconocmento Estadístco de Patrones Recordatoro de Probabldad (6 Independenca Dos varables X e Y son ndependentes s conocer una no proporcona nformacón sobre la otra, es decr: p ( x y = p( x p( x, y = p( x p( y Esperanza de una varable aleatora. Nos nforma del valor medo de la varable: En el caso multdmensonal es un vector: Varanza y covaranza de varables aleatoras. La varanza es una medda de dspersón: V( X = ( x E( X p( x dx La covaranza es una medda de relacón: Cov( X, Y = En el caso multdmensonal se tene la matrz de covaranzas: Escuela Técnca Superor de Ingenería Informátca. Unversdad de La Laguna - ( x E( X ( y - E( X = x p( x dx E( X - E( Y p( x, y dxdy Cov( X = ( x E( x( x E( x p ( x dx ' = x p ( x dx

25 Reconocmento de Patrones Tema : Reconocmento Estadístco de Patrones Recordatoro de Probabldad (7 La normal multvarante es la dstrbucón conjunta de varas varables normales. Funcón de densdad N(µ,Σ p( x = (π Propedades d 1 / Σ 1/ e 1 T 1 ( x µ Σ ( x µ x, µ R Σ matrz de dxd elementos, Su valor medo es ahora un vector E(X= µ = (µ 1, µ,..., µ d T con µ =E(X La dspersón y relacón entre las varables se refleja en la matrz de covaranzas Σ =E( (X- µ (X- µ T = (σj con σ j = E((X - µ (X j - µ j En partcular los elementos de la dagonal de la matrz Σ, σ = E((X - µ son guales a la varanza de la varable X Los elementos fuera de la dagonal σ j mden la covaranza entre las varables X y X j Una covaranza postva ndca que cuando crece X crece X j Una covaranza cero ndca que X es ndependente de X j Una covaranza negatva ndca que cuando crece X decrece X j Escuela Técnca Superor de Ingenería Informátca. Unversdad de La Laguna, smétrca y defnda postva ( Σ > 0 d

26 Reconocmento de Patrones Tema : Reconocmento Estadístco de Patrones Regones de Decsón: El caso Normal (1 Estudaremos las funcones dscrmnantes y fronteras de decsón que aparecen cuando la dstrbucón de las característcas en cada clase es normal multdmensonal, es decr: p(x w ~N(µ,Σ Prmer caso: Las matrces de covaranzas de todas las clases son guales, dagonales y todos los elementos de la dagonal son guales. Σ =σ I, donde I es la matrz dentdad. Esto sgnfca que dentro de cada clase todas las varables son ndependentes y tenen la msma varanza σ a 0 T g ( x = a a 1 = µ σ 1 = σ x + a µ T 0 µ Funcón dscrmnante + ln(p( w a = µ La frontera de decsón es lneal y perpendcular a la recta que une las medas de las dos clases Escuela Técnca Superor de Ingenería Informátca. Unversdad de La Laguna a x a T 0 ( x x = = a µ 1 ( µ T 0 a = 0 j + µ σ a j P( ln w P( w j a R 1 µ 1 R µ Superfce de decsón Representacón Gráfca

27 Reconocmento de Patrones Tema : Reconocmento Estadístco de Patrones Regones de Decsón: El caso Normal ( Segundo caso: Las matrces de covaranzas de todas las clases son guales, esto es: Σ =Σ con Σ una matrz común. a T g ( x = a a = Σ = µ µ x + a T Σ 1 0 µ Funcón dscrmnante + ln(p( w a a = Σ x T 0 ( x x = 1 1 ( d, P( w R ln d 1 P( w j La frontera de decsón es lneal pero en general no es perpendcular a la recta que une las medas de las dos clases Tercer caso: Las matrces de covaranzas son dstntas. 0 µ = 0 d = µ + µ j µ d T j Σ 1 1 d Superfce de decsón Representacón Gráfca µ 1 µ R g ( x = x a A 0 = = 1 1 T Σ Ax + a 1, µ ' Σ 1 Funcón dscrmnante a µ T + x + a = Σ 1 1 µ 0 ln Σ + ln(p( w Las fronteras de decsón son cuádrcas 1 Escuela Técnca Superor de Ingenería Informátca. Unversdad de La Laguna R 1 1 R R 1 R 1 R R R 1 R R 1 R 1 Representacón Gráfca R R R 1

28 Reconocmento de Patrones Resumendo... Tema : Reconocmento Estadístco de Patrones Las buenas notcas; Cuando se conoce la estructura de probabldad del problema: P(w, p(x w sempre se puede encontrar el clasfcador óptmo (clasfcador bayesano: Elegr w s P(w x P(w j x j p(x w P(w p(x w j P(w j j Las malas notcas: En práctcamente nngún problema práctco se conoce la estructura de probabldad del problema. Qué hacer entonces? Dos deas: Intentar estmar las probabldades P(w, p(x w a partr de un conjunto de entrenamento. Estmar P(w con precsón es fácl. Estmar p(x w es un problema dfícl. Olvdarnos del clasfcador bayesano e ntroducr otros crteros (por ejemplo geométrcos con la esperanza de obtener un buen clasfcador aunque no sea óptmo. Escuela Técnca Superor de Ingenería Informátca. Unversdad de La Laguna

29 Reconocmento de Patrones Tema : Reconocmento Estadístco de Patrones El mapa del RP Estadístco Conocdas Densdades condconales en cada clase p(x w TEMA Decsón Bayesana Aprendzaje Supervsado Técncas Paramétrcas Técncas No Paramétrcas TEMA 3 Estmacón Paramétrca Clásca Estmacón Bayesana Estmacón no Paramétrca Clásca Desconocdas TEMAS 4,5 Construccón de Fronteras de Decsón Aprendzaje no Supervsado Técncas Paramétrcas Técncas No Paramétrcas TEMA 8 Estmacón en mezclas Análss de Agrupamentos Escuela Técnca Superor de Ingenería Informátca. Unversdad de La Laguna