Aprendizaje Bayesiano. Oscar Javier Prieto Izquierdo Raúl Casillas Díaz

Transcripción

1 Aprendzaje Bayesano Oscar Javer Preto Izquerdo Raúl Casllas Díaz

2 Contendos Introduccón. Teorema de Bayes. MAP Maxmum a posteror. Aprendzaje MAP. Clasfcador bayesano óptmo. Aprendzaje bayesano nave. Ejemplo. Clasfcacón de textos. Conclusones generales.

3 Razonamento bayesano Nos da un enfoque probablístco de la nferenca. Está basado en asumr que las ncógntas de nterés sguen dstrbucones probablístcas. Se puede consegur una solucón óptma por medo de estas dstrbucones y datos observados. Nos da la posbldad de realzar una ponderacón de la posbldad de ocurrenca de una pótess de manera cuanttatva.

4 Importanca del razonamento bayesano Los algortmos de aprendzaje bayesano pueden calcular probabldades explíctas para cada pótess. Tambén nos proporconan un marco para estudar otros algortmos de aprendzaje.

5 Aprendzaje bayesano El aprendzaje se puede ver como el proceso de encontrar la pótess más probable, dado un conjunto de ejemplos de entrenamento D y un conocmento a pror sobre la probabldad de cada pótess.

6 Característcas I Cada ejemplo de entrenamento afecta a la probabldad de las pótess. Esto es más efectvo que descartar drectamente las pótess ncompatbles. Se puede nclur conocmento a pror: probabldad de cada pótess; y la dstrbucón de probabldades de los ejemplos. Es sencllo asocar un porcentaje de confanza a las predccones, y combnar predccones en base a su confanza.

7 Característcas II Una nueva nstanca es clasfcada como funcón de la predccón de múltples pótess, ponderadas por sus probabldades. Incluso en algunos casos en los que el uso de estos métodos se a mostrado mposble, pueden darnos una aproxmacón de la solucón óptma.

8 Dfcultades Necesdad de un conocmento a pror. S no se tene este conocmento estas probabldades an de ser estmadas. Coste computaconal alto. En el caso general es lneal con el número de pótess canddatas.

9 Teorema de Bayes P D = P D P P D Donde: - P es la probabldad a pror de la pótess. - PD es la probabldad de observar el conjunto de entrenamento D. - PD es la probabldad de observar el conjunto de entrenamento D en un unverso donde se verfca la pótess. - PD es la probabldad a posteror de, cuando se a observado el conjunto de entrenamento D.

10 Seleccón de pótess I Máxmo a posteror MAP: Se denomna así a la pótess más probable aplcando el teorema de Bayes. arg max arg max arg max P D P D P P D P D P H H H MAP = =

11 Seleccón de pótess II En algunos casos la multplcacón por P no tene sentdo ya que las pótess son equprobables: ML arg max P D H A este resultado se le denomna máxma verosmltud maxmum lkelood.

12 Ejemplo Un pacente está enfermo? Un test de laboratoro a dado postvo. Cuando el pacente está enfermo el test lo detecta en un 98% de los casos. S el pacente no tene cáncer, el test da un 3% de falsos postvos. Sólo el 0,8% de las personas están enfermas. Penfermo = P enfermo = P+enfermo = 0.98 P-enfermo = 0.02 P+ enfermo = 0.03 P- enfermo = 0.97 Aplcando MAP para enfermo en caso de que de test postvo P+enfermoPenfermo = 0.98 * = P+ enfermop enfermo = 0.03 * = normalzando: P enfermo + = =

13 Aprendzaje de pótess por fuerza bruta I Dado un conjunto de ejemplos D y un espaco de pótess H. 1. Para cada pótess pertenecente a H se computa: P D = P D P P D 2. Se devuelve la pótess con la máxma probabldad a posteror. MAP = arg max P d H

14 Aprendzaje de conceptos I Supongamos el sguente problema de aprendzaje: Descrpcón de nstancas, X, atrbutos, valores Descrpcón de las pótess, H Concepto objetvo c : X {0,1} Ejemplos de entrenamento D={<x 1, cx 1 >, <x 2, cx 2 >,..., <x m, cx m >}

15 Aprendzaje de conceptos II Consderaremos que el conjunto de ejemplos x es fjo y lo que varía son los resultados asocados D={d 1,..., d m }. Partamos de las sguentes pótess: 1. Los datos de entrenamento no tenen rudo D={d 1,..., d m } 2. El concepto objetvo está contendo en el espaco de pótess H. 3. No tenemos conocmento de las probabldades a pror, por lo que consderamos cada equprobable.

16 Aprendzaje conceptos III Debemos tener conocmento de las probabldades P, PD, PD = = = caso otro en D d x d s D P H P 0 1 1

17 Aprendzaje conceptos IV Los valores de PD son allados medante el teorema de la probabldad total dado en las fórmulas báscas, asummos que las pótess son excluyentes ,,,, H VS H H H P D P D P D H VS VS VS H D H D H D H = = + = =

18 Aprendzaje conceptos V Aora, con estas probabldades alladas, podemos aplcar el teorema de Bayes a cada pótess, sguendo el planteamento de aprendzaje por fuerza bruta: S la pótess es nconsstente con los ejemplos de entrenamento D S la pótess es consstente con los ejemplos de entrenamento D D P P D P D P = = = D P H D P 1 1 1,, D H D H VS H VS H D P = =

19 Aprendzaje conceptos VI A medda que acumulamos el conocmento dado por el conjunto de ejemplos D, la probabldad de las pótess nconsstentes se ace 0. Las pótess consstentes son equprobables y son una solucón MAP.

20 Hpótess MAP y aprendzaje consstente Un algortmo de aprendzaje es consstente s obtene una pótess que no comete nngún error sobre los ejemplos de entrenamento. Un algortmo de aprendzaje consstente genera un pótess MAP s Las pótess tenen la msma probabldad a pror P =P j,j No ay rudo en los datos PD=1 s es consstente y 0 en otro caso.

21 Clasfcador bayesano óptmo I Cuál es la clasfcacón más probable para un nuevo ejemplo, dado el conjunto de los ejemplos de entrenamento? La clasfcacón de la pótess más probable, MAP x? Ejemplo 3 pótess P 1 D = 0.4 P- 1 = 0 P+ 1 = 1 P 2 D = 0.3 P- 2 = 1 P+ 2 = 0 P 3 D = 0.3 P- 3 = 1 P+ 3 = 0 Vemos que ante una nstanca x: 1 x =+ 2 x =- 3 x =-

22 Clasfcador bayesano óptmo II La clasfcacón óptma vene para un nuevo ejemplo es el valor de entre el conjunto de valores posbles V que cumple En el ejemplo anteror H j V v j D P v P arg max + = = = + H j v H H j j j D P v P D P P D P P arg max 0,6 0,4 }, {

23 Clasfcador bayesano óptmo III La pótess que representa este clasfcador puede no encontrarse dentro del espaco de pótess!!. Realmente se consdera un espaco de pótess H, que tene en cuenta combnacones lneales de las pótess del espaco H.

24 Algortmo de Gbbs El clasfcador bayesano óptmo proporcona los mejores resultados que se puede obtener dado un conjunto de ejemplos de entrenamento. Aplcado al aprendzaje de conceptos medante espaco de versones consstría en sumar votos para cada pótess ponderados por la probabldad a posteror de cada una. Esto es muy costoso para mucas pótess

25 Algortmo de Gbbs II Se escoge una pótess aleatoramente, de acuerdo a la dstrbucón de probabldades a posteror. Se devuelve la clasfcacón dada por esa pótess. Se a demostrado que el error esperado es menor o gual que el doble del error del clasfcador óptmo. En el espaco de versones, s se supone una dstrbucón unforme de probabldades, el algortmo de Gbbs consstría en tomar una pótess al azar.

26 Clasfcador bayesano nave I Uno de los mejores métodos de aprendzaje en la práctca. En algunos domnos comparable a redes de neuronas y árboles de decsón. Se puede aplcar cuando Se dspone de conjuntos de entrenamento de tamaño medo o grande Los atrbutos que descrben a los ejemplos son ndependentes entre sí con respecto al concepto que se pretende aprender Aplcado con éxto en: Dagnóstcos, Clasfcacón de documentos.

27 Clasfcador bayesano nave II Cada ejemplo x se descrbe con la conjuncón de los valores de sus atrbutos: <a 1, a 2, a n > La funcón objetvo fx puede tomar cualquer valor de un conjunto fnto V La clasfcacón vene dada por el valor de máxma probabldad a posteror: v MAP v MAP = arg max P vj,... a P a1, a 2,... an vj P vj = arg max vj V P a1, a 2,... an = arg max P a1, a 2,... an vj P vj vj V vj V a1, a 2 n

28 Clasfcador bayesano nave III Los térmnos se an de estmar basándose en los ejemplos de entrenamento. Pv j contando la frecuenca con la que ocurre cada valor v j Hay demasados térmnos de la forma Pa 1,a 2, a n v j. Harían falta mucísmos ejemplos de entrenamento para obtener una buena estmacón.

29 Clasfcador bayesano nave IV La suposcón del clasfcador nave es que los atrbutos son ndependentes entre sí con respecto al concepto objetvo y, por lo tanto: P a, a,... a = n vj P a vj 1 2 La aproxmacón del clasfcador bayesano nave es: v nb j P a vj = arg max P v vj V Las probabldades Pa v j resultan muco más fácl de estmar que las Pa 1,a 2, a n

30 Algortmo Aprendzaje_Bayesano_Naveejemplos Para cada posble valor del resultado v j Obtener estmacón P v j de la probabldad Pv j Para cada valor a de cada atrbuto a Obtener una estmacón P a v j de la probabldad P a v j Clasfcar_nstancax devolver v = arg max P v vj V nb j P a vj

31 Ejemplo

32 Estmacón de probabldades: Ejemplo P PlayTenns=yes = 9/14 = 0,64 P PlayTenns=no = 5/14 = 0,36 P Outlook=sunny PlayTenns=yes = 1/9 = 0,11 P Outlook=sunny PlayTenns=no = 3/5 = 0,6 P Temperature=cool PlayTenns=yes = 3/9 = 0,33 P Temperature=cool PlayTenns=no = 1/5 = 0,2 P Humdty=g PlayTenns=yes = 3/9 = 0,33 P Humdty=g PlayTenns=no = 4/5 = 0,8 P wnd=strong PlayTenns=yes = 3/9 = 0,33 P wnd=strong PlayTenns=no = 3/5 = 0,6...

33 Ejemplo Ejemplo a clasfcar: <Outlook = sunny, Temperature = cool, Humdty = g, Wnd = strong> vnb = arg max P vj P a vj vj V = arg max P vj P' Outlook = sunny vj P' Temperature vj V P' Humdty = g vj P' Wnd = strong vj = cool v j P yesp sunnyyesp coolyesp gyesp strongyes = 0,0053 0,205 P no P sunnynop coolnop gnop strongno = 0,0206 0,795

34 Estmacón de probabldades Problema con las estmacones Pa v j = 0 Este témno domnará el clasfcador al tener que multplcar el resto de probabldades por 0. Estmacón-m: P' a v j = nc n + + mp m n: número de ejemplos del entrenamento con valor v j n c : fraccón de n con valor a para el atrbuto a p: estmacón a pror de pa v j m: peso de la estmacón a pror

35 Estmacón de probabldades II S m=0 se tendría la estmacón por defecto. S no, la estmacón observada n c /n y el conocmento prevo p son combnados de acuerdo al peso m. Sn nformacón adconal, la probabldad a pror se puede obtener suponendo probabldad unforme: p = 1 k Sendo k el número de valores dstntos para el atrbuto a.

36 Ejemplos de aplcacones reales Dagnóstco Clasfcacón de textos

37 Reduccón de la dmensonaldad I Es necesara por la alta dmensón del espaco de térmnos exstentes en un texto Seleccón de patrones más representatvos dentro de un texto. Se pueden aplcar dferentes técncas Pretende ncrementar la efcenca sn dsmnur la precsón

38 Reduccón de la dmensonaldad II Se pueden elmnar palabras característcas consderadas de poco valor Se puede reparametrzar el texto, susttuyendo algunas palabras por otras que las representen lematzacón, snonma,

39 Reduccón de la dmensonaldad III Dcconaro de térmnos con palabras relevantes Dcconaro de térmnos no relevantes Fltros: Palabras Frases Conjuntos de palabras

40 Clasfcacón de textos I Aplcacón que lustra la mportanca práctca de los métodos de aprendzaje bayesano. Las nstancas son documentos de texto. Espaco de nstancas X: Todos los posbles documentos de texto. Concepto a aprender: Artículos que me nteresan Págnas web sobre un determnado tema. Funcón objetvo: f: documento {v 1, v 2,...} Ej. clasfcar documentos como nteresantes o no para una persona.

41 Clasfcacón textos II Para aplcar el clasfcador bayesano nave: 1. Cómo representar un documento de texto cualquera en térmnos de valores de atrbutos. 2. Cómo estmar las probabldades requerdas por el clasfcador bayesano nave.

42 Clasfcacón textos III 1. Representacón del documento Un vector con tantos atrbutos como palabras tene el documento, donde el valor del atrbuto es la palabra que ay en la poscón. long doc v nb = arg { max P vj vj +, } = 1 P a W k es la k-ésma palabra del vocabularo utlzado. La suposcón del aprendzaje bayesano 1 n j no se cumple. La probabldad de una palabra en una poscón depende de las palabras en el resto de poscones. = w k v P a, a 2,... a v = P a vj j

43 Clasfcacón textos IV Probabldades a estmar: P+ y P- : Fraccones de cada tpo obtenda durante el aprendzaje. Pa =w k +, Pa =w k - para todas las palabras del dcconaro en cada una de las posbles poscones. Para smplfcar: Suponemos que la probabldad de encontrar una determnada palabra es ndependente de la poscón consderada atrbutos ndependentes e gualmente dstrbudos: Pa 1 =w k v j, = Pa 2 =w k v j = = Pw k v j

44 Clasfcacón textos V Mejora las estmacones de las probabldades en casos con un reducdo conjunto de datos de entrenamento. Para evtar el problema de que alguna estmacón de probabldad se aga cero, se utlza la estmacón-m: P w k vj = n+ n + 1 vocabularo n es el número de palabras de todos los documentos con valor vj nk es el número de veces que aparece la palabra wk entre las n palabras vocabularo es el número de palabras dstntas que aparecen en los documentos de entrenamento

45 Clasfcacón textos VI Problema: clasfcar artículos de grupos de notcas 20 grupos de notcas 1000 artículos de cada grupo Dos tercos de los documentos para entrenamento y un terco para Valdacón Solucón: clasfcador bayesano nave elmnando del vocabularo las 100 palabras más frecuentes artículos, preposcones,... cualquer palabra que aparecese menos de tres veces Resultado: clasfcacón correcta en el 89% de los casos

46 Conclusones generales I Frme fundamento matemátco. Marco para estudar otros algortmos de aprendzaje bajo el msmo enfoque. Esquema probablístco que asoca una únca descrpcón a cada clase: Probabldad a pror. Conocmento prevo. Probabldades condconadas dstrbucón de probabldad para cada atrbuto. Informacón extraída de la dstrbucón de los casos de entrenamento.

47 Conclusones generales II La mayoría de versones de los clasfcadores bayesanos asumen ndependenca de atrbutos. Los resultados práctcos parecen demostrar su valdez extendendo su comportamento con ndependenca de esta suposcón. Este aprendzaje permte decdr la nfluenca relatva del conocmento prevo en las observacones.

48 Conclusones generales III Las suposcones subyacentes de caracterzar cada clase con una únca descrpcón y de ndependenca de los atrbutos le an dado una reputacón mala. Coste computaconal alto y necesdad de conocmento a pror con el cual no contamos en la mayoría de los casos. Ha demostrado en domnos naturales, donde no se cumplen las suposcones, comportarse con resultados comparables a aquellos obtendos por métodos más sofstcados. Tenen la abldad de dscrmnar atrbutos relevantes de otros rrelevantes.

49 Bblografía Macne Learnng, Capítulo 6, Tom M. Mtcell, McGraw-Hll Internatonal Edtons.