Jesús García Herrero CLASIFICADORES BAYESIANOS En esta clase se presentan los algortmos Análss de Datos para abordar tareas de aprendzaje de modelos predctvos. Se partcularzan las técncas estadístcas vstas anterormente para resolver tareas predctvas: por un lado la regresón (lneal o no lneal para predecr valores numércos, y su aplcacón para predecr probabldades y clasfcar nstancas medante regresón logístca, y los clasfcadores bayesanos como modelo de aprendzaje de parámetros de dstrbucones de probabldad para predecr probabldades de clases. La clasfcacón medante regresón permte estmar las fronteras de decsón entre clases, presentando la equvalenca del aprendzaje de fronteras de clasfcacón al de las funcones de estmacón de pertenenca a la clase. Se puede ver la lmtacón de esta técnca a problemas lnealmente separables. Los clasfcadores bayesanos parten del prncpo de probabldad condconada para estmar probabldades a posteror de pertenca a clases de las nstanca, una vez calculadas las probabldades de los valores de los atrbutos (probabldades a pror en la fase de entrenamento. Estos clasfcadores permten tratar con datos nomnales y numércos, en este últmo caso utlzando dstrbucones normales para smplfcar el proceso. La lmtacón está en el cálculo de dependencas entre los atrbutos, que requerría un número de datos eponencal con la dmensón de éstos, problema habtualmente tratado con la smplfcacón de ndependenca condconal (método naïve Bayes. Se completa el tema revsando aspectos práctcos que surgen al aplcar técncas de clasfcacón sobre datos reales: tratamento de datos ncompletos y datos nsufcentes para estmar probabldades muy pequeñas.
Clasfcadores Bayesanos Métodos probablístcos y numércos de clasfcacón Jesús García Herrero Unversdad Carlos III de Madrd Técncas Cláscas en Problemas de Clasfcacón
Clasfcacón numérca Modelado de datos con atrbutos numércos para su aplcacón a Clasfcacón. Generalzacón Datos representados como vectores de atrbutos numércos: patrones A A... A F... F... F 3 3... 3 F............ N N... N F Problemas: dmensonaldad, sobreajuste. X, X,..., X N Técncas Cláscas en Problemas de Clasfcacón
Clasfcacón numérca Problema de Clasfcacón Clases: {C,..., C M } ( Muestras:E= {X,..., X Tamaño: ( n, X ( Para cada clase, C, hay n patrones, cada uno con F ( ( atrbutos: para cada clase C: {X,..., X } X ( j N Técncas Cláscas en Problemas de Clasfcacón,..., X ( n,..., X (M..., X (M n M ( j M n j j ( Fj ; j,..., n n }
Clasfcacón numérca g(. : R X F C {C,...,C Ĉ g(x Funcón dscrmnante de cada clase: g (X (X g g M (X Propedad deseable para el dseño de g (.: sobre el conjunto de entrenamento E, cada patrón de la clase C tene un valor mámo con el dscrmnante g(.: ( ( g ( X ma { g ( X }, j,..., n Técncas Cláscas en Problemas de Clasfcacón g (X,,...,M X Ma(. Ĉ j M },..., M j
X Fronteras de decsón g j (X : lneales 30 5 0 5 g 3 3 g 3 0 5 0 g 0 5 0 5 0 5 30 X Técncas Cláscas en Problemas de Clasfcacón
X Fronteras de decsón 30 5 0 5 0 g j (X : cuadratcas g g 3 g 3 3 5 0 g 0 5 0 5 0 5 30 X Técncas Cláscas en Problemas de Clasfcacón
Técncas Cláscas en Problemas de Clasfcacón Clasfcacón con Regresón Lneal Para cada clase se defne la funcón de pertenenca g : Se construye una funcón lneal que aprome g : Hay que aprender M funcones g C X 0; C X ; (X g t t t (I n t ( t ( n t ( y H ] H [H A ; X X X X H 0 0 y I todos los datos s en los patrones de C 0 s en resto
Clasfcacón bayesana: aplcacón de modelos estadístcos Clasfcacón con modelo de estructura probablístca conocda Clases: {C,..., C M }. Se conoce a pror: Probabldades de clase: P(C Dstrbucones de probabldad condconadas (parámetros constantes F X (,..., densdad I P(X f X(,...,I P(X,...,X P(C I I,...,X I,C I F X(,...,I... I I Técncas Cláscas en Problemas de Clasfcacón
Técncas Cláscas en Problemas de Clasfcacón Parámetros: vector de medas y matrz covaranzas Ejemplo Ej.: dstrbucón normal multvarada n t n / F n F F S ; ( S ( ep S f ( 6 6 S ; 5 30
Teorema de Bayes aplcado a clasfcacón P(C X f (X p(c f (X Probabldad a posteror: es la probabldad de que el ejemplo tenga clase C: P(C X Probabldad a pror: P(C es la probabldad total de cada clase erosmltud: f (X : es la dstrbucón de C aplcada a X Densdad total: f (X f (X P(C... f (X MP(CM Crtero de clasfcacón MAP: Clase(X mámo P(C X mámo f (X p(c funcón dscrmnante de C : proporconal a su prob a posteror: g(x f (X p(c la clase es la de aquella que mamza el dscrmnante Técncas Cláscas en Problemas de Clasfcacón
Clasfcacón bayesana y dstrb normal Dstrbucones condconales gaussanas. Para cada clase C hay una funcón dscrmnante de parámetros j, j, j=...i g ( log(p(c smplfcaon : K f ( F log ( j j / n / j P(C... F ( t S ( Parámetros de dstrbucón condconada a cada clase Regones de decsón: Funcones cuadrátcas (hpérbolas dadas por dferencas: g ( g ( g ( S son guales, y dagonales: regones lneales (caso partcular Técncas Cláscas en Problemas de Clasfcacón j j
Ejemplo con dstrbucón normal C: C: C3: 6 6 t 30 5 ; R P 0.3; C 6 6 t 35 5 ; R P 0.; C 6 6 6 t 0 0 ; R P3 0.5; C3 3 4 Técncas Cláscas en Problemas de Clasfcacón
Ejemplo 40 30 g 0 0 0-0 -0-30 C g 3 C 3 C g 3-50 -40-30 -0-0 0 0 0 30 40 50 Técncas Cláscas en Problemas de Clasfcacón
Resumen clasfcador bayesano numérco Algortmo: Estmar parámetros de cada clase C (entrenamento C :{X (,...,X ( n }, C ˆ n ( n j j Estmar probabldad de cada clase Pˆ (C n M ; n n N C n t ( ( n j Obtener regones de decsón: g j (. Técncas Cláscas en Problemas de Clasfcacón
Clasfcacón Bayesana con Atrbutos Nomnales Atrbutos nomnales con valores dscretos A ={,..., n }: atrbuto con n valores posbles Pasamos de densdades a probabldades: probabldad a pror: p(a = j C? Estmacón contando el número de casos: p(a j nº de ejemplos de clase C nº de ejemplos de clase con A C j Técncas Cláscas en Problemas de Clasfcacón
Clasfcacón Bayesana con Atrbutos Nomnales Smplfcacón: ndependenca de atrbutos ( Nave Bayes : la probabldad conjunta de varos atrbutos se pone como producto X p(x (A,A p(a,...,a I *p(a I *...*p(a I I Clasfcacón: p(c p(a X p(x *p(c p(x *p(a *...*p(a p(x F F *p(c Técncas Cláscas en Problemas de Clasfcacón
Ejemplo con atrbutos nomnales SALARIO CLIENTE EDAD HIJOS CRÉDITO Poco Sí Joven Uno NO Mucho S Joven Uno SI Mucho S Joven Uno SI Poco S Joven Uno NO Mucho S Joven Dos SI Poco S Joven Dos NO Mucho S Adulto Dos SI Mucho S Adulto Dos SI Poco No Adulto Dos NO Mucho S Adulto Dos SI Medo No Adulto Tres NO Mucho S Adulto Dos SI Medo S Adulto Dos SI Medo No Adulto Tres NO Medo No Adulto Dos SI Mucho No Mayor Tres NO Poco No Mayor Tres SI Poco No Mayor Tres SI Mucho No Mayor Tres NO Mucho No Mayor Tres SI p(si = /0 p(no = 8/0 Crédto No Sí Salaro Poco 4/8 / Mucho /8 8/ Medo /8 / Crédto No Sí Clente Sí 3/8 8/ No 5/8 4/ Crédto No Sí Edad Joven 3/8 3/ Adulto 3/8 6/ Mayor /8 3/ Crédto No Sí Hjos Uno /8 / Dos /8 7/ Tres 4/8 3/ Técncas Cláscas en Problemas de Clasfcacón
Ejemplo con atrbutos nomnales Ej.: (salaro=poco, clente=s, edad=adulto, hjos=tres p(si X p(s poco SI*p(c s SI*p(e / *8/ *6/ *3/ * / 0 / p(x adulto SI*p(h 0.0083 / p(x tres SI*p(SI / p(x p(no X p(s poco NO*p(c s NO*p(e adulto NO*p(h 4/8*3/8*3/8* 4/8*8/ 0 / p(x 0.04/ p(x tres NO*p(NO / p(x Técncas Cláscas en Problemas de Clasfcacón
Atrbutos sn valores S el ejemplo a clasfcar no tene un atrbuto, smplemente se omte. Ej.: (salaro=poco, clente=s, edad=?, hjos=3 p(si X p(s poco SI*p(c / *8/ *3/ * / 0 / p(x p(no X s SI*p(h p(s poco NO*p(c s NO*p(h 4/8*3/8* 4/8*8/ 0 / p(x tres SI*p(SI / p(x 0.067 / p(x 0.0375 / p(x tres NO*p(NO / p(x S hay faltas en la muestra de entrenamento, no cuentan en la estmacón de probabldades de ese atrbuto Técncas Cláscas en Problemas de Clasfcacón
Faltas en atrbuto EDAD SALARIO CLIENTE EDAD HIJOS CRÉDITO Poco Sí Joven Uno NO Mucho S Joven Uno SI Mucho S Joven Uno SI Poco S? Uno NO Mucho S? Dos SI Poco S? Dos NO Mucho S? Dos SI Mucho S Adulto Dos SI Poco No Adulto Dos NO Mucho S Adulto Dos SI Medo No Adulto Tres NO Mucho S Adulto Dos SI Medo S Adulto Dos SI Medo No Adulto Tres NO Medo No Adulto Dos SI Mucho No Mayor Tres NO Poco No Mayor Tres SI Poco No Mayor Tres SI Mucho No Mayor Tres NO Mucho No Mayor Tres SI p(si = /0 p(no = 8/0 Crédto No Sí Salaro Poco 4/8 / Mucho /8 8/ Medo /8 / Crédto No Sí Clente Sí 3/8 8/ No 5/8 4/ Crédto No Sí Edad Joven /6 /0 Adulto 3/6 5/0 Mayor /6 3/0 Crédto No Sí Hjos Uno /8 / Dos /8 7/ Tres 4/8 3/ Técncas Cláscas en Problemas de Clasfcacón
Atrbutos no representados. Laplace Problema: con muestra poco representatva, puede ocurrr que en alguna clase, un valor de atrbuto no aparezca: p(a = j C =0 Cualquer ejemplo X con A = j generará P(C X=0, ndependentemente de los otros atrbutos! Se suele modfcar la estmacón de las probabldades a pror con un factor que elmna los ceros. Ej.: P(Edad Crédto=NO= 3 3 Joven :, Adulto:, Mayor: 8 8 8 Ley : 3 /3 3 /3 /3 Joven :, Adulto:, Mayor: 8 8 8 A veces smplemente se ncalzan las cuentas a en vez de 0: 3 Joven :, 8 3 3 Adulto:, 8 3 Mayor: 8 3 Técncas Cláscas en Problemas de Clasfcacón
Atrbutos mtos Independenca de atrbutos ( Nave Bayes p(x p(a *p(a *...*p(a F F Atrbutos dscretos: probabldades a pror con cada clase C p(a j nº de ejemplos de clase nº de ejemplos de clase Atrbutos contnuos: densdades de clase C: normales de parámetros C con A C j, p(a j f A ( j ep ( j Técncas Cláscas en Problemas de Clasfcacón
Ejemplo con atrbutos mtos SALARIO CLIENTE EDAD HIJOS CRÉDITO 55 Sí Joven NO 000 S Joven SI 500 S Joven SI 470 S Joven NO 3000 S Joven SI 50 S Joven NO 800 S Adulto SI 700 S Adulto SI 550 No Adulto NO 600 S Adulto SI 00 No Adulto 3 NO 300 S Adulto SI 00 S Adulto SI 900 No Adulto 3 NO 800 No Adulto SI 800 No Mayor 3 NO 300 No Mayor 3 SI 00 No Mayor 3 SI 000 No Mayor 3 NO 4000 No Mayor 3 SI p(si = /0 p(no = 8/0 Crédto No Sí Salaro Meda 73 9 Desv Estándar 49 94 Crédto No Sí Clente Sí 3/8 8/ No 5/8 4/ Crédto No Sí Edad Joven 3/8 3/ Adulto 3/8 6/ Mayor /8 3/ Crédto No Sí Hjos Meda.5.08 Desv Estándar 0.89 0.67 Técncas Cláscas en Problemas de Clasfcacón
Ejemplo con atrbutos mtos Ej.: (salaro=700, clente=s, edad=adulto, hjos=3 p(si X fs(s 700 SI*p(c s SI*p(e adulto SI*fH(h (700 9 ep *8/ *6/ * ep 94 94 0.67 5.6e 6/ p(x 3 SI*p(SI / p(x (3.08 * / 0 */ P(X 0.67 p(no X fs(s 700 NO*p(c s NO*p(e adulto NO*fH(h 3 NO*p(NO / p(x (700 73 (3.5 ep *3/8*3/8* ep *8/ 0 */ P(X 49 49 0.89 0.89.8e 5/ p(x Técncas Cláscas en Problemas de Clasfcacón
Clasfcacón con costes MAP proporcona clasfcacón con mínma prob. de Error Coste de decsón D X: prob. Error total= P(C X Con frecuenca los costes son asmétrcos, y unos errores son más graves que otros. Matrz de costes Clasfcado como Clase real Costes de cada decsón. Crtero de mínmo coste medo: dada una decsón, promedo los costes de cada equvocacón y su coste: cos te(d X cp(c X c3p(c3 X cos te(d X cp(c X c3p(c3 X cos te(d X c p(c X c p(c X 3 3 0 c c 3 c c 0 3 c c 3 3 0 3 Técncas Cláscas en Problemas de Clasfcacón
Ejemplo de clasfcacón con costes Clasfcacón de setas con dos atrbutos, (X, Y y tres categorías: enenosa, Mal sabor, comestble: {, MS, C} Clase real 30 0 0 0 MS C Clasfcado como 0 MS C 000 0 C 000 0 0 MS : 5 7 50 5t ; C 50 7 C : 5 7 40 5t ; C 40 7 MS: 3 0 5 45 0t ; C3 45 5 30 0 0 0 C MS Mínmo error -0-0 -30-40 Mínmo coste -0-0 -30-40 -50-30 -0-0 0 0 0 30 40 50-50 -30-0 -0 0 0 0 30 40 50 Técncas Cláscas en Problemas de Clasfcacón