. LASIFIAIÓN.. INRODUIÓN Defncón En los datos esten atrones o reulardades. El arendzae automátco AA ermte realzar aromacones que conduzcan a detectar certos atrones, que no son más que determnadas relacones entre varables. Dstntos atrones corresonden a dstntas clases, de ahí que a la clasfcacón tambén se le denomne reconocmento de atrones. S lo conocdo no varía con el temo se odrán hacer redccones. La alcacón del AA a randes bases de datos se denomna mnería de datos. ambén se conoce como descubrmento de conocmento en bases de datos knowledde dscovery n databases. R. arballo Dto. Matemátca Alcada y.. Eemlos de alcacón: en cencas como la astronomía y la boloía en banca concesón o deneacón de crédtos danóstco médco reconocmento vsual matrículas, teto manuscrto, huellas dtales e máenes en eneral y reconocmento de voz. R. arballo Dto. Matemátca Alcada y..
El método y la comutacón En AA se roraman los ordenadores ara otmzar un crtero de actuacón, utlzando datos eemlo o eerenca del asado. endremos un modelo, unconunto de arámetros ara ese modelo y un crtero de actuacón. En AA se eecuta un rorama ara determnar los arámetros que otmzan el crtero de actuacón. El análss de los datos se basa en la teoría que se etrae de la estadístca. Suervsado datos de entrenamento o no suervsado. El modelo uede ser descrtvo, ara anar conocmento sobre los datos, redctvo, o ambas cosas. El sstema ntelente debe adatarse a los cambos, or eemlo datos nuevos. El ael de la comutacón es doble. En la clasfcacón se usan alortmos efcentes ara el ótmo almacenamento y rocesamento de randes cantdades de datos. La alcacón del clasfcador ara redccón necesta tambén una mlementacón efcente. R. arballo Dto. Matemátca Alcada y.. 3 Nomenclatura ada conunto de datos es un: eemlo, nstanca, obeto o caso. Subíndce Número de nstancas: N Atrbutos, varables de entrada o característcas varables, nuts, features: vector. es el vector de entradas de la nstanca El conunto de varables uede contener tanto varables contínuas como dscretas El tratamento es mucho más sencllo cuando las varables son contínuas. Número de varables de entrada: d. A d se le llama la dmensónó de las varables de entrada. uando d > se dce que los datos son multvarados, y el análss de datos se denomna análss multvarado o análss multvarante. R. arballo Dto. Matemátca Alcada y.. 4
Varables de salda: y vector. Hay un vector ara cada nstanca. y es el vector de saldas de la nstanca La salda uede ser un dentfcador de clase los naturales,, 3 etc ueden etquetar las clases, 3, etc, una robabldad de ertenenca a cada clase, una robabldad de ertenenca a una sola clase, etc. En el arendzae no suervsado no hay varables de salda Número de varables de salda: k Modelo: Eleccón del modelo Parámetros que defnen el modelo : θ, θ rtero de actuacón o funcón de érddas R. arballo Dto. Matemátca Alcada y.. 5 Los tres tos de nstancas: Instancas ara las que se conocen las saldas: nstancas etquetadas labelled Se utlzan como conunto de entrenamento en el arendzae suervsado Se utlzan como obetos test ara las valdacones Instancas ara las que no se conocen las saldas: nstancas no etquetadas unlabelled. ambén se denomnan nstancas u obetos roblema. Instancas desconocdas, aarentemente no ertenecen a nnuna de las clases consderadas. Los datos que ermten etquetar a otras nstancas, no nos ermten etquetar éstas. R. arballo Dto. Matemátca Alcada y.. 6 3
Matrz de datos multvarados X 3... d 3... d N N N N 3... d Se dsone de varas varables de entrada d de cada nstanca, enerando ara cada nstanca un vector de observacón fla. ada una de las N nstancas es una fla. ada columna nos da la dstrbucón de valores de una varable sobre toda la muestra. En este tema nos lmtaremos a clasfcacón suervsada R. arballo Dto. Matemátca Alcada y.. 7 Un eemlo de funcón dscrmnante Eemlo: concesón o deneacón de crédto. Obetvo: searar los solctantes en dos ruos, alto reso y bao reso, en funcón de dos datos que son los nresos y los astos. Podemos utlzar el suente crtero: s θ y < θ entonces bao reso, caso. contraro alto reso. Este crtero es nuestra funcón dscrmnante, orque defne como se searan las nstancas en dos clases. La concesón o deneacón se realzará en funcón de determnados crteros tenendo en cuenta lo que se erde or restar a quen quzá no aue y lo que se erde or no restar a quen quzá hubera aado. Una vez austada, odemos utlzar la funcón dscrmnante ara hacer redccones en los nuevos casos R. arballo Dto. Matemátca Alcada y.. 8 4
Utldad de la clasfcacón Etraccón de conocmento. En el eemlo sobre réstamos conoceremos las característcas de los clentes de bao reso y odemos actuar sobre esta oblacón, or eemlo envándoles ublcdad sobre nuestros réstamos. omresón. El conocmento ermte la comresón de los datos, resecto de los obetvos que tenemos. Deteccón de outlers. Los outlers son nstancas que no cumlen las relas, y que son or tanto ececones. Pueden mlcar anomalías en los datos, en el clasfcador, o la necesdad de tener en cuenta otras varables. R. arballo Dto. Matemátca Alcada y.. 9.. MARO EÓRIO: SEPARAIÓN DE DOS DISRIBUIONES BIVARIADAS GAUSSIANAS Introduccón: searacón entre dos clases Hótess de dos clases mutuamente ecluyentes y ehaustvas. Para cada clase se suone que la dstrbucón de las entradas obedece un modelo conocdo, comletamente defndo or muy ocos arámetros. Un eemlo sencllo es consderar que las entradas suen una dstrbucón aussana. En este caso sólo se tenen dos arámetros ara cada clase que son la meda y la varanza. Fados los arámetros del modelo, se conoce la dstrbucón comleta de la varable de entrada, o densdad de robabldad, y R. arballo Dto. Matemátca Alcada y.. 5
6 A artr de la dstrbucón se toma la decsón sobre la clasfcacón de la forma suente: Rela de Bayes: es la dstrbucón de densdad de robabldad PDF ara la clase es la robabldad a ror de la clase la robabldad a osteror k R. arballo Dto. Matemátca Alcada y.. En nuestro caso k= P ómo decdr s asnar a la clase,, o a la clase,? Vemos que el denomnador no varía. Se utlza entonces la funcón dscrmnante : / cte /cte En la ráctca se toman los loartmos, lo contraro caso s R. arballo Dto. Matemátca Alcada y.. = cuando las dos asnacones son ual de robables. Es la denomnada frontera de decsón lo
7 PDF en el modelo aussano undmensonal omando como aussanas con ] [ e E ] E[ lo lo lo ] [ R. arballo Dto. Matemátca Alcada y.. 3 E PDF en el modelo aussano multvarado El vector romedo de las varables es: La covaranza de dos varables es: d ] E[ y la matrz de covaranza, smétrca, es: E E, ov d d R. arballo Dto. Matemátca Alcada y.. 4 E E ov d d
8 ] [ e, N d d c Dstanca de Mahalanobs ara el caso undmensonal herelsode d-dmensonal centrado en la meda, con forma y orentacón defndos or Σ R. arballo Dto. Matemátca Alcada y.. 5 Los socontornos de son herelsodes. En el térmno eonencal, la dstanca de Mahalanobs no es la dstanca euclídea, sno que tene en cuenta la varanza y la correlacón. El efecto de Σ es estandarzar las varables a varanza undad y elmnar las correlacones. defndos or Σ Funcón dscrmnante ara dos aussanas bvaradas / lo lo lo d dscrmnante cuadrátco Los socontornos de son funcones cuadrátcas en el esaco d- lo ] / e[ ] / e[ lo - - d R. arballo Dto. Matemátca Alcada y.. 6 dmensonal. Una smlfcacón mortante ocurre cuando la matrz de covaranza es ual en las dos clases, entonces se van los térmnos de los determnantes, y en las dstancas de Mahalanobs se va el térmno cuadrátco t Σ -, quedando el suente resultado:
9 lo lo - - dscrmnante lneal lo con : or tanto - - w w w w R. arballo Dto. Matemátca Alcada y.. 7 La funcón dscrmnante es una funcón lneal de, los socontornos de son herlanos en el esaco d-dmensonal Obsérvese la nfluenca de las robabldades a ror. Frontera de decsón: w w S además suonemos las varables ndeendentes, entonces la matrz de covaranza es daonal, y tenemos el clasfcador nenuo de Bayes. Y s además suonemos varanzas uales matrz de covaranza daonal y escalar: lo lo lo lo lo lo R. arballo Dto. Matemátca Alcada y.. 8 En este modelo smle, y suonendo las robabldades a ror uales, se asna la clase cuya meda sea más cercana. lo lo
S los rores son dferentes la frontera de decsón se deslaza haca la meda de la clase menos robable a ror. aso unvarado: y s además rores uales: lo lo R. arballo Dto. Matemátca Alcada y.. 9 En el caso undmensonal, s varanzas uales y rores uales la frontera de decsón es el unto medo de las dos medas Eresón de las robabldades a osteror en el dscrmnante lneal: funcón loístca lo lo w w d ] e[ ] e[ w w w w Es la denomnada funcón smode o funcón loístca R. arballo Dto. Matemátca Alcada y.. smod ] e[ w w w w
Funcón smode.9.8.7.6.5.4.3.. 5 5 R. arballo Dto. Matemátca Alcada y.. Práctca con Matlab de la searacón de dos aussanas bvaradas Se lustra la searacón de dos clases, suonendo ara cada una de ellas una densdad de robabldad normal multvarada dos varables. Se utlza Matlab Se consdera en rmer luar el caso eneral Se reresenta la funcón de dscrmnacón, a artr de las dstrbucones df teórcas, suonendo rores uales En seundo luar se utlza la msma matrz de covaranza ara las dos clases. Se reresenta la funcón de dscrmnacón, a artr de las dstrbucones df teórcas, suonendo rores uales. Se analza el efecto de consderar dstntos rores Se reresenta el dscrmnante lneal como modelo lneal, con los coefcentes w y w obtendos de la teoría Se reresentan los socontornos de las robabldades a osteror, utlzando el smode o dscrmnante loístco. R. arballo Dto. Matemátca Alcada y..
% mvn_classes.m Multvarate normal dstrbuton. classes % OVARIANZAS DISINAS fure mu = [ ]; sma = [. ;. ]; r = mvnrnd mu,sma,; lot r:,, r:,,'+' hold on = -4:.: 9; = -5:.: 7; [X,X] = meshrd,; % 66 6 % X 6*66 % X hasta X6 vale -4 % X6 hasta X vale -3.8 % % X,: -4:.:9 % cada fla de X rete el array % % -4-3.8 % -4-3.8 % -4-3.8 % R. arballo Dto. Matemátca Alcada y.. 3 % X 6*66 % X hasta X6 vale -5:.:7 % X6 hasta X vale -5:.:7 % X:, -5:.:7 % cada columna de X rete el array % % -5-5 % -4.8-4.8 % -4.6-4.6 % F = mvndf[x: X:],mu,sma; % 46* F = reshaef,lenth,lenth; contour,,f,--m ' m','lnewdth',.5; 5; R. arballo Dto. Matemátca Alcada y.. 4
mu = [5 3]; sma = [ -.5; -.5 3]; mvnrndmu,sma,; lotr:,,r:,,'+r' F = mvndf[x: X:],mu,sma; F = reshaef,lenth,lenth; contour,,f,'--m','lnewdth',.5; % Se dbua ahora el contorno con las msmas densdades de robabldad F y F contour,,f-f,[..5. -.3 -.6], '','LneWdth', contour,,lof-lof,[. - - -6], ':r','lnewdth', R. arballo Dto. Matemátca Alcada y.. 5 Gausanas bdmensonales de dstnta matrz de covaranza. En verde: 8 6 4 4 6 4 4 6 8 R. arballo Dto. Matemátca Alcada y.. 6 3
Gausanas bdmensonales de dstnta matrz de covaranza. En roo: lo 8 6 4 4 6 4 4 6 8 R. arballo Dto. Matemátca Alcada y.. 7 %%OVARIANZAS IGUALES clear all fure mu = [ ]; sma = [.;. ]; r = mvnrndmu,sma,; lotr:,,r:,,'+' hold on = -4:.:9; = -5:.:7; [X,X] = meshrd,; F = mvndf[x: X:],mu,sma; F = reshaef,lenth,lenth; contour,,f,'--m','lnewdth',.5;,,,, as equal clear r R. arballo Dto. Matemátca Alcada y.. 8 4
mu = [5 3]; r = mvnrndmu,sma,; lotr:,,r:,,'+r' F = mvndf[x: X:],mu,sma; F = reshaef,lenth,lenth; contour,,f,'--m','lnewdth',.5; ' 'L contour,,f-f,[-....5..5.7], '','LneWdth', contour,,lof-lof,[-5. 5], ':r','lnewdth', R. arballo Dto. Matemátca Alcada y.. 9 Gausanas bdmensonales de ual matrz de covaranza. En verde: 6 4 4 4 4 6 8 R. arballo Dto. Matemátca Alcada y.. 3 5
Gausanas bdmensonales de ual matrz de covaranza. En roo: lo 6 4 4 4 4 6 8 R. arballo Dto. Matemátca Alcada y.. 3 % hóstess de dstntos rores P=. y P=.9 contour,,lof-lof+lo./.9,[-5. 5], ':b','lnewdth', % la frontera se acerca a la clase más mrobable a ror 6 4 4 4 4 6 8 R. arballo Dto. Matemátca Alcada y.. 3 6
% se reresenta el lano deducdo teórcamente w=nvsma*mu-mu' ; w=-/*mu+mu*nvsma*mu-mu' ares = [X:,X:]; % ares,: % -4-5 % ares,: % -4. -4.8 % ares3,: % -4. -4.6 % funcon = w'*ares'+w; funcon = funcon'; funcon = reshaefuncon,lenth,lenth; contour,,funcon,[ -5.. 5.], 'r','lnewdth', R. arballo Dto. Matemátca Alcada y.. 33 Gausanas bdmensonales de ual matrz de covaranza 6 4 4 4 4 6 8 R. arballo Dto. Matemátca Alcada y.. 34 7
% Se reresentan los socontornos de la funcón loístca, que da % drectamente las robabldades a osteror de la clase. funcon3=./+e-*funcon; contour,,funcon3,[...5.7.9.95.999], 'k' 6 4 4 4 4 6 8 R. arballo Dto. Matemátca Alcada y.. 35 % Vsualzacón de la funcón smodal en 3 dmensones fure3 mesh,,funcon3 hold on mu = [5 3]; r = mvnrndmu,sma,; lot3r:,,r:,,.5*ones,,'k+' mu = [ ]; r = mvnrndmu,sma,; lot3r:,,r:,,.5*ones,,'r+' vew-5, R. arballo Dto. Matemátca Alcada y.. 36 8
.8.6.4. 5 5 4 4 6 8 R. arballo Dto. Matemátca Alcada y.. 37.3 EL DISRIMINANE LINEAL Introduccón Método basado en la hótess de que las nstancas de una clase son lnealmente searables de las nstancas del resto de clases. Este es un modelo en el que se estman drectamente los arámetros del dscrmnante sn estmar antes las PDFs. =n, =, 3 =n =, =n, 3 =n 3 3 ada clase l.s. del resto 3=n, 3=n, 3 3= R. arballo Dto. Matemátca Alcada y.. 38 9
omaracón: lasfcacón basada en la robabldad: a Se estman rores y robabldades de las clases. ˆ ˆ s ; ˆ ma Método aramétrco, sem o no aramétrco b Se calculan los osterores con Bayes c Se escoe la clase que mamza la lasfcacón basada en dscrmnante: Se suone un modelo ara el dscrmnante eludendo la estmacón de rores, PDFs y osterores. Nnuna suoscón n conocmento sobre las PDFs.e. s son o no aussanas, s las entradas están o no correlaconadas, etc.. Resecto a las densdades de robabldad de las clases el método es no aramétrco. Se defne un modelo de funcón de dscrmnacón: Elíctamente arametrzado en funcón de los arámetros R. arballo Dto. Matemátca Alcada y.. 39 En este caso no nos reocua estmar correctamente las PDFs de cada clase, sno la frontera entre las reones ocuadas or las clases. El modelo de dscrmnante lneal es el suente: d w, w w w w Una funcón ara cada clase. w es el vector de esos y w el umbral La ventaa del dscrmnante lneal es su smlcdad. Además es fácl de nterretar:lasaldaeslasumaesadadevarosfactores.lamantudde los esos muestra la mortanca de las corresondentes varables de entrada y el sno s el efecto es ostvo reforzar o neatvo nhbr. w En muchas alcacones el dscrmnante lneal es muy recso. Hemos vsto que cuando las clases son aussanas con matrz de covaranza común el dscrmnante ótmo es el lneal. R. arballo Dto. Matemátca Alcada y.. 4
El dscrmnante lneal uede usarse tambén cuando esta hótess no se cumle, y los arámetros del modelo se ueden calcular sn realzar nnuna hótess sobre las dstrbucones de densdad. Se debe utlzar un modelo lneal antes de ntentar uno más comlcado, ara aseurarse de que la comledad adconal está ustfcada. Buscaremos los arámetros que mnmcen una funcón error. El arendzae es la otmzacón de los arámetros θ del modelo ara mamzar la recsón de la clasfcacón, dado el conunto de entrenamento. R. arballo Dto. Matemátca Alcada y.. 4 Dos clases El roblema se reduce a una únca funcón frontera w w Y escoemos: s caso contraro Este dscrmnante defne un herlano, que es la frontera de decsón, donde w es el vector de esos y w o el umbral. R. arballo Dto. Matemátca Alcada y.. 4
Varas clases Hótess de k clases, cada una lnealmente searable del resto k funcones de dscrmnacón, con vectores de eso y umbrales tales que: w, w w w =n, =, 3 =n =, =n, 3 =n 3 3 ada clase l.s. del resto 3=n, 3=n, 3 3= s caso contraro Idealmente las funcones deberían ser tales que ara cada sólo una clase cumlera >. Pero en la realdad odrá haber reones donde varas clases sean osbles. En este caso se asnará la que tena mámo. s ma R. arballo Dto. Matemátca Alcada y.. 43 Searacón lneal or ares R. arballo Dto. Matemátca Alcada y.. 44
Searacón lneal or ares S las clases no son lnealmente searables, ero sí lo son or ares, lo cual es más robable, entonces se uede utlzar este to de searacón, dando luar a una searacón no lneal de las clases. Es una forma de dvdr un roblema comleo, or eemlo no lneal, en un conunto de roblemas más smles, lneales. w, w w w s S ara alunos no se cumle y no queremos rechazar esos casos odemos utlzar: Y asnar a la clase con mámo Debdo a su smlcdad, el dscrmnante lneal es el clasfcador más utlzado en el reconocmento de atrones. R. arballo Dto. Matemátca Alcada y.. s s 45.4 ERRORES MEDIANE LA URVA R.O.. Sensbldad, falsas alarmas y curva R.O.. En el roblema de la clasfcacón entre dos clases que forman un conunto ecluyente y ehaustvo, y en el que la salda del clasfcador es dcotómca, tenemos cuatro osbles resultados. S la salda está etquetada como ostva y la nstanca es de esa clase hablamos de P true ostve. S la nstanca es neatva ero la salda es ostva hablamos de un FP false ostve. Inversamente, ocurre un N true neatve cuando tanto la realdad como la redccón son neatvos, y FN false neatve cuando la redccón es neatva mentras que el valor real es ostvo. Denotando or P N las nstancas ostvas neatvas las cuatro saldas defnen la tabla de contnenca o matrz de confusón: R. arballo Dto. Matemátca Alcada y.. 46 3
Valor real P Valor real N Resultado del est P FP Resultado del est n FN N Sensbldad o roorcón de verdaderos ostvos PR = P / P = P / P + FN Rtmo de falsas alarmas o roorcón de falsos ostvos FPR = FP / N = FP / FP + N Estas meddas de caldad están relaconadas entre sí: s queremos aumentar la sensbldad, tendremos un mayor número de falsas alarmas. R. arballo Dto. Matemátca Alcada y.. 47 Determnacón de una curva R.O.. con Matlab % RO ara dos aussanas undmensonales fure mu = []; sma = []; r = mvnrndmu,sma,3; hstr hold on mu = [3]; sma = []; r = mvnrndmu,sma,3; hstr df=mvndf-4:.5:',mu,sma; df=mvndf-4:.5:',mu,sma; lot-4:.5:, df*65, 'k','lnewdth', % escalado ara que altura arecda a hstorama lot-4:.5:, df*45,'r','lnewdth', % escalado ara que altura arecda a hstorama R. arballo Dto. Matemátca Alcada y.. 48 4
% varando threshold varará sensbldad y rtmo de falsa alarma P=[]; FN=[]; FP=[]; N=[]; %RUE POSIIVE for =-4:.5: P=[P lenthfndr<=]; end %FALSE NEGAIVE for =-4:.5: FN=[FN lenthfndr>]; end %FALSE POSIIVE for =-4:.5: 45 FP=[FP lenthfndr<=]; end %RUE NEGAIVE for =-4:.5: N=[N lenthfndr>];end R. arballo Dto. Matemátca Alcada y.. 49 sensbldad=p./p+fn; f_a=fp./fp+n; fure lotf_a, sensbldad, ':+' label'false alarm rate', ylabel'sensblty or comleteness' >> 8 7 6 5 4 3 4 4 6 8 R. arballo Dto. Matemátca Alcada y.. 5 5
El crtero de actuacón ara escoer el clasfcador odrá ser mamzar la sensbldad, mnmzar el rtmo de falsas alarmas, o un equlbro entre esas dos cantdades. R. arballo Dto. Matemátca Alcada y.. 5 6