meáno supersao Aprenzae eáno Supersao y Clasfaón Téna para generar funones a partr e eemplos e entrenamento Depeneno el output arables ontnuas (regresón etquetas e lases ( pasos para meáno supersao e ígtos manusrtos etermnar el tpo e eemplos tpo e atos a utlzar omplar un onunto e eemplos araterzaón el uso real e la funón seleonar araterístas (features que esrban al obeto urse of mensonalty ruo etermnar la estrutura e la funón rees neuronales árboles e esón auste e parámetros reonomento e expresones faales spam fuente
e oumentos Asgnar un oumento a una o más ategorías basánose en su onteno Clasfaores rees neuronales support etor mane programaón genéta lasfaores bayesanos e oneptos bayesano Dao Un onunto e nstanas X Un onepto a aprener : X {0,} Eemplos e entrenamento D x,(x x m,(x m Conunto e posbles pótess H Tarea generar pótess o estmar,.e., enontrar tal que (x(x x X Caa eemplo obserao puee aumentar o smnur la probabla estmaa sobre la orrettu e la pótess Conomento preo. Caa anato a pótess. Dstrbuón probablísta e aa pótess sobre los atos obseraos Las preones son probablístas Las preones e múltples pótess pueen ser ombnaas bayesano: panorama general teorema e Bayes: eemplo Cuál es la pótess más probable ao el onunto e entrenamento? Teorema e Bayes y meáno e oneptos Algortmos onsstentes e meáno Cuál es la más probable e una nuea nstana ao el onunto e entrenamento? Clasfaor e Bayes óptmo Algortmo e Gbbs Aprenzae Bayesano Naïe Eemplo: apreneno a lasfar texto Rees e reena bayesanas Se arroa un ao para etermnar e one saar una galleta A B S se obtene un o un, la galleta se toma e la aa A, e lo ontraro se toma e la aa B
teorema e Bayes teorema e bayes: eempl one D P ( D D probabla a posteror e probabla a pror e D probabla e obserar D ao que ale D probabla e obserar D S obtenemos una galleta e oolate, uál es la probabla e que proenga e la aa A? A B Busamos Caa A Coolate Sabemos Caa A /3 Coolate Caa A 3/5 Coolate 4/9 3/ 5*/ 3 Caa A Coolate / 4 4 / 5 teorema e Bayes: otro eemplo Probabla áxma a Posteror ( argmax D argmax D búsquea e por fuerza bruta espefaón e probablaes. Para aa pótess en H, alular la probabla a posteror D P ( D H. Deoler la pótess on mayor probabla a posteror argmax D 0 s sno ( x D 3
espefaón e probablaes Probabla áxma a Posteror ( H s ( x D D 0 sno VS P ( D H,D H s ( x D VSH, D 0 s no L argmax D argmax D argmax D argmax D eoluón e probablaes a posteror algortmo onsstente e meáno toa pótess onsstente on D es una pótess Un algortmo e meáno es onsstente s euele una pótess que no omente error alguno sobre los eemplos e entrenamento Too algortmo e onsstente euele una pótess s se umple: strbuón unforme sobre H atos e entrenamento etermnstas y lbres e ruo lasfaor e Bayes óptmo lasfaor e Bayes óptmo: eemplo Suposón: la más probable e una nuea nstana se obtene ombnano la preón e toas las pótess, austaas por su probabla a posteror argmax V óne V es un onunto e lasfaones posbles Conseremos tres pótess:, y 3. P 0.4 0.3 0. 3 ( 3 Una nuea nstana x es lasfaa posta meante y negata meante y 3. + + 0 + 3 0 0 3 4
lasfaor e Bayes óptmo: eemplo (nt algortmo e Gbbs De auero al lasfaor e Bayes óptmo argmax one V por lo tanto argmax 0.6 + 0.4 { +, }. Elegr una pótess e manera aleatora e auero a la strbuón a posteror sobre H. Usar para preer la e la próxma nstana e x lasfaor bayesano naïe lasfaor bayesano naïe Clasfar una nuea nstana esrpta meante la tupla e atrbutos on los sguentes alores a a K, a n argmax a, a Kan V a, a Kan argmax V a, a Ka argmax a, a Ka V n n S los alores e los atrbutos son ononalmente nepenentes, entones argmax a NB V Propeaes Las probablaes pueen ser fálmente estmaas Iénta a la s ale la suposón e nepenena ononal No ebe realzarse una búsquea explíta sobre el espao e posbles pótess estmaón e probablaes apreneno a lasfar texto eemplos one ale onteneno a n a eemplos one ale n Problema Cuano un atrbuto aparee muy poas ees, es posble tener n 0. Soluón: usar una m-estmaón n + n +mp m p estmaón a pror e la probabla a ser alulaa m tamaño e muestra equalente X toos los posbles oumentos e texto eemplos e entrenamento proenentes e una funón obeto f f toma alores el subonunto V e X y los mapea a posto o negato (eemplo: oumentos nteresantes/no nteresantes Obeto: aprener a partr e estos eemplo para preer nueos asos 5
apreneno a lasfar texto apreneno a lasfar texto Cuestones e seño: representaón e un oumento e texto omo alores e atrbuto a, a Ka n obtenón e probablaes P ( a para aplar el lasfaor bayesano NB argmax V a Representaón el texto e un oumento arbtraro en térmno e sus alores e atrbuto atrbutos: posones en el texto alores: palabras. a representaón a el a 3 texto... apreneno a lasfar texto e texto Clasfaón bayesana e texto NB argmax V a argmax a "aaa" L a V Problemas: suposón e nepenena posón e la palabra en el texto n "zzz" Extraer Voabularo a partr e toos los oumentos Calular y w k Para aa en V os oumentos on lase os Eemplos Text oumento nual on os n núm. total posones e palabras en Text por aa w k en Voabularo n k número e aparones e w k entext nk + wk n+ Voabularo e texto Nearest Negbor lassfers posones toas las posones e palabras en el oumento atual que se enuentran en Voabularo Intuón: oumentos smlares eberían asgnarse a la msma lase. t Deoler NB, one V argmax a NB posones moelo e espao etoral smlara por oseno α t3 t σ (, os( α 6
Nearest Negbor lassfers lasfaor basao en ángulo Entrenamento representar aa oumento omo un etor reorar su lase Clasfaor Reuperar oumentos on un ángulo espefo la lase on mayor número e oumentos gana Reuperar los k oumentos más smlares al oumento nueo la lase on mayor número e oumentos gana Alternata: pesar los oumentos para er? α A : Clase (, α α { lase σ (, os( α } k k lasfaor basao en k enos más próxmos lasfaor basao en pesos 6 4? 3 8? 7 5 9 A : Clase (, k k { lase entre los k enos más próxmos a } l l A WV : Clase ( p k lase σ (, k lase seleón e araterístas releantes seleón e araterístas releantes Reorano TFIDF freq f max freq f log N n w f f freq es la freuena el térmno k en el oumento f es la freuena normalzaa el térmno k en el oumento (el máxmo se obtene sobre los térmnos el oumento, N es el total e oumentos e una oleón, n son los oumentos en los que aparee el térmno k. f es la freuena e oumento nersa Problemas on TF-IDF realzao para el orpus ompleto no se onseran orrelaones y freuenas a traés e lases los térmnos que apareen on mayor freuena relata en ertas lases eberían tener mayor mportana poa freuena a traés el orpus ompleto no es tan mportante. 7
seleón e araterístas releantes seleón e araterístas: algortmo Greey seleón perfeta rga a la meta elegr toos los posbles subonuntos e araterístas por aa subonunto entrenar y ealuar al lasfaor quearse on el meor subonunto omputaonalmente ntratable!. Por aa térmno omputar una mea e srmnaón entre lases.. Orenar térmnos en oren ereente basaos en tal mea. 3. Conserar los meores térmnos (araterístas para ser usaos por el lasfaor. meas e srmnaón alaón Depene e moelo e oumentos eloa para entrenamento fala e atualzaón Eemplos Test χ Informaón mutua Íne e srmnaón e Fser (er Cakrabart 5.5 Heurísta e búsquea smple: agregar araterístas (una a la ez asta que ya no se obseren meoras Ealuaón e lasfaores ealuaón Reuters 0700 oumentos etquetaos 0% on etquetas múltples OHSUED 348566 abstrats sobre restas e mena 0NG 8800 mensaes e USENET etquetaos 0 lases a nel e oa, 5 a nel e raíz WebKB 8300 en 7 ategorías. Inustry 0000 págnas e 05 setores nustrales Posbles asos Caa oumento está asoao on exatamente una lase. Caa oumento está asoao on un subonunto e lases. atrz e onfusón ( Apta para más e os lases [; ] : número e oumentos e prueba perteneentes a la lase que fueron asgnaos a la lase Clasfaor perfeto: [;] > 0 sss 8
ealuaón ealuaón basaas en la matrz e ontngena Por aa oumento, rear un onunto e lases postas ( C y negatas ( C (eemplo eportes y no eportes Presón y obertura matrz e ontngena para aa par (, [0,0] { C y lasfaor euele}, [0,] { C y lasfaor no euele}, [,0] { C y lasfaor euele}, [,] { C y lasfaor no euele}, mro promeaa maro promeaa,, presón y obertura (mro promeao [0,0] ( preson [0,0] + [,0] presón y obertura (maro promeao [0,0] ( preson [0,0] + [,0] C, [0,0] ( reall [0,0] + [0,] [0,0] ( reall [0,0] + [0,] ealuaón el lasfaor Trae-off presón obertura Grafar presón s. reall: uanto meor el lasfaor, más alta la ura mea armóna : esartar lasfaores que sarfquen una mea para faoreer otra obertura presón F obertura + presón 9