Extracción Automática de Conocimiento en Bases de Datos e Ingeniería del Software T.1 INTRODUCCIÓN. José Hernández Orallo

Transcripción

1 Extraccón Automátca de Conocmento en Bases de Datos e Ingenería del Software T. INTRODUCCIÓN José Hernández Orallo Máster en Ingenería del Software, Métodos Formales y Sstemas de Informacón.

2 Objetvos Presentar el problema del análss ntelgente y automátco de la nformacón para el descubrmento de conocmento útl. Presentar las técncas de aprendzaje automátco más habtuales y conocer la donedad de cada una para dferentes problemas, con especal nterés en aquellas que generan modelos en formas de reglas o de patrones comprensbles. Conocer la representacón de conocmento en árboles de decsón y su flexbldad. Reconocer la exstenca de técncas nductvas de alto nvel, especalmente declaratvas, que permten obtener modelos complejos (relaconales y/o recursvos) pero comprensbles, a partr de los datos y del conocmento prevo.

3 Temaro. Introduccón... El Problema de la Extraccón Automátca de Conocmento... Relacón de Tareas y Técncas.3. Modelos declaratvos: árboles y reglas.4. El caso de la Mnería de Datos 3

4 .. El Problema de la Extraccón Automátca de Conocmento... Relacón de Tareas y Técncas.3. Técncas que generan modelos comprensbles: árboles de decsón y sstemas de reglas.4. El caso de la Mnería de Datos 4

5 El Problema de la Extraccón Automátca de Conocmento L E: EVIDENCIA / f: target B: CONOCIMIENTO PREVIO L OBSERVACIONES L3 Aprendzaje Automátco h:hpótess L4 I: INTENCIÓN y crteros de seleccón T:CONOCIMIENTO ADQUIRIDO L5 5

6 El Problema de la Extraccón Automátca de Conocmento Termnología: E: Evdenca, Observacones, Ejemplos, Casos, Datos. B: Conocmento Prevo o de Base, (Background Knowledge). h: Hpótess, H (L4): espaco de hpótess. T: Teoría, Modelo o Conocmento Adqurdo. I: Intencón, nterés, objetvo o expectatvas del aprendzaje. f: Teoría o funcón objetvo (Target): Teoría o funcón a aprender 6

7 El Problema de la Extraccón Automátca de Conocmento Aspectos Fundamentales: Qué dferencas hay entre nformacón, datos y conocmento? Qué es aprendzaje? Cómo se representa evdenca, conocmento prevo, ntencones, hpótess y conocmento adqurdo (L, L, L3, L4 y L5)? Cómo se presentan la evdenca y el conocmento prevo? Cómo se valdan/descartan las hpótess para conformar el conocmento adqurdo? Qué esfuerzo computaconal se requere? 7

8 El Problema de la Extraccón Automátca de Conocmento Qué dferencas hay entre nformacón, datos y conocmento? Generalmente nformacón se pueden referr a cualquer cosa. Generalmente, datos suele referr a la evdenca. Conocmento es subjetvo: depende de las ntencones (objetvo del aprendzaje). debe ser ntelgble para el que aprende o el que encarga el aprendzaje (usuaro). 8

9 El Problema de la Extraccón Automátca de Conocmento Qué es aprendzaje? (vsón genérca, Mtchell 997) es mejorar el comportamento a partr de la experenca. Aprendzaje = Intelgenca. (vsón más estátca) es la dentfcacón de patrones, de regulardades, exstentes en la evdenca. (vsón externa) es la predccón de observacones futuras con plausbldad. (vsón teórco-nformaconal, Solomonoff 966) es elmnacón de redundanca = compresón de nformacón. 9

10 El Problema de la Extraccón Automátca de Conocmento Cómo se representan evdenca, conocmento prevo, ntencones, hpótess y conocmento adqurdo (L, L, L3, L4 y L5)? Generalmente se usan dstntos lenguajes: La evdenca se suele representar extensonalmente (ejemplos postvos y/o negatvos). El conocmento prevo y el conocmento adqurdo suelen tener el msmo lenguaje de representacón. Las ntencones se suelen representar en un metalenguaje o no se representan, mplíctas en el algortmo de aprendzaje. Gran varedad en la representacón de hpótess. 0

11 El Problema de la Extraccón Automátca de Conocmento Cómo se presentan la evdenca y el conocmento prevo? No-ncremental: todos los datos se presentan de golpe, todos. Ejemplo: modelos de concesón de crédto, estudos clíncos, Incremental: los datos se presentan poco a poco. No nteractvo: No se puede actuar sobre la evdenca a recbr. Ejemplo: predccón meteorológca, en bolsa, Interactvo: Se puede actuar sobre la evdenca a recbr. Preguntas a un profesor (query-learnng). Ejemplo: aprendzaje asstdo por la web Interaccón con un oráculo (la realdad). Ejemplo: aprendzaje de robots

12 El Problema de la Extraccón Automátca de Conocmento Cómo se valdan/descartan las hpótess para conformar el conocmento adqurdo? Prncpo ( escándalo ) de la Induccón: las hpótess pueden ser refutadas, pero nunca confrmadas. Y para las que todavía no han sdo refutadas, cuál elegmos? Necesdad de crteros de seleccón: smplcdad, refuerzo,... Exstenca de métodos de valdacón: estadístcos, cross-valdaton, nformaconales,... Cuánto afecta a la plausbldad el número de ejemplos? Las cosas son más complejas cuando hay presenca de rudo.

13 El Problema de la Extraccón Automátca de Conocmento Qué esfuerzo computaconal se requere? De qué depende? Número y separabldad de ejemplos, espaco de hpótess, conocmento prevo, nvel de error permtdo,... (Computatonal Learnng Theory, COLT). Cuanto más expresvos son L-L5, más dfícl computaconalmente es el problema de aprendzaje. Para lenguajes unversales, el problema de aprendzaje como compresón no es sólo ntratable, sno no computable s el objetvo es la máxma compresón. Qué conceptos se pueden aprender efcentemente (.e. en tempo polnomal)? PAC learnng 3

14 .. Relacón de Tareas y Técncas.3. Técncas que generan modelos comprensbles: árboles de decsón y sstemas de reglas.4. El caso de la Mnería de Datos 4

15 Tareas y Técncas Vsta de pájaro sobre dferentes tareas y técncas. Más nformacón en la bblografía En asgnaturas de la ETSINF (II). y de los másters del DSIC: Almacenes y mnería de datos (II, este máster) Aprendzaje automátco (II, máster IARFID) Aprendzaje y percepcón (II, máster IARFID) Aprendzaje y generalzacón (máster IARFID) Clasfcacón basada en prototpos (máster IARFID) Introduccón a la computacón neuronal (II, máster IARFID) Redes neuronales (máster IARFID) 5

16 Tareas de aprendzaje Asocacones y dependencas (análss exploratoro): Una asocacón entre dos atrbutos categórcos ocurre cuando la frecuenca de que se den dos valores determnados de cada uno conjuntamente es relatvamente alta. Ejemplo, en un sto web se analza s las vstas a una págna X y las vstas a otra págna Y se realzan conjuntamente. Correlacones: Las correlacones analzan las relacones bvarantes o multvarantes entre atrbutos numércos. Ejemplo: analzar la relacón entre el número de llamadas mensuales y el mporte total de las ventas mensuales. La búsqueda de asocacones y dependencas, junto con los análss correlaconales se conoce a veces como análss exploratoro. 6

17 Tareas de aprendzaje Tpos de conocmento (cont.): Agrupamento / Segmentacón / Sumarzacón: El agrupamento (o clusterng) es la deteccón de grupos de ndvduos. Se dferenca de la clasfcacón en el que no se conocen n las clases n su número (aprendzaje no supervsado), con lo que el objetvo es determnar grupos o racmos (clusters) dferencados del resto. Ejemplo: determnar qué tpos de clentes tengo atendendo a sus patrones de compra. 7

18 Tareas de aprendzaje Tpos de conocmento (cont.): Clasfcacón: Una clasfcacón se puede ver como el esclarecmento de una dependenca, en la que el atrbuto dependente puede tomar un valor entre varas clases, ya conocdas. Ejemplo: obtener para qué pacentes una operacón de crugía ocular es satsfactora según los atrbutos edad, número de mopías y astgmatsmo 8

19 Tareas de aprendzaje Tpos de conocmento (cont.): Tendencas/Estmacón/Regresón: El objetvo es predecr los valores de una varable contnua a partr de la evolucón sobre otra varable contnua, generalmente el tempo. Ejemplo, se ntenta predecr el número de clentes o pacentes, los ngresos, llamadas, conexones, fallos, ganancas, costes, etc. a partr de los resultados de semanas, meses o años anterores. 9

20 Tareas de aprendzaje (resumen) Tpos de conocmento / Tareas (RESUMEN): DESCRIPTIVOS (nngún atrbuto de salda): RELACIÓN ENTRE VARIABLES (ATRIBUTOS): Asocacones y dependencas (s las varables son categórcas): Correlacones (s las varables son numércas). RELACIÓN ENTRE INDIVIDUOS (EJEMPLOS) Agrupamento PREDICTIVOS (un atrbuto de salda): Clasfcacón (s la varable de salda es categórca) Regresón (s la varable de salda es numérca) 0

21 Técncas de Aprendzaje Automátco Flexbldad debdo a la presentacón del problema: muchas técncas de supervsado se han adaptado a no supervsado (y vceversa). TÉCNICA Redes Neuronales Árboles de Decsón Kohonen Regresón lneal (local, global), exp.. Reg. Logístca Kmeans * A Pror (asocacones) Estudos Factorales, análss multvarante CN K-NN RBF Bayes Classfers PREDICTIVO / SUPERVISADO Clasfcacón Regresón Clusterng (agrup.) * (c4.5) (CART) DESCRIPTIVO / NO SUPERVISADO Reglas asocacón Otros (factorales, correl, dspersón)

22 Regresón Regresón Lneal Global. Se buscan los coefcentes de una funcón lneal f ˆ( x) w w x... 0 w n x n Una manera fácl (s es lneal smple, sólo dos dmensones x e y): n w w 0 n xy obtenendo y = w 0 + w x x x Error típco de una regresón lneal smple: x y y n x x x x xy E tpco n( n ) n y y n n xy x x x y

23 Regresón Regresón Lneal Global por Gradent Descent. Una manera usual es utlzando gradent descent. Se ntenta mnmzar la suma de cuadrados: E x D( f ( x) fˆ( x)) Dervando, w r ( f ( x) fˆ( x)) x j x D j Iteratvamente se van ajustando los coefcentes y reducendo el error. 3

24 Regresón Regresón No Lneal. Estmacón Logarítmca (se susttuye la funcón a obtener por y=ln(f)): y w0 w x... w m x m Se hace regresón lneal para calcular los coefcentes y a la hora de predecr se calcula la f = e y. Regresón Logístca. (varacón que se usa para clasfcacón entre 0 y usando la f= ln(p/(-p))) Pck and Mx - Superchargng Se añaden dmensones, combnando las dadas. P.ej. s tenemos cuatro dmensones: x, x, x 3 (además de y) podemos defnr x 4 = x x, x 5 = x 3, x 6 = x x y obtener una funcón lneal de x, x, x 3, x 4, x 5, x 6 4

25 Regresón Regresón Lneal Ponderada Localmente. La funcón lneal se aproxma para cada punto x q a nterpolar: f ˆ( x) w w x... 0 w m x m Se ntenta mnmzar la suma de cuadrados de los k más cercanos E ( f ( x) fˆ( x)) K( d( xq, x)) x {losk puntosmáscercanos} donde d(, ) es una dstanca y K es una funcón que dsmnuye con la dstanca (una funcón Kernel), p.ej. /d Gradent Descent: w j r x ( f ( x) {losk puntosmáscercanos}?? fˆ( x)) K( d( x q?, x)) x A mayor k más global, a menor k más local (pero ojo con el overfttng) j 5

26 Regresón Regresón Adaptatva: Son casos partculares de regresón local, en el que se supone un orden y se utlza preferentemente para predecr futuros valores de una sere: Muy utlzada en compresón de sondo y de vídeo, en redes, etc. (se predcen las sguentes tramas) Algortmos mucho más sofstcados (cadenas de Markov, VQ) Algortmo MARS (Multple Adaptve Regresson Splnes) (Fredman 99). Seres temporales: ARIMA, MARIMA, ARCH, MARCH, 6

27 Aprendzaje Supervsado Case-Based Reasonng (CBR) y k-nn (Nearest Neghbour): Se basa en la ntucón de que datos smlares tendrán clases smlares. Cómo se mde la smltud? DISTANCIA nversa a SIMILITUD. Los métodos de smltud (o de dstanca) se basan en almacenar los ejemplos vstos, y calcular la smltud/dstanca del nuevo caso con el resto de ejemplos. 7

28 Aprendzaje Supervsado Case-based Reasonng (CBR) y k-nn (Nearest Neghbour): Muchísmas formas de calcular la dstanca: Dstanca Euclídea: Dstanca de Manhattan: Dstanca de Chebychev: n x y Dstanca del coseno: cada ejemplo es un vector y la dstanca es el coseno del ángulo que forman Dstancas por Dferenca: ejemplo: f x=y then D=0 else D= Dstanca de Edcón: Dstancas Específcas: para los ejemplos complejos de CBR. n max.. x y n x y Valores Contnuos (convenente normalzar entre 0- antes) Valores Contnuos. No es necesaro normalzar Valores Dscretos 8

29 Aprendzaje Supervsado k-nn (Nearest Neghbour):. Se mran los k casos más cercanos.. S todos son de la msma clase, el nuevo caso se clasfca en esa clase. 3. S no, se calcula la dstanca meda por clase o se asgna a la clase con más elementos.? Clasfca? círculo Clasfca cuadrado -nearest neghbor 7-nearest neghbor PARTICIÓN DEL -nearest neghbor (Polédrca o de Vorono) El valor de k se suele determnar heurístcamente, aunque k= n, 9 donde n es el número de ejemplos, es una opcón con base teórca

30 Aprendzaje Supervsado k-nn (Nearest Neghbour). Mejora (ponderar más los más cercanos): ( c donde: j, xq) { x : x c j} krnl krnl d( xq, x ) Se calcula la fuerza de atraccón de cada clase c j para el nuevo punto x q. Y se elge la clase que más atrae. (S el punto x q concde con un punto x, la clase es la de x ) (S el punto x q concde con más de un punto x, se procede de la forma anteror) Para valores contnuos (srve para nterpolar): S la clase es un valor real, el k-nn es fáclmente adaptable: Atraccón fˆ( x q ) k krnl k donde los x son los k vecnos más próxmos y f( ) es la funcón 30 que da el valor real de cada uno. krnl f ( x )

31 Aprendzaje Supervsado Perceptron Learnng (McCulloch & Ptts 943, Wdrow & Hoff 960, Rosenblatt 96). Saldas y y y3 W, W, W, W, W3, W3, W5,3 W4, W4, W5, Entradas W,3 W,3 W3,3 W4,3 W5, x x x3 x4 x5 Computan una funcón lneal para cada y j es: n Se añade un threshold escalón: y' w x j, j PARTICIÓN LINEAL POSIBLE PARTICIÓN LINEAL IMPOSIBLE output sgn( x) j sgn( y' s x j ) 0 s no 3

32 3 Gradent Descent (formul. para una sola salda): El error de Least Mean Squares de los p ejemplos se defne como: S queremos dsmnur el error poco a poco. El gradente es la dervada por cada componente del vector. Queda: Aprendzaje Supervsado p k k k p k k y y e w E :.. :.. ) ' ( ) ( ( ) p k k k k p k k k e x x y y w :..,, :.. ) ' ( ) )( ' ( ) ( ) ' ( ) ' ( ) ' ( ) ' ( ) ' (, :.. :.. :.. :.. :.. k p k k k k k p k k k k k p k k k p k k k p k k k x y y w x y w y y y y w y y y y w y y w w E W Salda Entradas W W3 x x x3 y

33 Aprendzaje Supervsado Perceptron Learnng (Gradent Descent). El algortmo Gradent Descent ajusta así:. Se asgna a los w,j un valor pequeño aleatoro entre 0 y.. Hasta que la condcón de termnacón se cumple, hacer: 3. Para todos los p ejemplos (x k,y k ) t se calcula la matrz de error (e t k = y t k y t k) 4. Se recalculan los pesos sguendo Least-Mean Squares (LMS), con un learnng rate (r): t t t t w w r x e, j, j, k k:.. p 5. t:= t+, r a. r es un valor generalmente pequeño (0.05) y se determna heurístcamente. A mayor r converge más rápdo pero puede perderse en valles locales. j, k 33

34 Aprendzaje Supervsado Perceptron Learnng: El algortmo Perceptron (versón ncremental o aproxmacón estocástca al gradent descent):. Se asgnan aleatoramente los w,j entre 0 y (o se pone.5). t= (se toma el prmer ejemplo). 3. Para el ejemplo (x,y) t se calcula el vector error (e t =y t -y t ) 4. Se recalculan los pesos sguendo Least-Mean Squares (LMS), tambén llamada regla delta, Adalne o Wdrow-Hoff: w w r x e t, j 5. t:= t+, r a hasta que no queden ejemplos o el error medo se ha reducdo a un valor deseado. En general, esta versón es más efcente que la anteror y evta algunos 34 mínmos locales. t, j t t j

35 Aprendzaje Supervsado Multlayer Perceptron (redes neuronales artfcales, ANN). El perceptron de una capa no es capaz de aprender las funcones más sencllas. Se añaden capas nternas, se ntroducen dferentes funcones de actvacón e ncluso recentemente se ntroducen bucles y retardos. Saldas y y y3 Hdden Layer h, h, h,3 h,4 h,5 Entradas x x x3 x4 35

36 Aprendzaje Supervsado Multlayer Perceptron (redes neuronales artfcales, ANN). En el caso más sencllo, con la funcón de actvacón sgn, el número de undades nternas k defne exactamente el número de boundares que la funcón global puede calcular por cada salda. PARTICIÓN POLIGONAL POSIBLE CON 4 UNIDADES INTERNAS El valor de k se suele determnar heurístcamente. Pero, cómo entrenar este tpo de red? 36

37 Aprendzaje Supervsado Multlayer Perceptron (redes neuronales artfcales, ANN). Para poder extender el gradent descent necestamos una funcón de actvacón contnua: La más usual es la funcón sgmodal: σ ( x) x e Esto permte partcones no lneales: PARTICIÓN NO LINEAL MÚLTIPLE POSIBLE CON 4 UNIDADES INTERNAS 37

38 Aprendzaje Supervsado Algortmo Backpropagaton (Rumelhart et al. 986) Incalzar todos los pesos a valores pequeños aleatoros (entre -.05 y.05) Hasta que se cumpla la condcón de termnacón hacer: Para cada ejemplo (x,y): Se calculan las saldas de todas las undades o u Se calcula el error en cada salda k: δ k ok ( ok )( yk ok ) Para cada undad oculta h se calcula su error: δ o δ ) Se actualzan los pesos: h h( oh ) ( wk, h k outputs w j, wj, r δ j x j, k Se necestan muchos ejemplos: al menos 0 ejemplos por cada peso y output a aprender. P.ej, una red con 50 entradas y 0 nodos nternos, necesta 0.0 ejemplos por lo menos. 38

39 Aprendzaje Supervsado Varacones: S hay más de una capa oculta: δ h o h ( o h ) k outputs_ of ( wk, h δk ) _ next_ layer S la red es no recursva, pero no está organzada en capas (se trata de cualquer árbol acíclco), tambén se puede: δ h o h ( o h ) k ( wk, h δk ) downstream( h) Exste una varante que va añadendo capas según se necestan, denomnado cascade-correlaton (Fahlman and Lebere 990), resolvendo el problema de determnar el número de undades ocultas. 39

40 Aprendzaje Supervsado Radal-Bass Functon (Clusterng Method + LMS). PRIMER PASO: Algortmo Clusterng:. Dvdr aleatoramente los ejemplos en k conjuntos y calcular la meda (el punto medo) de cada conjunto.. Reasgnar cada ejemplo al cjto. con punto medo más cercano. 3. Calcular los puntos medos de los k conjuntos. 4. Repetr los pasos y 3 hasta que los conjuntos no varíen. SEGUNDO PASO: Recodfcar los ejemplos como dstancas a los centros y normalzar (cada ejemplo pasa a ser un vector de k eltos). TERCER PASO: Con un perceptron de k elementos de entrada y una salda, aplcar el algortmo vsto antes. PARTICIÓN HIPERESFÉRICA CON 4 centros. Se converte en una partcón lneal (hperplano) en un espaco de 4 dmensones con los ejemplos sendo las dstancas a los centros. 40

41 Aprendzaje Supervsado Máqunas de vectores soporte (métodos basados en núcleo). Se basan en un clasfcador lneal muy sencllo (el que maxmza la dstanca de los tres ejemplos (vectores) soporte), preceddo de una transformacón de espaco (a través de un núcleo) para darle potenca expresva. El clasfcador lneal que se usa smplemente saca la línea (en más dmensones, el hperplano) que dvda lmpamente las dos clases y además que los tres ejemplos más próxmos a la frontera estén lo más dstantes posbles. Separa perfectamente, pero los tres ejemplos más cercanos (vectores soporte) están muy cerca de la frontera. Separa perfectamente, pero además los ejemplos más cercanos (vectores soporte) están lo más lejos posble de la frontera. 4

42 Aprendzaje Supervsado Máqunas de vectores soporte (métodos basados en núcleo). Son efcentes (ncluso para centos de dmensones), pues el separador lneal sólo tene que mrar unos pocos puntos (vectores soporte) y puede descartar muchos que estarán lejos de la frontera. Pero qué ocurre s los datos no son separables lnealmente? Se aplca una funcón núcleo ( kernel ) que suele aumentar el número de dmensones de tal manera que los datos sean separables. 4

43 Aprendzaje Supervsado Árboles de Decsón (ID3 (Qunlan), C4.5 (Qunlan), CART (Breman)). Algortmo Dvde y Vencerás:. Se crea un nodo raíz con S:= todos los ejemplos.. S todos los elementos de S son de la msma clase, el subárbol se cerra. Solucón encontrada. 3. Se elge una condcón de partcón sguendo un crtero de partcón (splt crteron). 4. El problema (y S) queda subdvdo en dos subárboles (los que cumplen la condcón y los que no) y se vuelve a para cada uno de los dos subárboles. X> X>0.5 X>0.66 X>0.75 Y>0.5 Y>0.6 PARTICIÓN CUADRICULAR. No No No X>0.75 Sí Y>0.5 Sí No Sí X>0.66 No Sí Y>0.6 Sí 43

44 Aprendzaje Supervsado Árboles de Decsón. Ejemplo C4.5 con datos dscretos: Example Sky Temperature Humdty Wnd PlayTenns Sunny Hot Hgh Weak No Sunny Hot Hgh Strong No 3 Overcast Hot Hgh Weak Yes 4 Ran Mld Hgh Weak Yes 5 Ran Cool Normal Weak Yes 6 Ran Cool Normal Strong No 7 Overcast Cool Normal Strong Yes 8 Sunny Mld Hgh Weak No 9 Sunny Cool Normal Weak Yes 0 Ran Mld Normal Weak Yes Sunny Mld Normal Strong Yes Overcast Mld Hgh Strong Yes 3 Overcast Hot Normal Weak Yes 4 Ran Mld Hgh Strong No 44

45 Aprendzaje Supervsado Árboles de Decsón. Ejemplo C4.5 con datos dscretos: Outlook? Sunny Humdty? Overcast YES Ran Wnd? Hgh Normal Strong Weak NO YES NO YES Representacón Lógca: (Outlook=Sunny AND Humdty=Normal) OR (Outlook=Overcast) OR (Outlook=Ran AND Wnd=Weak) P.ej., la nstanca (Outlook = sunny, Temperature = cool, Humdty = hgh, Wnd = strong) es 45 NO.

46 Aprendzaje Supervsado Árboles de Decsón (ID3, C4.5, CART). El crtero GANANCIA DE INFORMACIÓN (C4.5) ha dado muy buenos resultados. Suele dervar en una preferenca en árboles pequeños (navaja de Occam). VENTAJAS: Muy fácl de entender y de vsualzar el resultado. Son robustos al rudo. Exsten algortmos de post-prunng para podar hojas poco sgnfcatvas (que sólo cubren uno o muy pocos ejemplos). DESVENTAJAS: Suele ser muy voraz (no hace backtrackng: mínmos locales). S el crtero de partcón no está ben elegdo, las partcones suelen ser muy ad-hoc y generalzan poco. 46

47 P( nt) P( nt) Nave Bayes Classfers. arg max P( c ( x arg max P(( x Aprendzaje Supervsado, x, x,...,,..., Asumendo ndependenca entre los atrbutos, tenemos: V c NB C c C arg max P( c ) c C /3 3/3 4/3 3/3 /3 3/0 /0 /0 3/0 3/0 j x x m m )) ) c P( x P(nt ) P(nt ) j Bayes ) P( c c ) arg max ) c C P(( x, x,..., xm) c P( x, x,..., x ) P( c ) ) S estos x j son contnuos podemos dscretzar en ntervalos y calcular P(c t k <x j t k+ ) (cuanto más fnos, más costoso será el algortmo) m 4/0 0 /0 4/3 /0 5/3 /0 /3 /0 / ? 0.4 P( ) = P( ) P(0.<x<=0.4 ) P(0.4<y<=0.6 )= PARTICIÓN CUADRICULAR (ntervalo fjo, 0.). P( )=0/3= P( )=3/3= 0.565?? = /0 /0 = P( ) = P( ) P(0.<x<=0.4 ) P(0.4<y<=0.6 )= = /3 5/3 =

48 Aprendzaje Supervsado Nave Bayes Classfers. Otra manera es hacer los ntervalos contnuos y calcular la frecuenca acumulada f(c x j t). Tenemos f(c s<x j t) = f(c x j t) f(c x j s). Se puede fjar un rado r. O podemos utlzar una funcón de densdad p( x ) lm P( x0 x x0 ε ε 0 ε Así las partcones son más ajustadas. En el últmo caso (funcón de densdad), a partr del Maxmum Lkelhood obtendríamos la hpótess Least-Squared Error: ) h ML arg max p( D h) h donde d representa el dato. H... arg mn h H :.. m ( d h( x )) 48

49 Aprendzaje Supervsado Nave Bayes Classfers. Se utlzan más con varables dscretas. Ejemplo del playtenns: Queremos clasfcar una nueva nstanca: (Outlook = sunny, Temperature = cool, Humdty = hgh, Wnd = strong) V NB arg max P( c arg max P( c c c { yes, no} { yes, no} ) P( Outlook P( Humdty Estmando las 0 probabldades necesaras: P(Playtenns=yes)=9/4=.64, ) j P( x sunny c hgh c ) P( Temperature ) P( Wnd P(Playtenns=no)=5/4=.36 P(Wnd=strong Playtenns=yes)=3/9=.33 P(Wnd=strong Playtenns=no)=3/5= Tenemos que: P(yes)P(sunny yes)p(cool yes)p(hgh yes)p(strong yes)= P(no)P(sunny no)p(cool no)p(hgh no)p(strong no)=0.06 j c ) strong c cool c ) ) 49

50 Aprendzaje Supervsado Nave Bayes Classfers. m-estmate. Generalmente, s hay pocos datos, es posble que alguna probabldad condconal sea 0 (p.ej. P(water=cool enjoysport=no)), porque no ha aparecdo un determnado valor de un atrbuto para una certa clase. Para evtar este problema se utlza un m-estmado de la probabldad: n c mp n m donde n son los casos de la clase consderada, n c son los casos de esta clase en los que el atrbuto consderado toma un certo valor, m es una constante denomnada tamaño equvalente de muestra y p es la probabldad de cada atrbuto a pror. Generalmente p se escoge unformemente, es decr, s hay k atrbutos posbles, p = /k. El valor de m se escoge lo más pequeño posble ( a 0) para no nterferr en la proporcón observada (n 50 c /n).

51 Aprendzaje No Supervsado Correlacón y Asocacones: Coefcente de correlacón: donde Cor( x, Cov( x, y) y) Cov( x, n x n Asocacones (cuando los atrbutos son dscretos). Ejemplo: tabaqusmo y alcoholsmo están asocados. y y) ( x )( y x Dependencas funconales: asocacón undrecconal. Ejemplo: el nvel de resgo de enfermedades cardovasculares depende del tabaqusmo y alcoholsmo (entre otras cosas). y ) 5

52 Aprendzaje No Supervsado Clusterng (Segmentacón): Se trata de buscar agrupamentos naturales en un conjunto de datos tal que tengan semejanzas. Métodos de Agrupamento: Jerárqucos: los datos se agrupan de manera arborescente (p.ej. el reno anmal). No jerárqucos: generar partcones a un nvel. (a) Paramétrcos: se asume que las densdades condconales de los grupos tenen certa forma paramétrca conocda (p.ej. Gaussana), y se reduce a estmar los parámetros. (b) No paramétrcos: no asumen nada sobre el modo en el que se agrupan los objetos. S el modelo resultante es en forma de patrones se llama conceptual clusterng. 5

53 Aprendzaje No Supervsado Clusterng (Segmentacón). Métodos jerárqucos: Un método sencllo consste en r separando ndvduos según su dstanca (en concreto meddas dervadas de enlazado, lnkage) e r aumentando el límte de dstanca para hacer grupos. Esto nos da dferentes agrupacones a dstntos nveles, de una manera jerárquca. Se denomna Dendograma o Herarchcal Tree Plot: 53

54 Aprendzaje No Supervsado Clusterng (Segmentacón). Métodos jerárqucos: Mnmal Spannng Tree Clusterng Algorthm Algortmo (dado un número de clusters deseado C). Incalmente consdera cada ejemplo como un cluster. Agrupa el par de clusters más cercanos para formar un nuevo cluster. Repte el proceso anteror hasta que el número de clusters = C. 54

55 Aprendzaje No Supervsado Clusterng (Segmentacón). Métodos paramétrcos: El algortmo EM (Expectaton Maxmzaton, Maxmum Lkelhood Estmate) (Dempster et al. 977). Gráfcas: Enrque Vdal 55

56 Aprendzaje No Supervsado Clusterng (Segmentacón). Métodos No Paramétrcos Métodos: k-nn k-means clusterng, onlne k-means clusterng, centrodes SOM (Self-Organzng Maps) o Redes Kohonen. Otros específcos: El algortmo Cobweb (Fsher 987). El algortmo AUTOCLASS (Cheeseman & Stutz 996) 56

57 Aprendzaje No Supervsado Clusterng (Segmentacón). Métodos No Paramétrcos -NN (Nearest Neghbour): Dado una sere de ejemplos en un espaco, se conecta cada punto con su punto más cercano: G G4 La conectvdad entre puntos genera los grupos. G3 G A veces hace grupos pequeños. Exsten varantes: k-nn o como el spannng tree que para de agrupar cuando llega a un número de grupos. 57

58 Aprendzaje No Supervsado k-means clusterng: Se utlza para encontrar los k puntos más densos en un conjunto arbtraro de puntos. Algortmo:. Dvdr aleatoramente los ejemplos en k conjuntos y calcular la meda (el punto medo) de cada conjunto.. Reasgnar cada ejemplo al conjunto con el punto medo más cercano. 3. Calcular los puntos medos de los k conjuntos. 4. Repetr los pasos y 3 hasta que los conjuntos no varíen. 58

59 x x x x x x x x x x x x x x x x x x x x x 3 Aprendzaje No Supervsado k-means clusterng:

60 Aprendzaje No Supervsado k-means clusterng: El valor de k se suele determnar heurístcamente. Problemas: S se sabe que hay n clases, hacer k=n puede resultar en que partes de las clases se encuentran dspersas, y el número resulta pequeño. S k se elge muy grande, la generalzacón es pobre y las clasfcacones futuras serán malas. Determnar el k deal es dfícl. 60

61 Aprendzaje No Supervsado K-means Versón ncremental. El valor de k se suele determnar heurístcamente. Problemas: S k se elge muy pequeño, hay grupos que se quedan sn centro. S k se elge muy grande, hay centros que se quedan huérfanos. Aunque esto es preferble a... Incluso con k exacto, puede haber algún centro que quede huérfano. 6

62 Aprendzaje No Supervsado Clusterng (Segmentacón). Métodos No Paramétrcos SOM (Self-Organzng Maps) o Redes Kohonen Tambén conocdos como redes de memora asocatva (Kohonen 984). La matrz de neuronas de la últma capa forma un grd bdmensonal. 6

63 Aprendzaje No Supervsado Clusterng (Segmentacón). Métodos No Paramétrcos SOM (Self-Organzng Maps) o Redes Kohonen Durante el entrenamento cada uno de los nodos de este grd compte con los demás para ganar cada uno de los ejemplos. Fnalmente los nodos fuertes (representados con colores más oscuros) ganan más ejemplos que los nodos débles. Al fnal del aprendzaje la red se establza y sólo unas pocas combnacones de pares (X,Y) obtenen regstros. Estos son los grupos formados. Tambén puede verse como una red que reduce la dmensonaldad a. Por eso es común realzar una representacón bdmensonal con el resultado de la red para buscar grupos vsualmente. 63

64 Análss Estadístcos: Aprendzaje No Supervsado Estudo de la dstrbucón de los datos. Estmacón de densdad. Deteccón datos anómalos. Análss de dspersón (p.ej. las funcones de separabldad pueden consderarse como técncas muy smples no supervsadas). Muchas veces, estos análss se pueden utlzar prevamente para determnar el método más apropado para un aprendzaje supervsado Tambén se utlzan mucho para la lmpeza y preparacón de datos para el uso de métodos supervsados. 64

65 Otras Técncas Redes bayesanas y otros métodos probablístcos Computacón Evolutva Métodos fuzzy Aprendzaje por refuerzo (teratvo) 65

66 Otras Tareas Dervadas de clasfcacón: rankng, probablty estmaton, preference learnng, quantfcaton, Dervadas de regresón: ordnal regresson Dervadas de agrupamento: subgroup dscovery 66

67 Resumen de métodos: error esperado Comparacón de accuracy (k-nn, C4.5 y CS) (de Thornton 000): Dataset (del UCI repostory) C4.5 -NN CS BC (Breast Cancer) CH (chess endgames) GL (glass) G (GL con clases y 3 combnadas, y 4 a 7 borradas) HD (heart dsease) HE (hepatts) HO (horse colc) HY (hypothyrod) IR (rs) LA (labor negotatons) LY (lymphography) MU (agarcus-lepota) SE (sck-euthyrod) SO (soybean-small) VO (house votes, 984) V (VO con physcan fee freeze borrado) Meda:

68 Resumen de métodos: expresvdad Comparacón de representacón: Perceptron / LMS Redes Neuronales Multcapa RBF C4.5/ID3/CART Nave Bayes Classfer k-nn, LVQ 68

69 Resumen de métodos: expresvdad Fawcett Gallery:

70 Resumen de métodos: expresvdad Lmtacones de los métodos Fence & Fll: Están basados en dstanca, y no capturan muchos conceptos relaconales donde la clase no depende de una proxmdad o smltud espacal o geométrca. Los más expresvos (redes neuronales, LVQ, etc) pueden capturar algunos conceptos relaconales. Incluso las ANN recursvas son un leng. unversal. PERO... Lo hacen de manera artfcosa: p.ej. la funcón pardad no queda defnda a partr del número de atrbutos con un determnado valor sno como una combnacón arbtrara de pesos. Además, la red que calcula la pardad de un número de n dígtos (entradas) no es la msma que la que lo calcula para un número de n+ dígtos (entradas). 70

71 Resumen de métodos: expresvdad La contnudad haca problemas relaconales. Ejemplo. Pardad x y z clase y z x No hay manera de hacer grupos geométrcos!!!! La pardad es un problema relaconal PURO. 7

72 Resumen de métodos: expresvdad La contnudad haca problemas relaconales. Ejemplo. (x > y) x y clase x < y x > y La funcón > es un problema relaconal IMPURO. Algún método no-relaconal puede funconar ben, pero otros no. 7

73 Resumen de métodos: expresvdad Relaconal o No? Funcones Heurístcas: Permten determnar el grado de contnudad o separabldad, consderando una medda de dstanca. S la separabldad es baja, debemos ntentar métodos no basados en dstancas. Separabldad Lneal (Mnsky and Papert 988) Problema: Muy pobre. Muchos métodos no relaconales son capaces de aprender aunque los datos no sean separables lnealmente. Separabldad Geométrca de Thornton (997) GS( f ) n eq( f ( e ), n f ( nn( e ))) donde f( ) es la funcón defnda por los datos, nn( ) es el vecno más cercano y eq(a,b) = s a=b. S no, =0. Problema: depende mucho del número de ejemplos. 73

74 Resumen de métodos: expresvdad Funcones Heurístcas. Separabldad Geométrca Radal: Porcentaje medo de los ejemplos tales que sus ejemplos próxmos en un rado r son de la msma clase. RGS ( f ) n e : dst( e, e ) j e j j r : dst( e, e n eq( f ( e ), f j ) r ( e j )) El rado a utlzar se puede calcular a partr de la densdad de los ejemplos. Tambén se puede calcular una RGS que no ncluye el propo punto. 74

75 Ejemplos: Resumen de métodos: expresvdad GS = /3 = 0.9 RGS = 8.44/3 = 0.8 GS(Pardad) = 0 GS(Mayor) = (suponendo nfntos ejemplos) 75

76 Resumen de métodos: expresvdad Los métodos proposconales no son capaces de: detectar relacones entre varos ejemplos o entre partes complejas del msmo ejemplo. aprender funcones recursvas. En qué casos es necesaro expresvdad relaconal y/o recursva? Veamos un ejemplo que sí y otro que no... 76

77 Resumen de métodos: expresvdad EJEMPLO. Aprender el concepto daughter con LINUS (Lavrac et al. 99): B= { parent(eve, sue). parent(ann, tom). parent(pat,ann). parent(tom,sue). female(ann). female(sue). female(eve). } E + = { daughter(sue,eve). daughter(ann,pat). } E = { daughter(tom,ann). daughter(eve,ann). } LINUS transforma B y E a un problema de atrbutos (proposconal): Clase Varables Atrbutos proposconales X Y fem(x) fem(y) par(x,x) par(x,y) par(y,x) par(y,y) X=Y + sue eve true true false false true false false + ann pat true false false false true false false tom ann false true false false true false false eve ann true true false false false false false Resultado del aprendzaje de atrbutos (p.ej. C4.5): class = + f (female(x) = true) (parent(y,x) = true) LINUS transforma de nuevo a Prolog: daughter(x,y) :- female(x), parent(y,x). Es smplemente un ejemplo de Pck & Mx 77

78 Resumen de métodos: expresvdad EJEMPLO. Aprender el problema no. 47 de Bongard (I.Q. tests) : E+= { shape(case, s-, trangle, small, up). shape(case, s-, crcle, large, n_a). shape(case, s-, trangle, large, up). shape(case, s-, crcle, small, n_a). shape(case, s-3, square, large, n_a). n(s-,s-). left(s-,s-). } E-= { left(s-,s-). n(s-,s-). } Podríamos transformarla a un problema de atrbutos (proposconal): caso clase shape sze conf shape sze conf n left to shape3 sze3 conf3 n 3 n 3 left to 3 left to 3 shape trangle small up crcle large - yes no trangle large up crcle small - no yes square large Problemas: Muchos atrbutos (y muchos de ellos vacíos). Ambgüedad (exsten múltples representacones para el msmo ejemplo). Una mala solucón puede depender de esta representacón. P.ej.: Clase = + f shape = trangle El aprendzaje relaconal se necesta estrctamente cuando los ejemplos conssten de un número varable de objetos y de las relacones entre estos objetos son mportantes. 78

79 Resumen de métodos: expresvdad EJEMPLOS. MEMBER: member(x,[x Z]). member(x,[y Z]):- member(x,z). RELATIVE: ancestor(x,y):- parent(x,y). ancestor(x,y):- parent(x,z), ancestor(z,y). relatve(x,y) :- ancestor(x,w), ancestor(y,w). REACH: reach(x,y):- lnk(x,y). reach(x,y):- lnk(x,z), reach(z,y). La recursvdad se requere cuando la profunddad (el nvel) de las relacones no se conoce a pror (objetos que contenen o se relaconan con un número varable de objetos). 79

80 Resumen de métodos: expresvdad Modelos Estructurales de Grammar Learnng: Aprendzaje de autómatas aceptadores de gramátcas. Gramátcas regulares estocástcas. Lenguajes probablístcos: cadenas de Markov, algortmo de Vterb Más nformacón Aprendzaje y Percepcón (semestre 4B) Aprendzaje multrelaconal: IFP (Inductve Functonal Programmng), ILP (Inductve Logc Programmng), IFLP (Inductve Functonal Logc Programmng): 80

81 Resumen de Métodos: conocmento Resumen de Métodos Con Modelo Útles para extraccón de conocmento. Sn Modelo o no ntelgble EAGER Reg. Lneal k-means. Árboles Reglas ILP, IFLP. Perceptron Learnng, ANN. Radal Bass Functons. Bayes Classfers. Métodos kernel y SVM LAZY Representables en forma de reglas Reg. Lneal Pond. Local CBR k-nn (Nearest Neghbour). 8

82 .3. Técncas que generan modelos comprensbles: árboles de decsón y sstemas de reglas.4. El caso de la Mnería de Datos 8

83 Ventajas de modelos en forma de reglas El conocmento extraído es un conjunto de reglas Comprensbldad Revsón y mantenmento más fácl (se pueden añadr, modfcar o elmnar reglas). Integracón con sstemas de reglas y sstemas expertos. Codfcacón drecta en aplcacones software. Importacón y exportacón en bases de conocmento (PMML, RuleML, etc.). Deteccón automátca de nconsstencas. Fusón con otros modelos más senclla. 83

84 Árboles de Decsón Sstemas de atrbutos o proposconales (ID3, C4.5, CART): No permten recursvdad. No permten estructura en los atrbutos. Condcones muy lmtadas. Sstemas relaconales (FOIL, FFOIL, FOIDL, IPD, TILDE): Tenen lmtacones. Necestan más preparacón en los datos. Son más lentos. 84

85 Árboles de Decsón TIPOS DE CONDICIONES: Uso de gualdades con constantes... Uso de desgualdades (< >) con constantes... Uso de comparacones (<, >) con constantes... Comparacón de varables en postvo (X=Y)... Uso de negacón (o operador < > con varables). Introduccón de funcones (X = f(y,z,...))... Introduccón de funcones recursvas... Pck & Mx lbre... Pck & Mx con uso de enlaces (CAj p.ej.)... Invencón de funcones/predcados... Generadas por algortmos de aprendzaje... TIPOS DE RETORNO: Constante Con varable ID3 FOIL CRGs rlggs IPD 85

86 Árboles de Decsón Construccón: SPLITTING ALGORITHM (ID3, C4.5, CART, ASSISTANT, IPD) Llamado tambén DIVIDE-AND-CONQUER Asume las ramas son dsjuntas (no solapan). COVERING ALGORITHM (AQ, CN, FOIL) Llamado tambén SEPARATE-AND-CONQUER 86

87 Árboles de Decsón SPLITTING ALGORITHM (ID3, C4.5, CART, ASSISTANT) Algorthm CART(Target_functon, Pos, Neg) node = f(x, X,..., X n ) splt_and_conquer(, &node, Pos, Neg); return node; endalgorthm con sólo dos clases Functon splt_and_conquer(condton, node, Pos, Neg); f Neg then // Añadr condcones para especalzar la regla Canddate_Splt := generar posbles condcones Best_Splt := selecconar la mejor condcón según el crtero de gananca. Lnk Node wth every node of Best_Splt (as chldren) for each node Best_Splt do cond:= condton of node; Pos:= Pos whch are true under cond. Neg:= Neg whch are true under cond. splt_and_conquer(cond, &node, Pos, Neg); endfor; endf return node; endfuncton 87

88 Árboles de Decsón COVERING ALGORITHM (AQ, CN, FOIL, FFOIL) FOIL(Target_predcate, Predcates, Pos, Neg) Learned_rules := con sólo dos clases whle Pos do // Aprender una nueva regla NewRule :- el target_predcate con todo varables y sn condcones. NewRuleNeg :- Neg; whle NewRuleNeg do // Añadr condcones para especalzar la regla Canddate_Lterals :- generar posbles condcones (utlzando el cjto. Predcates) Best_Lteral :- selecconar el mejor lteral utlzando el crtero de gananca. Añadr este Best_Lteral a las condcones de NewRule; Qutar a NewRuleNeg los ej. neg. que ya no son cubertos (ncumplen Best_Lteral) endwhle Learned_rules :- Learned_rules { NewRule} Pos :- Pos - {membros de Pos cubertos por la nueva regla). endwhle; Retornar Learned_rules; 88

89 SPLITTING vs COVERING Árboles de Decsón Ventajas del SPLITTING: Aprovecha camnos ya abertos (más efcente) Poda más senclla. Representacón generalmente más corta y efcente. Se pueden utlzar DECISION LISTS (uso del cut) en vez de DECISION TREES. Ventajas del COVERING: Permte hacer coberturas no totales (nteresante cuando un atrbuto tene muchos valores y sólo algunos son sgnfcatvos). Es menos voraz y las últmas ramas se ajustan más a los ejemplos. Esto tambén es una desventaja, porque las últmas ramas suelen hacer overfttng. 89

90 Funcones de Gananca: Árboles de Decsón ID3, C4.5 (y FOIL) (Qunlan 993): C: nº de clases, p(e,j): proporcón de los casos de E de la clase j T: test (splt) consderado. E : evdenca que cumple cada uno de los k resultados del test. Info( E) Gan( E, T ) Splt( E, T ) GanRato( E, T ) p( E, j) Info( E) Gan( E, T ) Splt( E, T ) De las partcones (splts) con al menos GAIN medo, se seleccona el que tenga el GAINRATIO mayor. j C k E E log k log E ( p( E, j)) E E E Info( E 90 )

91 Árboles de Decsón Funcones de Gananca: Gananca Mejorada para Valores contnuos: C4.5 (Qunlan 996) log AdjGan( E, T ) Gan( E, T ) ( N E ) for contnuous splts AdjGan( E, T ) Gan( E, T ) for non - contnuous splts AdjGan( E, T ) AdjGanRato( E, T ) Splt( E, T ) 9

92 Árboles de Decsón Funcones de Gananca: CART (Breman et al. 984): Dados los datos de entrenamento T que caen en un node, y tenemos n clases, el índce gn(t) se defne como: n gn( T) p j j Cuando se parte T en dos subconjuntos T y T con tamaños N y N, el índce después del splt se defne como: gn splt Se elge el valor menor. ( T) Ngn( ) N T gn( T ) N N 9

93 Árboles de Decsón Funcones de Gananca: Para dos clases: gn( T) p ( p p n p j j p ) p ( p p ) p p p p p p p p p Con lo que tenemos (para dos hjos): P N P N Gn( E) E E E Gan( E, cond) Gn( E) [( r( Gn( Eneg ) ( r) Gn( E pos))] wth r E neg E Donde E neg son los que no cumplen cond 93

94 Otras Meddas para Splt: Árboles de Decsón Ortogonaldad de GID3 (Fayyad 994) DKM (Detterch et al. 996) DKM ( T) p p MSE, LogLoss, AUC, etc La mayoría de los métodos se benefcan del uso de smoothng, tanto en el cálculo de la probabldad de las clases en cada nodo, como en el cálculo de la probabldad de cada nodo. 94

95 Árboles de Decsón Incorporacón de Recursvdad: Chequeo extensonal. FOIL o FFOIL: Cuando se ntenta ntroducr una llamada recursva en el árbol, su valor de verdad se extrae de los ejemplos postvos. Esto causa problemas, p.ej. member(x,[y Z ) :- member(x,z) no cubrría el ejemplo member(a, [c,b,a ) con respecto a los otros s member(a, [b,a ) no estuvera en los ejemplos. Chequeo ntensonal. FOIDL: Cuando se ntenta ntroducr una llamada recursva en el árbol, su valor de verdad se extrae de los ejemplos postvos y de llamadas a la propa funcón. En este caso bastaría con tener member(a, [a ) Tambén hay sstemas que permten utlzar las ramas cerradas como verdaderas y otros no. En 95 este caso sería sufcente unos cuantos member(x, [x ) que se huberan generalzado.

96 Árboles de Decsón Incorporacón de Recursvdad. Chequeo de Termnacón Aproxmacón a termnacón. (FOIL o FFOIL): Excluye algunas solucones nteresantes. Límte de pasos en la comprobacón de cláusulas recursvas. (FOIDL): Ralentza los algortmos. Se suele hacer que el límte de pasos dependa del tamaño del ejemplo a probar. 96

97 PODA DE ÁRBOLES: Árboles de Decsón Una vez realzado el árbol, muchos sstemas pospodan (postprunng) el árbol, con el objetvo de obtener árboles más cortos (con menos condcones) y, por tanto, más generales. Poda de árboles por redundanca: (pueden exstr condcones superfluas, debdo a la manera como se construye el árbol) Poda de árboles por rudo o prncpo MDL: (se poda porque se supone que algunos nodos han sdo ntroducdos porque puede haber rudo). 97

98 PODA DE ÁRBOLES: Árboles de Decsón 98

99 Poda de árboles por redundanca: Ejemplo: Árboles de Decsón Clase Atrbutos y Valores Is_Smlng Holdng Has_te Head_shape Body_shape frendly yes balloon yes square square frendly yes flag yes octagon octagon unfrendly yes sword yes round octagon unfrendly yes sword no square octagon unfrendly no sword no octagon round unfrendly no flag no round octagon frendly f Is_Smlng=yes ^ Holdng<>sword unfrendly f Is_Smlng=no unfrendly f Is_Smlng=yes ^ Holdng=sword unfrendly f Is_Smlng=no unfrendly f Holdng=sword 99

100 Árboles de Decsón Poda de árboles por rudo o prncpo MDL: Ex. Sky Temp Humdty Wnd PlayTenns Sunny Hot Hgh Weak No Sunny Hot Hgh Strong No 3 Overc. Hot Hgh Weak Yes 4 Ran Mld Hgh Weak Yes 5 Ran Cool Normal Weak Yes 6 Ran Cool Normal Strong No 7 Overc. Cool Normal Strong Yes 8 Sunny Mld Hgh Weak No 9 Sunny Cool Normal Weak Yes 0 Ran Mld Normal Weak Yes Sunny Mld Normal Strong Yes Overc. Mld Hgh Strong Yes 3 Overc. Hot Normal Weak Yes 4 Ran Mld Hgh Strong No H: playtenns(sunny, Y, hgh, W) = NO 3 playtenns(sunny, Y, normal, W) = YES playtenns(overcast, Y, Z, W) = YES 4 playtenns(ran, Y, Z, strong) = NO playtenns(ran, Y, Z, weak) = YES 3 00

101 Árboles de Decsón rudo Poda de árboles por rudo o prncpo MDL: Ex. Sky Temp Humdty Wnd PlayTenns Sunny Hot Hgh Weak No Sunny Hot Hgh Strong No 3 Overc. Hot Hgh Weak Yes 4 Ran Mld Hgh Weak Yes 5 Ran Cool Normal Weak Yes 6 Ran Cool Normal Strong No 7 Overc. Cool Normal Strong Yes 8 Sunny Mld Hgh Weak No 9 Sunny Cool Normal Weak No 0 Ran Mld Normal Weak Yes Sunny Mld Normal Strong Yes Overc. Mld Hgh Strong Yes 3 Overc. Hot Normal Weak Yes 4 Ran Mld Hgh Strong No H: nº de ejs. playt(sunny, Y, hgh, W) = NO 3 playt(sunny, mld, normal, W) = YES playt(overcast, Y, Z, W) = YES 4 playt(ran, Y, Z, strong) = NO playt(ran, Y, Z, weak) = YES 3 playt(sunny, cool, normal, W) = NO Es preferble podar esas dos reglas con poca 0 cobertura ().

102 Árboles de Decsón Poda de árboles utlzando valdacón cruzada: 0

103 Árboles de Decsón Poda de árboles utlzando valdacón cruzada: Para ver qué hojas podar se examna la dferenca de cada subárbol en el comportamento con el tranng y test set: 03

104 Sstemas de Reglas Basados normalmente en sstemas de cobertura: CN es el más conocdo, pero exsten muchas varantes: Con dferentes formas de representacón de las reglas (fuzzy, proposconal, prmer orden, ) Con solape o sn solape Basadas en reglas de asocacón Exsten sstemas de reglas fuzzy y otros formalsmos que permten extraer reglas comprensbles de otros modelos. 04

105 .4. El caso de la Mnería de Datos 05

106 Mnería de Datos: cuando los datos son BD Cuando los datos provenen de bases de datos: Descubrmento de Conocmento a partr de Bases de Datos (KDD, del nglés Knowledge Dscovery from Databases). proceso no trval de dentfcar patrones váldos, novedosos, potencalmente útles y en últma nstanca comprensbles a partr de los datos. Fayyad et al

107 Relacón de DM con Otras Dscplnas KDD nace como nterfaz y se nutre de dferentes dscplnas: aprendzaje automátco bases de datos vsualzacón DM estadístca teoría de la decsón gestón de organzacones 07

108 El Proceso del KDD. FASES Sstema de Informacón Preparacón de los Datos Mnería de Datos Patrones Evaluacón / Interpretacón / Vsualzacón KDD. Determnar las fuentes de nformacón que pueden ser útles y dónde consegurlas.. Dseñar el esquema de un almacén de datos (Data Warehouse) que consga unfcar de manera operatva toda la nformacón recogda. 3. Implantacón del almacén de datos que permta la navegacón y vsualzacón preva de sus datos, para dscernr qué aspectos puede nteresar que sean estudados. 4. Seleccón, lmpeza y transformacón de los datos que se van a analzar. La seleccón ncluye tanto una crba o fusón horzontal (flas) como vertcal (atrbutos). 5. Selecconar y aplcar el método de mnería de datos apropado. Conocmento 6. Evaluacón, nterpretacón, transformacón y representacón de los patrones extraídos. 7. Dfusón y uso del nuevo conocmento. 08

109 El Proceso del KDD. FASES Datos (Informacón) Mnería de Datos Modelos (Conocmento) Ámbto, objetvos de negoco y de mnería de datos datos ncales Integracón y recoplacón almacén de datos preparacón de datos vsta mnable patrones conocmento modelado evaluacón desplegue decsones revsón 09

110 Integracón de Datos Recogda de Informacón texto Fuente de Datos Fuente de Datos 3 HTML Fuente de Datos Base de Datos Transacconal texto Informes Base de Datos Transacconal Fuentes Internas Fuentes Externas Repostoro o Almacén de Datos 0

111 Fases del KDD: Preparacón de Datos Lmpeza (data cleansng) y crba (seleccón) de datos: Se deben elmnar el mayor número posble de datos erróneos o nconsstentes (lmpeza) e rrelevantes (crba). Métodos estadístcos cas exclusvamente. resúmenes e hstogramas (deteccón de datos anómalos). seleccón de datos (muestreo, ya sea vertcalmente, elmnando atrbutos, denomnado seleccón de característcas, u horzontalmente, elmnando tuplas, denomnado muestreo ). redefncón de atrbutos (agrupacón o separacón).

112 Fases del KDD: Preparacón de Datos La seleccón y la lmpeza pueden acompañarse de transformacón de atrbutos (numerzacón, dscretzacón, ). El resultado es un conjunto de flas y columnas denomnado: VISTA MINABLE La vsta mnable ntegra datos de dferentes fuentes, los lmpa, seleccona y transforma, y los tpa, con el fn de prepararlos para la modelzacón.

113 Fases del KDD: La Mnería de Datos Patrones a descubrr: Una vez recogdos los datos de nterés, un explorador puede decdr qué tpo de patrón quere descubrr. El tpo de conocmento (tarea) que se desea extraer va a marcar claramente las técncas posbles de mnería de datos a utlzar. Seleccón del algortmo o algortmos (técncas) a aplcar para obtener el modelo. Seleccón de los valores de los parámetros del algortmo. Aplcacón/Entrenamento del algortmo. 3

114 Fases del KDD: Evaluacón y Valdacón La fase anteror produce una o más hpótess de modelos. Para selecconar y valdar estos modelos es necesaro el uso de crteros de evaluacón de hpótess. Por ejemplo: ª Fase: Comprobacón de la precsón del modelo en un banco de ejemplos ndependente del que se ha utlzado para aprender el modelo. Se puede elegr el mejor modelo. ª Fase: Se puede realzar una experenca ploto con ese modelo. Por ejemplo, s el modelo encontrado se quería utlzar para predecr la respuesta de los clentes a un nuevo producto, se puede envar un malng a un subconjunto de clentes y evaluar la fabldad del modelo. 4

115 Fases del KDD: Interpretacón y Dfusón El desplegue del modelo a veces es trval pero otras veces requere un proceso de mplementacón o nterpretacón: El modelo puede requerr mplementacón (p.ej. tempo real deteccón de tarjetas fraudulentas). El modelo es descrptvo y requere nterpretacón (p.ej. una caracterzacón de zonas geográfcas según la dstrbucón de los productos venddos). El modelo puede tener muchos usuaros y necesta dfusón: el modelo puede requerr ser expresado de una manera comprensble para ser dstrbudo en la organzacón (p.ej. las cervezas y los productos congelados se compran frecuentemente en conjunto ponerlos en estantes dstantes). 5

116 Fases del KDD: Actualzacón y Montorzacón Los procesos dervan en un mantenmento: Actualzacón: Un modelo váldo puede dejar de serlo: cambo de contexto (económcos, competenca, fuentes de datos, etc.). Montorzacón: Consste en r revaldando el modelo con certa frecuenca sobre nuevos datos, con el objetvo de detectar s el modelo requere una actualzacón. Producen realmentacones en el proceso KDD. 6

117 Más nformacón Bblografía Asgnatura AMD 7