Aprendizaje en sistemas inteligentes 1. Preliminares: fuentes, definicines, enfques y métds 2. Algritms genétics y redes neurnales 3. Inducción de árbles clasificadres 4. Inducción de reglas 5. Minería de dats Tm Mitchell: Machine Learning. McGraw-Hill, 1997 Ian Witten & Eibe Frank: Data Mining, 2nd. ed. Elsevier, 2005. (El libr de WEKA) c 20 DIT-ETSIT- Aprendizaje: preliminares transp. 1 Interés del aprendizaje artificial Científic: para inteligencia artificial: «n hay inteligencia sin aprendizaje» para psiclgía: terías del aprendizaje natural Tecnlógic: adquisición de cncimient para KBS visión, lenguaje, ICAI... Mercantil: minería de dats agentes que aprenden, persnalización de servicis... c 20 DIT-ETSIT- Aprendizaje: preliminares transp. 2
Fuentes de inspiración Lógica: leyes prescriptivas (prescriben cóm han de ser ls raznamients crrects) mdels funcinales (per ls raznamients más interesantes en el aprendizaje sn inductivs) Psiclgía: leyes descriptivas (describen cóm funcina la mente) mdels prcesales (per ls mdels que prprcina sn cualitativs y pc detallads) Neurfisilgía mdels basads en la ntgénesis Bilgía evlutiva mdels basads en la filgénesis c 20 DIT-ETSIT- Aprendizaje: preliminares transp. 3 Deducción, inducción y abducción Raznamients deductivs Las premisas respaldan ttalmente a la cnclusión Preservan la verdad Cncepts de «validez» y «slidez» Aprendizaje analític Raznamients inductivs Las premisas respaldan parcialmente a la cnclusión Preservan la falsedad (en cas de generalización) «Validez» relativa; fuerza inductiva Aprendizaje empíric y analógic Raznamients abductivs N preservan verdad ni falsedad Aprendizaje bayesian c 20 DIT-ETSIT- Aprendizaje: preliminares transp. 4
Raznamients inductivs: generalización En la generalización inductiva Las premisas sn particulares y la cnclusión es general La falsedad de una premisa invalida la cnclusión Ejempl: El cisne 1 es blanc El cisne 2 es blanc El cisne 3 es blanc El cisne 4 es blanc Tds ls cisnes sn blancs c 20 DIT-ETSIT- Aprendizaje: preliminares transp. 5 Raznamients inductivs: analgía (a) De l general a l general: Tds ls grrines sn pájars y hacen nids Tdas las gavitas sn pájars y hacen nids Tds ls cuervs sn pájars Tds ls cuervs hacen nids (b) De l particular a l particular: A es plític y es mentirs B es plític y es mentirs C es plític C es mentirs c 20 DIT-ETSIT- Aprendizaje: preliminares transp. 6
Aprendizaje en psiclgía cnductista Estímul-respuesta = «caja negra» = mdels de entrada-salida Ejempl: prbabilidad de éit a medida que aumenta el númer de eperiments: sistema aprendiente P n α >α 2 1 α 1 crític maestr refuerz P 0 1 2 3... 1 - P = (1 - P )(1 - α) n 0 (0 < α < 1) Énfasis en medida de la eficiencia Inducción de cncimient tácit n n-1 c 20 DIT-ETSIT- Aprendizaje: preliminares transp. 7 Aprendizaje en psiclgía cgnitiva Mdels de espaci de estads: prcesadr cgnitiv, redes semánticas, marcs... aprendizaje cncimients ejecución refuerz maestr entrn Énfasis en representación del cncimient Inducción de cncimient eplícit c 20 DIT-ETSIT- Aprendizaje: preliminares transp. 8
Definicines de aprendizaje: cnductistas «...[El aprendizaje] implica cambis adaptativs en el sistema para que realice la misma tarea (u tra de la misma clase) cn mayr eficacia a la siguiente casión» (Simn, 1983) «Decims que un prgrama aprende de la eperiencia E cn respect a una clase de tareas T y medida de rendimient P si su rendimient sbre tareas de T, medid pr P, mejra cn la eperiencia E» (Mitchell, 1997) c 20 DIT-ETSIT- Aprendizaje: preliminares transp. 9 Definicines de aprendizaje: cgnitivas «...[Aprender es] cnstruir mdificar representacines de aquell [estímuls prcess cgnitivs] cn l que se eperimenta» (Michalski, 1983) «Aprender. (Del lat. aprehenděre; de ad, a, y prehenděre, percibir.) tr. Adquirir el cncimient de alguna csa pr medi del estudi de la eperiencia» (D.R.A.E.) «Learn. tr. Gain knwledge f r skill in by study, eperience, r being taught» (The Cncise Ofrd) c 20 DIT-ETSIT- Aprendizaje: preliminares transp. 10
Métds subsimbólics y simbólics Enfques cnductistas métds subsimbólics (lenguaje pac): redes neurnales, métds bayesians, algritms genétics de Hlland,... Enfques cgnitivs métds simbólics (lenguaje inteligible): inducción de árbles, adquisición de cncepts, descubrimient,... c 20 DIT-ETSIT- Aprendizaje: preliminares transp. 11 Tips de aprendizaje Deductiv analític (p. ej. EBL) Analógic (p. ej. CBR) Generalización inductiva: pr refuerz supervisad, p. ej., clasificación, regresión «adquisición de cncept» n supervisad, p. ej., agrupamient (clustering) «frmación de cncept» c 20 DIT-ETSIT- Aprendizaje: preliminares transp. 12
Aprendizaje inductiv pr generalización Entrada: Un cnjunt, sucesión, de ejempls Salida: Una descripción de cncept, que cubre (satisface) a tds ( a la mayría de) ls ejempls presentads y a trs n vists Ds tips de algritms: incrementales: si se presenta un nuev ejempl se refina el cncept de un pas: si se añade un ejempl hay que vlver a ejecutar el algritm sbre td el cnjunt c 20 DIT-ETSIT- Aprendizaje: preliminares transp. 13 El cncept de «cncept» Cncept estrict: «Cncept» clase de equivalencia de bjets entidades (ejemplares) Tds ls ejemplares sn igualmente representativs Descripcines precisas y ecluyentes Cncept la: «Cncept» clase de equivalencia brrsa Ejemplares prttípics, grads de pertenencia Clasificación cn incertidumbre Descripción de cncept Función de clasificación c 20 DIT-ETSIT- Aprendizaje: preliminares transp. 14
Adquisición y frmación de cncepts Adquisición: inducción del cncept ( de ls cncepts) a partir de ejemplares clasificads (aprendizaje supervisad) de situacines y realimentación (aprendizaje pr refuerz). Frmación: inducción del cncept a partir de ejemplares (aprendizaje n supervisad, agrupamient) Adquisición Frmación En ambs cass la metdlgía generalmente separa ls ejemplares dispnibles en un cnjunt de entrenamient y un cnjunt de prueba c 20 DIT-ETSIT- Aprendizaje: preliminares transp. 15 Generación de hipótesis En aprendizaje supervisad (adquisición de cncepts): a partir de ejempls clasificads: { e, f( e ) } elabrar una hipótesis, h( ), que aprime f( ) (ls cncepts) En aprendizaje n supervisad (frmación de cncepts): a partir de ejempls: { e } elabrar una hipótesis, h( ), que generalice cass bservads («inventar» ls cncepts) «e»: vectr de valres de atributs (numérics, nminales...) «f( e )»: cncept al que pertenece el ejempl Nrmalmente hay hipótesis alternativas c 20 DIT-ETSIT- Aprendizaje: preliminares transp. 16
Cuand hay varias ( muchas) hipótesis... (a) Necesidad de un criteri de preferencia (bias) Criteri general: Navaja de Ockham (Occam) «Pluralitas nn est pnenda sine neccesitate» La hipótesis preferible de entre tdas las cnsistentes cn las bservacines es la más sencilla (b) (c) (d) c 20 DIT-ETSIT- Aprendizaje: preliminares transp. 17 Elección de hipótesis: ejempl Clasificación de ejempls cn ds atributs cn valres reales: h1 h2 muy fácil fácil h1: ds errres h2: más cmpleja h( ) f( ) que minimice E(h, f( ))+α C(h), cn E(h, f( )): % errres en dats, C(h): cmplejidad de h N hay regla general Nrmalmente limitad pr el algritm c 20 DIT-ETSIT- Aprendizaje: preliminares transp. 18