METODOS PARA OBTENER CONOCIMIENTO UTILIZANDO REDES BAYESIANAS Y PROCESOS DE APRENDIZAJE CON ALGORITMOS EVOLUTIVOS.

Transcripción

1 METODOS PARA OBTENER CONOCIMIENTO UTILIZANDO REDES BAYESIANAS Y PROCESOS DE APRENDIZAJE CON ALGORITMOS EVOLUTIVOS. Departamento de Lenguajes y Sstemas Informátcos. Memora de Investgacón presentada por D. Francsco Roche Beltrán para superar la fase de nvestgacón del programa de doctorado. Tutor: Dr. D. José Crstóbal Rquelme Santos. Sevlla, Septembre 00

2 INDICE.-.- Introduccón Planteamento y relevanca del problema Aspectos resueltos y por resolver Comparatva de propuestas Árboles de decsón Sstemas basados en reglas Lstas de decsón Redes neuronales Aprendzaje basado en ejemplos Redes bayesanas Conclusones Técncas bayesanas Introduccón Conceptos báscos V. a. dscretas/contnuas Regla de multplcacón Teorema de Bayes Hpótess MAP y ML Clasfcadores bayesanos Clasfcador óptmo Clasfcador nave Dependenca/ndependenca condconal Redes bayesanas Introduccón Obtencón de redes bayesanas Cálculo de la red más probable Cálculo de P(D M para una red bayesana V. a. con sólo dos valores V. a. con n valores Métrca BD y K Búsqueda del mejor modelo Inferenca Proyecto de nvestgacón Introduccón Dscretzacón Caso general Aplcacón para un atrbuto Ajuste de parámetros Test de valdacón cruzada Generacón de la red bayesana Trabajos pendentes... 78

3 7.- Revsón Bblográfca Personas y foros relaconados ANEXO Introduccón Desarrollo del trabajo Ajuste de parámetros

4 .- INTRODUCCIÓN.- 4

5 Con la revolucón dgtal capturar nformacón es fácl y almacenarla es extremadamente barato. Almacenamos datos porque pensamos que son un actvo valoso por sí msmos. Para los centífcos, los datos representan observacones cudadosamente recogdas de algún fenómeno en estudo. En los negocos, los datos guardan nformacones sobre mercados, competdores y clentes. En procesos ndustrales recogen valores sobre el funconamento de determnados procesos. Sn embargo, en general, los datos en bruto raramente son provechosos. Su verdadero valor radca en la posbldad de extraer nformacón útl para la toma de decsones o la exploracón y comprensón de los fenómenos que deron lugar a los datos. Tradconalmente, el análss de estos datos ha sdo efectuado medante técncas estadístcas. No obstante, el ncremento en la cantdad de datos y en el número de parámetros hace necesara la aparcón de nuevas metodologías y herramentas para un tratamento automátco de los regstros depostados en bases de datos. Estas técncas se engloban bajo la etqueta de machne learnng, smultáneamente surge el nombre más comercal de mnería de datos (data mnng. La automatzacón de los procesos de aprendzaje por un área de nvestgacón de la ntelgenca artfcal se conoce como machne learnng (ML o aprendzaje automátco. En aprendzaje supervsado, las técncas de ML buscan descrpcones para las clases ya defndas por el usuaro, y en aprendzaje no supervsado se construye un resumen del fchero de entrenamento como un conjunto de las clases descubertas junto con su descrpcón. Esta búsqueda de descrpcones se realza usando estrategas de búsqueda teratva en el conjunto de todas las descrpcones posbles. Este proceso consste en la formulacón de una hpótess ncal que se verfca medante alguna funcón de caldad. Esta funcón, normalmente basada en técncas estadístcas, calcula la correccón de la hpótess respecto del conjunto de entrenamento. Entonces, la hpótess puede ser aceptada, rechazada o mejorada hasta que se encuentre una hpótess correcta. La mejora de las hpótess durante este proceso puede ser llevada a cabo medante la generalzacón de condcones o la adcón o sustraccón de condcones sobre atrbutos. Un sstema de ML usa un pequeño conjunto de ejemplos de laboratoro cudadosamente selecconados y, algunas veces, tene la habldad de nteractuar con el entorno con el fn de consegur nuevos ejemplos para nvestgar el comportamento bajo condcones partculares. Un sstema de ML tene tres componentes báscos: una representacón o modelo del conocmento aprenddo, una funcón que mda la caldad de ese aprendzaje y un algortmo de búsqueda para dado un modelo y una funcón de caldad encontrar la mejor nstancacón posble. 5

6 VISION GENERAL DATOS Informacón Conocmento Decsón Data Mnng (DM es la búsqueda de relacones y patrones globales que exsten en grandes bases de datos pero que se encuentran "ocultas" entre grandes cantdades de datos. Estas relacones representan un conocmento valoso sobre la base de datos y los objetos de ésta y, s la base de datos es un espejo fel, del mundo real regstrado por la base de datos. Uno de los prncpales problemas del DM es que el número de posbles relacones es muy grande, así que la búsqueda de las correctas por valdacón de cada una de ellas es computaconalmente prohbtvo. Así que se necestarán estrategas de búsqueda ntelgente que son tomadas del área de machne learnng o aprendzaje automátco. En general, las tareas de un proceso de DM pueden ser clasfcadas en dos categorías: descrptvas y predctvas. Las prmeras descrben el conjunto de datos de una manera resumda y concsa y presentan propedades generales e nteresantes de los datos. Por el contraro, las tareas predctvas construyen uno o varos modelos que realzan nferenca sobre el conjunto de entrenamento para ntentar predecr el comportamento de nuevos datos. Un sstema de DM pueden llevar a cabo una o más de las sguentes tareas:. Descrpcón de clases. Medante esta tarea se proporcona un concso y sucnto resumen de una coleccón de datos o caracterzacón y la posbldad de dstngurlos de otros o dscrmnacón. Un ejemplo smple es obtener la meda y la desvacón típca de cada parámetro para cada clase. Un ejemplo más sofstcado lo consttuyen las técncas de vsualzacón en múltples dmensones. 6

7 . Asocacón o descubrmento de relacones o correlacones entre un conjunto de datos. Estas normalmente se expresan en forma de regla mostrando condcones que relaconan valores de los atrbutos y que ocurren frecuentemente entre los datos. Una regla de asocacón tene la forma X Y que debe ser nterpretada como "los datos que satsfacen X probablemente satsfacen Y". 3. Clasfcacón o análss de un conjunto de entrenamento con clase conocda y construye un modelo para cada clase. Un árbol de decsón o un conjunto de reglas de clasfcacón se genera medante un proceso de clasfcacón, que puede usarse para una mejor comprensón de cada clase o para la clasfcacón de futuros datos. 4. Predccón o regresón. Esta tarea proporcona posbles valores para datos desconocdos o ausentes o la dstrbucón de valores de certos atrbutos en un conjunto de objetos, ncluyendo la posbldad de encontrar los atrbutos relevantes o nteresantes para determnados casos. 5. Clusterng o dentfcacón de subconjuntos de objetos que tenen datos smlares entre sí. Un buen método de clusterng es aquel que consgue una baja smlardad ntercluster y una alta smlardad ntra-cluster. 6. Análss de seres temporales: búsqueda de regulardades, secuencas o subsecuencas smlares, perodcdad y tendencas en datos que dependen del tempo. Un proceso de DM consste báscamente en ajustar modelos y/o determnar patrones a partr de unos datos. Todo algortmo de DM tene los msmos tres componentes que un proceso de ML: El modelo con dos factores relevantes: la funcón que se desee desempeñe (v. gr. clasfcacón, clusterng, etc. y la forma (funcón lneal, conjunto de reglas,... El crtero de preferenca o funcón de bondad para ajustar el modelo a los datos. El algortmo de búsqueda para ajustar los parámetros de un modelo partcular a unos datos y una funcón de ajuste. 7

8 .- PLANTEAMIENTO Y RELEVANCIA DEL PROBLEMA.- 8

9 En la fgura se presenta un esquema del sstema. Báscamente se trata de un sstema de flujo de gases que contene azufre en mayor o menor medda. Sometendo a estos gases a los procesos adecuados puede aprovecharse ese azufre para producr ácdo sulfúrco en lugar de dejarlo escapar a la atmósfera, de esta forma se contrbuye a proteger el medo ambente a la vez que se dspone de un producto comercalzable. Fgura : Sstema de produccón de ácdo sulfúrco En el sstema exsten productores y consumdores de gases. El proceso consste en canalzar adecuadamente los gases que generan los productores haca los consumdores de manera que no haya excedente de produccón a la vez que se atenden las necesdades de los consumdores. Los gases producdos son conducdos a la Cámara de Mezcla (CM a partr de la cual se dstrbuyen a los dstntos consumdores según sus necesdades. Como productores tenemos el Horno Flash (HF en donde se produce el cobre y se genera SO y los Convertdores (CV, CV, CV3 y CV4. Como consumdores están las tres plantas de la Fábrca de Ácdo SO 4 H (RTM, RTM y RTM3. Cada uno de los productores y consumdores consttuye un subsstema completo y muy complejo dentro de la empresa. 9

10 Los gases se conducen de un punto a otro a través de soplantes, de forma que se dce que el extremo haca el cual la soplante actúa tene presón, mentras que el extremo contraro tene tro. Es de vtal mportanca que en la cámara de mezcla sempre haya tro, ya que un aumento de presón puede producr que los gases escapen a la atmósfera, lo cual hay que evtar en todo momento. Debdo a la complejdad del sstema y al gran número de parámetros y stuacones que se dan contnuamente hay veces que el sstema no es estable durante un tempo determnado. Durante este tempo es posble que haya un aumento de presón en la cámara de mezcla. Aunque en la actualdad se toman todas las meddas oportunas para evtar que esto ocurra, sería deseable prever o conocer las crcunstancas que provocan que se produzca alguna nestabldad en el tro de la cámara de mezcla. Se ha ntentado resolver el problema, pero lo únco que han realzado realmente es la colocacón de gran cantdad de sensores en la nstalacón y el almacenamento de los datos que se generan, sn haber hecho nngún estudo de estos datos posterormente. Como resultado del funconamento del sstema se dspone de una nmensa base de datos que representa el estado del sstema a lo largo del tempo. Sería deseable saber s a través de un análss de estos datos puede llegarse a alguna conclusón. El estudo propuesto, por tanto, trata de obtener nformacón acerca del comportamento del sstema para averguar las crcunstancas que provocan stuacones de funconamento ncorrecto del sstema. Metodología y plan de trabajo Dado que nos encontramos ante un problema de adquscón de conocmento en bases de datos (KDD, las accones a realzar son las propas de todo proceso de esta índole.. Entendmento del domno de la aplcacón: Incluyendo el conocmento a pror relevante y los objetvos de la aplcacón. En esta fase hay que determnar los objetvos, es decr, defnr lo que se desea obtener y saber con qué datos se cuenta para la consecucón de dchos objetvos. Además hay que estudar las lmtacones dervadas de estos datos dependendo de su caldad, su número, etc.. Creacón del conjunto de datos de entrenamento: Selecconando el subconjunto de varables o ejemplos sobre los que se realzará el descubrmento. En base a los datos con los que se cuenta es necesaro selecconar parte de los msmos con el fn de optmzar las tareas del proceso de aprendzaje. 3. Preprocesado de los datos: La caldad de los datos nfluye en la caldad de los resultados. Hay varos factores que nfluyen en la caldad de los datos, como son los datos erróneos, los datos ausentes, los outlers y otros que hay que corregr: Hay que elmnar el rudo dado por los posbles outlers, decdr sobre el tratamento que se da a los datos ausentes, normalzar los datos, etc. Una vez fnalzada esta fase se 0

11 contaría con un conjunto de datos totalmente preparados para aplcarles las técncas de aprendzaje. 4. Transformacón y reduccón de los datos: Incluyendo la búsqueda de parámetros útles para representar los datos dependendo del objetvo, reduccón del número de varables medante transformacón, etc. 5. Eleccón del método o algortmo: Dependendo de las partculardades del proyecto una vez llegado a esta fase, hay que determnar el método de proceso que va a emplearse (clasfcacón, regresón, clusterng, etc.. Esto llevará a la decsón de utlzar un algortmo de data mnng u otro. 6. Proceso de data mnng: El proceso de data mnng, propamente dcho, consste en la búsqueda de patrones y relacones que exstan en los datos. Este proceso es el que permte extraer nformacón oculta de la nube de datos con la que se contaba. El conocmento extraído vene representado medante árboles de decsón, reglas de asocacón, etc 7. Interpretacón del conocmento extraído: Fnalzado el proceso de data mnng hay que revsar la nformacón obtenda y evaluarla para selecconar la nformacón que sea de nterés y estudar, en base a los resultados, un posble regreso a alguno de los puntos anterores. La evaluacón del aprendzaje puede realzarse medante técncas de vsualzacón o defnendo meddas de nterés (de tpo estadístco, en funcón de su sencllez, etc. 8. Uso del conocmento descuberto: El conocmento extraído en las fases anterores se ncorporará al sstema para verfcar su utldad y tomar decsones en base a los resultados. Dcho conocmento deberá documentarse, revsarse peródcamente, compararlo con el conocmento anteror, etc.

12 3.- ASPECTOS RESUELTOS Y POR RESOLVER.-

13 El proceso de produccón del cobre requere de unos sstemas muy complejos que hacen necesaro el acoplamento de varos subsstemas, cada uno de los cuales se encarga de una fase del proceso productvo. Los subprocesos realzados por estos subsstemas lberan una sere de materales que, en lugar de consttur materal de desecho, pueden servr como subproducto. En varas fases del proceso productvo se generan gases con contendo en azufre, el cual se aprovecha para producr ácdo sulfúrco. Los objetvos que se persguen son: - Identfcar los parámetros que nfluyen en el comportamento del sstema. - Conocer el grado de nfluenca en el sstema de cada uno de los parámetros. - Saber qué respuesta va a tener el sstema ante actuacones sobre los parámetros. - Conocer las causas de los perodos de nestabldad del sstema. - Detectar posbles perturbacones. - Detectar actuacones nnecesaras o perjudcales en el control del sstema, así como descubrr nuevas accones no consderadas. - Obtener reglas de funconamento que permtan realzar un posteror modelo del sstema lo más exacto posble. Con la consecucón de los objetvos la empresa obtendrá: - Una optmzacón del funconamento del sstema de produccón de ácdo sulfúrco. - Un mayor conocmento del sstema que srva de ayuda en una posteror toma de decsones. - Una reduccón de costes de produccón. - Una mayor proteccón del medo ambente. 3

14 4.- COMPARATIVA DE PROPUESTAS.- 4

15 Las prncpales formas de representar el conocmento en machne learnng son las sguentes: 4. Árboles de decsón.- La representacón de un árbol donde los nodos son atrbutos dscretos o condcones sobre atrbutos contnuos, las ramas son los posbles valores de un atrbuto dscreto o verdadero y falso en el caso de condcones; por últmo, las hojas son las clases. La herramenta más popular que genera árboles de decsón es el C4.5[Qunlan 93]. Tambén es de reseñar la herramenta CART[Breman 84]. 4. Sstema basado en reglas.- Una regla es una expresón de la forma: S A entonces B En donde A es un aserto y B puede ser una accón o ben otro aserto. Por ejemplo:. S la bomba falla entonces la presón es baja. Aserto aserto. S la bomba falla entonces chequear el nvel de acete. Aserto accón 3. S hay fallo de potenca entonces la bomba falla. Aserto aserto Un sstema basado en reglas es una lbrería de reglas. Estas reglas reflejan esencalmente las relacones dentro del domno del problema, más ben reflejan el camno para razonar sobre el domno. Cuando tenemos después nformacón concreta del domno, esto se aplca a las reglas y te lleva a conclusones apuntando a accones determnadas. Esto se llama INFERENCIA. Por ejemplo en el caso anteror del domno sabemos ahora que hay fallo de potenca. 5

16 Por la regla 3 nos dce que la bomba falla, y aplcando la regla nos dce que la presón será baja, además la regla nos RECOMIENDA que chequeemos el nvel de acete (accón. Las reglas tambén se pueden usar en dreccón opuesta. Por ejemplo supongamos que sabemos actualmente que la presón es baja, por la regla esto puede ser debdo a que la bomba falla y por la regla 3 te dce que puede ser debdo a un fallo de potenca, y la regla te recomenda chequear el nvel de acete. Un nconvenente que tenen consste cuando los atrbutos son contnuos, es precso en este caso realzar una dscretzacón preva. Normalmente las conexones reflejadas medante reglas no son absolutamente certas, por lo tanto están sujetas a certa ncertdumbre. En estos casos una medda de ncertdumbre hay que añadr a las reglas, tanto a las premsas como a las conclusones. S A (con certdumbre x entonces B (con certdumbre f(x Hay muchos esquemas para tratar la ncertdumbre en un sstema basado en reglas, la más común es la lógca fuzzy. En estos esquemas la ncertdumbre se trata LOCAMENTE, es decr se añade la ncertdumbre a las reglas. Por ejemplo: S C (con certdumbre x entonces B (con certdumbre g(x Supongamos que la evdenca actual te ndca que se produce A con certdumbre a y se produce C con certdumbre c Cuál es el grado de certdumbre de B? Para representar una regla se puede usar una formulacón CNF, o conjuncón de cláusulas que son dsyuncones de condcones sobre los atrbutos, v. gr.: color {rojo, verde} forma {círculo} altura 3 Tambén se pueden formular reglas medante lógca fuzzy (borrosa [Bezdek 8], [Sugeno 93] o utlzando el concepto de conjuntos rough (aproxmado [Pawlak 9]. Las herramentas más conocdas que producen reglas son la famla de algortmos AQ [Mchalsk 87] o los sstemas GIL [Jankow 93] y GABIL [DeJong 93] basados en algortmos genétcos. Tambén utlzan una formulacón de antecedente consecuente denomnadas reglas de asocacón [Agrawal 93]. 6

17 4.3 Lstas de decsón.- La lsta de decsón [Rvest 87] es una representacón del conocmento de la forma: (d, C, (d, C,..., (d n, C n en donde cada d es una descrpcón elemental y cada C j es una clase. La clase de un objeto será C j cuando d j sea la prmera descrpcón cuberta o satsfecha por el objeto. Otra forma de representar una lsta de decsón es una regla de la forma: S d entonces C sno s d... sno s d n entonces C n El sstema CN [Clark 89] es una de las herramentas más conocdas que utlzan lstas de decsón. COGITO [Rquelme 98] utlza tambén esta representacón del conocmento realzando la búsqueda medante un algortmo genétco. 4.4 Redes Neuronales.- Las redes neuronales [McCulloch 43] son una representacón medante un grafo del sstema nervoso de los seres vvos. El grafo se organza en una sere de capas o leyes, formadas cada una por un conjunto de nodos que se relaconan con la capa anteror y posteror recbendo unos valores numércos o mpulsos ponderados. La prmera capa toma los datos del fchero de aprendzaje y la últma capa es denomnada de salda, cuyos nodos adqueren (medante un proceso de aprendzaje dstntos valores para patrones dstntos. En aprendzaje supervsado el modelo más clásco es el perceptrón multcapa [Rosenblatt 58] y en no supervsado las redes autoorganzadas [Kohonen 8]. Todos los nodos de un nvel están conectados a todos los nodos del nvel superor y del nvel nferor. Ahora ben, necesta un entrenamento costoso ya que se deben de encontrar los pesos que tene cada nodo en el sguente nvel, partendo de los ejemplos de entrenamento en donde los valores de entrada y salda son conocdos. De sobra es conocdo que NO obtene reglas, y por lo tanto conocmento sobre la base de datos, sí clasfca pero no sabemos CÓMO. Se puede decr que es un buen sstema, s sólo necesto clasfcar, pero no obtener reglas. 7

18 S las relacones son con certo grado de certdumbre, la red puede dar la hpótess más probable, dado un conjunto de síntomas, en dagnoss médca, sn embargo no podremos obtener el grado de ncertdumbre de la conclusón, y no seremos capaces de obtener cual es la hpótess sguente más probable. 4.5 Aprendzaje basado en ejemplos.- Los sstemas de aprendzaje basados en ejemplos representan el conocmento medante ejemplos representatvos, basándose en smltudes entre los datos. Los algortmos más extenddos son los clasfcadores basados en los vecnos más cercanos [Dasarathy 9]. Habtualmente estas técncas realzan el aprendzaje a partr de una seleccón de los ejemplos que mejor representan a los conceptos exstentes en la base de datos. Es el concepto de edtng de los datos o seleccón de prototpos. 4.6 Redes bayesanas.- Esta técnca se encuentra desarrollada en detalle en el apartado número 5 de esta memora de nvestgacón especalmente en el punto 5.5, descrbendo a contnuacón un resumen de la msma. La dea esencal consste en aprovechar las relacones de dependenca (y por tanto tambén las de ndependenca exstentes entre las varables de un problema antes de especfcar y calcular con los valores numércos de las probabldades [Pearl 86]. Estas relacones se representan a través de modelos gráfcos, habtualmente grafos acíclcos drgdos [Cooper 9] y [Heckermann 95]. Formalmente se defne como red bayesana una trpleta (N,D,P en donde N es un conjunto de varables del domno. D es una DAG (Grafo acíclco drgdo cuyos nodos están etquetados con los elementos de N y los arcos drgdos ndcan relacón de nfluenca y en algunos casos relacón causal. P es una dstrbucón jont sobre N. D reúne la nformacón de que toda varable es ndependente de sus no descendentes dados sus padres (Padres(. 8

19 y n : Esto permte expresar que s una nstanca está formada por los atrbutos y, y,... n P( y,... yn = P( y Padres( y = Esto se conoce como chan-rule. El número de modelos (redes bayesanas dferentes que son posbles, se eleva de manera consderable en funcón del número n de varables a consderar: n * ( n Ya que el número de modelos es realmente grande cuando las varables son muchas, se mpone un método de búsqueda para la eleccón del modelo más probable. 4.7 Conclusones.- El modelo va a tener como funcón prncpal el estudo de la relacón de dependenca de parámetros. Ahora ben la forma adoptada es la red bayesana, los motvos que nfluyen en esta decsón son: El grafo generado por las redes bayesanas representan de forma vsual la relacón de dependenca exstente entre las varables del domno del problema. Las redes bayesanas tratan la ncertdumbre de forma global, por el contraro tanto las reglas de asocacón como las redes neuronales la tratan de forma local. Las redes bayesanas se pueden aplcar a varables no cuantfcables, detalle con el que no puede trabajar la técnca de los vecnos, por ejemplo. Las redes neuronales se utlzan para clasfcar, pero no dan reglas de cómo obtenen esta nformacón. Un prmer nconvenente se centra en que las redes bayesanas trabajan con varables dscretas, pero esta msma stuacón se da con las reglas de asocacón. Un segundo nconvenente resulta del gran coste computaconal al tener que calcular las funcones de dstrbucón de todas las varables, pero lo msmo le ocurre a las redes neuronales cuando tenen que calcular los dstntos pesos en cada nodo. 9

20 5.- TECNICAS BAYESIANAS.- 0

21 5. Introduccón.- En los últmos años los sstemas expertos probablstas han alcanzado un alto grado de desarrollo. Hasta los 80 se había dado por supuesto que la probabldad requería mucha nformacón y unos cálculos demasado complejos para poder resolver problemas reales en los que ntervnesen un gran número de varables. Sn embargo esto cambó a partr de una sere de trabajos entre los que destacan los de [Pearl 986], [Pearl 988], [Jensen 996] y [Laurtzen 988]. La dea esencal fue la de aprovechar las relacones de dependenca (y por tanto tambén las de ndependenca exstentes entre las varables de un problema antes de especfcar y calcular con los valores numércos de las probabldades. Estas relacones se representan a través de modelos gráfcos, habtualmente grafos acíclcos drgdos [Whltaker 990]. La determnacón de las relacones exstentes entre las varables se manfestó desde el prncpo como una cuestón fundamental. En muchas ocasones el problema está ben estructurado y el experto sabe determnar drectamente un modelo gráfco. Sn embargo, es más habtual que no se conozcan, al menos en forma total, las relacones de nfluenca entre los elementos que ntervenen. El objetvo de los algortmos de aprendzaje consste en determnar un modelo gráfco a partr de un conjunto de datos en bruto u observacones realzadas sobre el comportamento del sstema, referencas mportantes son [Cooper 99] y [Heckerman 995]. Exste en la actualdad una gran dversdad de enfoques y métodos de resolucón. Otro detalle mportante consste en que consttuyen una forma de trabajo coherente y efectva para sstemas de soporte a la decsón que deben de funconar con conocmento no seguro (ncertdumbre. S ben un problema que tenen, consste en que tenemos que dscretzar las varables contnuas. Veamos la sguente nformacón: P(enfermo tenga grpe febre>38.5, dolor de cabeza = SI = 0.75 En una red bayesana esto quere decr que s conocemos el valor de los padres de enfermo tene grpe que son febre y dolor de cabeza podemos determnar s el enfermo tene grpe o no, con un grado de ncertdumbre, además el resto de valores de varables no nfluyen en el valor de s tene grpe o no. Todas las varables que aparecen son varables del domno que tratamos y no como en las redes neuronales que los nodos no tenen representacón en el domno.

22 La nformacón anteror podría verse como una regla de decsón: S (febre>38.5 y dolor de cabeza = S entonces enfermo tene grpe (con grado de certdumbre 0.75 Por lo tanto tenen mucha smltud con las reglas de decsón. En un sstema basado en reglas se ntenta modelzar el camno de razonamento de los expertos mentras que en una red bayesana se ntenta modelzar las dependencas exstentes en el domno en sí msmo. En un sstema basado en redes neuronales es mposble ntroducr conocmento a pror en los pesos de los nodos, mentras que utlzando redes bayesanas sí se puede realzar ntroducendo conocmento del experto, con dependencas señaladas entre varables. Respecto al coste computaconal señalar que las redes bayesanas tenen que calcular muchas funcones de dstrbucón de probabldad, pero no más que las redes neuronales que deben de calcular los pesos de los nodos. Además en las redes neuronales la dreccón de la nferenca queda totalmente delmtada, cosa que en las redes bayesanas esto es mucho más flexble. Un punto a favor de las redes bayesanas consste en que se pueden aplcar cuando los atrbutos tenen valores no cuantfcables, más ben no debe de exstr nformacón numérca n de orden. Por ejemplo s consderamos la varable aleatora color de un coche, y etquetamos blanco..0, negro.., azul.. La dstanca que hay del blanco al negro es, y la dstanca que hay del blanco al azul es, pero esta dstanca hubera sdo dferente desde el momento en que asgnáramos las etquetas numércas dferentes al blanco, negro y azul, entonces aplcar técncas como las de los vecnos no tendría sentdo. 5. Conceptos báscos Varables aleatoras dscretas / contnuas.- S lanzamos dos dados sobre una mesa, el espaco muestral E estará consttudo por las 36 parejas: E = { (,, (,, (,3... (6,5, (6,6 }

23 E R F A A 6 A 66 X 0 Probabldad X : E R X es una aplcacón que hace corresponder a cada suceso A j la suma ( + j de los puntos aparecdos. X R A X(E = {,3,4... }. Llamándose a la funcón X varable aleatora, sendo las nversas de las mágenes en R sucesos en E. A cada elemento X(E le asocamos su probabldad. Tenemos así defnda una nueva funcón F de la sguente forma: F( = P(X= = / 36. F(3 = P(X=3 = / F( = P(X= = / 36. Una funcón defnda de esta forma se denomna funcón de dstrbucón, es una funcón suprayectva poseyendo las sguentes propedades:. F(X >= 0, X.. Σ F(X =. Es una funcón que aplca R en R. No decrecente. Contnua a la derecha. Es decr, exste lm F(X = F(a. F(+ =. F(- = 0. x -> a derecha Luego F(x = P{ w : X(w <= x} sendo la funcón de dstrbucón de la varable aleatora X. w X X(w /5 F 3

24 Por ejemplo s w es sacar cara y w es sacar cruz: Cara Cruz 0 ½ X F X(w = 0. X(w =. Luego F(0 = P{ sacar cara} = ½. F( = P{ sacar cara o cruz} =. / 0 x Una varable aleatora se dce que es dscreta s exste un conjunto numerable E (es decr exste una byeccón entre los números naturales y elementos x del conjunto, tal que E R P(x E =. Los puntos que tenen masa de probabldad se denomnan puntos de salto o puntos de ncremento de la funcón de dstrbucón. Por ejemplo en el dbujo de esta págna solo x = 0 y x = tenen masa de probabldad. La funcón de dstrbucón (F de la varable aleatora dscreta será: F(x = P{w - < X(w <= x}, es decr la suma de las probabldades de todos aquellos puntos hasta llegar al x, ncludo. Una varable aleatora se dce que es contnua s la funcón de dstrbucón F(x es absolutamente contnua, es decr s exste una funcón no negatva f(x x R que: x F ( x = f ( t dt La funcón f(x recbe el nombre de funcón de densdad de probabldad. Luego f(x >=0 ya que es no negatva y su ntegral desde - a + vale. En una varable aleatora contnua la probabldad está defnda para ntervalos de puntos y para puntos concretos vale cero. 4

25 5.. Regla de la multplcacón, teorema de la probabldad total y sucesos ndependentes.- Regla de la multplcacón.- Sean A, A... A n sucesos cualesquera, se cumple que P(A A A 3... A n = P(A * P(A A *... * P(A n A n-, A n-..a Teorema de la probabldad total.- Sean los sucesos H, H... H j sucesos dsjuntos y sea el suceso B que cumple B = (B H (B H... representado en la fgura. H H H n B Entonces se cumple que: P(B = [ P(H j * P(B H j ] para todo j Sucesos ndependentes.- Dos sucesos A y B se dce que son ndependentes s y sólo s: P(A B = P(A * P(B. Para el caso de n sucesos A, A... A n se debería cumplr: P(A A A 3... A n = P(A * P(A *... * P(A n Por ejemplo, tengamos cuatro bolas en una bolsa con las sguentes etquetas. 3 3 Se extrae una bola de las cuatro, sea el suceso E en la bola aparece un, el suceso E en la bola aparece un y el suceso E 3 en la bola aparece un 3. P(E = ½. P(E = ½. P(E E = ¼. P(E * P(E = ¼ 5

26 Luego el suceso E y el suceso E son ndependentes. Sn embargo los sucesos E, E y E 3 no son ndependentes, ya que: P(E E E 3 = ¼ P(E * P(E * P(E 3 = / Teorema de Bayes.- Descuberto por Thomas Bayes en 76. Consderemos el sguente expermento: supongamos dos bolsas A y B; la prmera que contene dos bolas blancas y dos negras, y la segunda, dos blancas y una negra. S llamamos X al suceso obtener bola blanca e Y al obtener bola negra, y hacemos una sere de pruebas que constan cada una de dos partes: º sorteo de bolsas; º extraccón al azar de una bola de la bolsa que corresponda. Podemos obtener por ejemplo la sguente sere: Ba, Ba, Nb, Na, Na, Bb, Ba, Na, Nb Expresando la letra mayúscula el color de la bola y la mnúscula s ha sdo de la prmera bolsa(a o de la segunda bolsa(b. La frecuenca (fr será: fr(x = 4/9; fr(a X =3/4; fr(a=6/9; fr(x A=3/6; Vemos en este ejemplo que se cumple la sguente relacón: Luego: P(X A = P(X * P(A X = P(A * P(X A = /3, P(A X = P(A *P(X A / P(X, que es esencalmente la fórmula de Bayes, sempre que está defnda la P(X y sea dstnta de cero. El teorema de Bayes goberna el proceso de nferenca lógca, determnando el grado de confanza que debemos tener, con varas posbles conclusones, basadas en el cuerpo de la evdenca dsponble. Esto es exactamente el proceso de razonamento predctvo. Escala de credbldad

27 P(A E = 0, quere decr que A debe de ser falso s parto de que se cumple E. P(A E =, quere decr que A debe de ser certo s parto de que se cumple E. P(A E = 0.5, quere decr que E no nfluye en A. Cada ejemplo de entrenamento puede ncrementar/decrementar la probabldad estmada de que una hpótess sea correcta, por lo tanto supone una aproxmacón muy flexble de aprendzaje. El conocmento a pror puede ser combnado con los datos observados para determnar la probabldad fnal de cada hpótess. La probabldad a pror se determna asgnando una a cada hpótess ncalmente y consderando la dstrbucón de probabldad en los datos observados para cada hpótess posble. Un nconvenente que tene este tpo de razonamento es que requere conocmento ncal de muchas probabldades, cuando no se conocen es precso estmarlas, así como el posble coste computaconal Hpótess MAP e hpótess ML.- En aprendzaje automátco estamos nteresados en determnar la mejor hpótess de un espaco H, dando los datos observados D. La mejor hpótess es aquélla que sea la más probable, tenendo en cuenta los datos D y cualquer conocmento ncal de las probabldades a pror de varas hpótess dentro de H. El teorema de Bayes proporcona un método para calcular la probabldad de una hpótess basada en su probabldad a pror, la probabldad de observar esos datos D dada la hpótess, y los datos observados por sí msmos. Sea h la hpótess a consderar y D los datos observados. P( h D = P(h * P(D h. P( h D = P(D * P(h D. Es decr: P(h * P(D h = P(D * P(h D. Por lo tanto P ( h D = P( h * P( D h P( D a posteror a pror Factor de correccón P(h es la probabldad a pror de que se cumpla la hpótess h, es decr el conocmento que tengamos de que la hpótess h es correcta. 7

28 P(h D es la probabldad a posteror de que se cumpla la hpótess h una vez conocdos los datos D, reflejando la nfluenca que tenen los datos D observados a dferenca con la probabldad a pror en la que no se tene en cuenta. P(D h es la probabldad de que los datos D sean observados en un mundo en el que la hpótess h es correcta. Por lo tanto P(h D aumenta s se ncrementa P(h y P(D h y se decrementa en el caso de que aumente P(D. Una vez que dsponemos de una fórmula que nos da la probabldad de una hpótess, estamos nteresados en obtener aquella hpótess más probable (maxmum a posteror MAP observados los datos D. h MAP = argmax h P(h D = argmax h [P(h * P(D h / P(D] Ya que P(D es la msma en todas las hpótess, en la obtencón del máxmo podemos ahorrarnos el cálculo de este valor, quedando: h MAP = argmax h P(h * P(D h h MAP es la hpótess más probable, dados los datos observados, P(h D. En muchos casos podemos asumr que cada hpótess en H es equprobable a pror, P(h = P(h j para todo h y h j en el espaco H, por lo tanto en la fórmula anteror podemos suprmr el térmno P(h que es déntco en todas las hpótess. A la fórmula que nos queda se le denomna funcón de máxma verosmltud (maxmum lkelhood, ML, es decr la hpótess que maxmza la probabldad de obtener los datos D partendo de que se cumple esa hpótess, P(D h. h ML = argmax h P(D h Por lo tanto en el maxmum lkelhood no nfluyen las probabldades a pror. LIKELIHOOD (verosmltud.- Probabldad de obtener los datos observados a partr de un modelo. P(D M MAXIMUM LIKELIHOOD.- Aquel modelo que obtene un máxmo de probabldad de obtener los datos observados. argmax m P(D M En algunas ocasones, más que obtener h ML se obtene el logartmo neperano de h ML, ya que maxmzar el logartmo de una funcón maxmza el valor de la propa 8

29 funcón, todos los productos pasan a ser sumas y los exponentes desaparecen, lmtando el caso de desbordamentos en las operacones de cálculo y lo hacen más tratable matemátcamente. h ML = argmax h Ln P(D h Es precso observar que hay que evaluar todas las posbles hpótess exstentes en el espaco H. Consderemos un caso: Posbles hpótess el pacente tene una forma de cáncer. el pacente no tene esa forma de cáncer. Los resultados de una posble prueba dan + o ben -. El conocmento a pror que tenemos nos dce que 8 de cada ml personas tene esa forma de cáncer, 98 de cada 00 personas que tenen esa forma de cáncer que se someten a la prueba dan + y 97 de cada 00 personas que no tenen esa forma de cáncer que se someten a esa prueba dan -. P(cáncer = P(no cáncer= P(+ cáncer = P(- cáncer = 0.0. P(+ no cáncer = P(- cáncer = h MAP. Supongamos que tenemos un nuevo pacente y en el test da valor +, calculamos Hpótess a tene cáncer.- P(cáncer * P(+ cáncer = 0.98 * = Hpótess b no tene cáncer.- P(no cáncer * P(+ no cáncer= 0.03 * 0.99= Luego en este caso la hpótess MAP es NO TIENE CÁNCER. La probabldad real se puede saber ya que la suma de las dos probabldades debe de dar, ya que son las dos hpótess posbles, por lo tanto NO tene cáncer con una probabldad del 79% x x = / = 0.79 Podemos observar que aunque la probabldad a posteror de tener cáncer es muy superor a la probabldad a pror antes del test la conclusón sgue sendo que la hpótess más probable es que no tenga cáncer. Los resultados de la aplcacón de la 9

30 nferenca bayesana dependen de los valores de las probabldades a pror, que deben de estar dsponbles para poder aplcar este método, además con este método las hpótess no son completamente aceptadas o rechazadas, s no que son mas o menos probables, según los datos observados. S las hpótess de partda se consderan dstrbucones gaussanas, obtener el Maxmum Lkelhood (mas ben su logartmo neperano es lo msmo que mnmzar el error cuadrátco medo, que es el exponente de las probabldades cuando son dstrbucones normales. Esta conclusón puede ser dferente s las dstrbucones de partda no son gaussanas. Hay que hacer notar que la hpótess ML no tene por qué ser la msma hpótess MAP, sólo concdrá cuando las probabldades de las hpótess a pror sean déntcas. 5.3 Clasfcadores bayesanos Clasfcador óptmo bayesano.- Supongamos que tenemos tres hpótess h, h y h 3 y las posbles clasfcacones son + y de una nueva nstanca. Veamos un caso, sea la probabldad a posteror: P(h D = 0.4 P(h D = 0.3 P(h 3 D = 0.3 h MAP = argmax h P(h D, por lo tanto la hpótess MAP es la hpótess h, la más probable (0.4 tenendo en cuenta los datos observados. Hasta ahora hemos estudado la búsqueda de la hpótess más probable(map dados los datos observados (de entrenamento, pero nos vamos a centrar en la pregunta de la clasfcacón más probable de una nueva nstanca dados los datos de entrenamento. Supongamos una nueva nstanca, que se clasfca según las hpótess h como + y con h y h 3 como - P(- h = 0 P(+ h = P(- h = P(+ h = 0 P(- h 3 = P(+ h 3 = 0 Así en el ejemplo anteror h es la hpótess MAP y por lo tanto la clasfcacón más probable sería +, ya que P(+ h =. Ahora ben s se consderan todas las hpótess, ponderadas por sus probabldades a posteror, de acuerdo con el teorema de la probabldad total: 30

31 P(v j D = P ( v j h * P( h D h H Sendo v j una posble clasfcacón, y h una de las hpótess dentro del conjunto H de todas las hpótess posbles. La clasfcacón óptma para una nueva nstanca será aquella v j que cumple: arg max v V j h H P ( v h * P( h D Aplcado al ejemplo anteror: v j es + o -, que es la posble clasfcacón. H son las posbles hpótess, h, h y h 3. h H h H j P( + h * P( h D = * * *0.3 = 0. 4 P( h * P( h D = 0 *0.4 + *0.3 + * 0.3 = 0. 6 era +. Por lo tanto la clasfcacón óptma es -, justamente la contrara de la MAP que Cualquer sstema que clasfque nuevas nstancas de acuerdo con la sguente fórmula recbe el nombre de clasfcador óptmo bayesano: arg max v V j h H P ( v h * P( h D j Este método maxmza la probabldad de que una nueva nstanca sea clasfcada correctamente, dados los datos observados D, el espaco completo de hpótess H (h H y las probabldades a pror de las posbles clasfcacones tenendo en cuenta las hpótess (P(v j h Clasfcador nave bayesano (nb.- Supongamos que queremos clasfcar una nueva nstanca formada por varos atrbutos a,a,.. a n. Sea v j una de las clasfcacones dentro del conjunto V de las dstntas clasfcacones posbles. Sabemos que: v MAP = argmax P(v j * P(D v j v j V 3

32 En nuestro caso, v MAP = argmax P(v j * P(a, a,... a n v j v j V Dados los datos de entrenamento se recorren todos estos datos y se recuenta la clasfcacón de cada uno de ellos, obtenendo P(v j para cada clasfcacón posble. El problema surge cuando queremos obtener P(a, a,... a n v j ya que el número de posbles combnacones dferentes de valores para cada atrbuto con todos los demás es muy grande. Por la regla de la multplcacón: P(a, a,... a n v j = P( a n v j * P(a,a,... a n- a n, v j. Ahora ben s suponemos que los atrbutos son ndependentes condconalmente conocdo v j, sabemos que P(a n- a n = P(a n- por lo tanto y generalzando, nos queda la fórmula: P(a, a,... a n v j = P(a v j * P(a v j *... P(a n v j. Quedando la fórmula ncal: v MAP = argmax P(v j * P(a, a,... a n v j. v j V De la sguente manera: v NB = argmax P(v j * P(a v j v j V Las letras NB se utlzan para expresar que se ha utlzado un clasfcador Nave Bayesano, avsando de la premsa fundamental de que los atrbutos son ndependentes condconalmente. Es decr, deben de estmarse los valores P(v j y P(a v j partendo de los datos observados. En el algortmo nave de clasfcacón bayesano no se hace por lo tanto nnguna búsqueda en el espaco de posbles hpótess, sno más ben en el recuento de los datos observados. Un problema surge cuando la P(a v j es cero para algún atrbuto, en cuyo caso fuerza a que la multplcacón sea cero y por lo tanto dará sempre cero para esa hpótess, para evtar este problema se ntroduce la denomnada probabldad m- estmada, cuya fórmula es la sguente: 3

33 P(a v j = (N c + / (N + K sendo N el número de casos totales que tenemos con clasfcacón v j. N c el número de casos en que se da el valor a con clasfcacón v j. K el número de valores dferentes que toma el atrbuto a con clasfcacón vj. 5.4 Dependenca/ ndependenca condconal.- Una varable A y otra B son dce que son dependentes mutuamente, s saber lo que vale A me ayuda a conocer lo que vale B. La dependenca entre A y B se dce que es una dependenca condconal, s A y B son dependentes s sé o no sé valores de otras varables. Por ejemplo: Anmal Tpo de anmal Hábtat S yo sé que el tpo de anmal es mamífero, esta nformacón me ayuda a advnar que hábtat es terra, luego tpo de anmal y hábtat son dependentes mutuamente. Ahora ben, s yo sé que anmal es ballena, esto me ayuda a advnar que hábtat es agua. En este caso saber que tpo de anmal es mamífero no nos ayuda para advnar que hábtat es agua. Es decr, que s yo sé el anmal, la nformacón sobre tpo de anmal no me ayuda a saber el hábtat. Luego tpo de anmal y hábtat no son dependentes mutuamente s yo sé el anmal. 33

34 Mas formalmente dremos : Sean X, Y y Z tres varables aleatoras dscretas, se dce por defncón que X es condconalmente ndependente de Y dada Z, s la dstrbucón de probabldad que goberna X es ndependente del valor de Y conocendo el valor de Z, es decr, s P(X =x Y = y, Z =z = P(X =x Z =z, para todo valor de x, y y z. Por comoddad la defncón anteror se escrbe de la sguente forma: P(X Y, Z = P(X Z. Se puede amplar esta defncón al caso de varas varables aleatoras, por defncón se dce que un conjunto de varables aleatoras X,... X h son condconalmente ndependentes de un conjunto de varables aleatoras Y,... Y m dado el conjunto de valores Z,.. Z n s P(X,... X h Y,... Y m, Z,... Z n = P(X,.. X h Z,... Z n En el clasfcador bayesano sencllo se asume que exste ndependenca condconal entre el atrbuto A y el atrbuto A j de la msma nstanca conocdo el valor de la clasfcacón v. Ejemplo de las cadenas de Markov.- El estado en el tempo t sólo depende del estado en el tempo t P(x =, t x =, t- = 0.3 por ejemplo, luego son probabldades condconadas. 34

35 5.5 Redes bayesanas Introduccón.- La restrccón, para la aplcacón de la técnca del clasfcador bayesano sencllo, de que todos los atrbutos deben de ser ndependentes condconalmente entre sí conocdo el valor de la clasfcacón v j, permte poder realzar la sguente asgnacón. P(a, a,... a n v j = P(a v j * P(a v j *... P(a n v j. Pero es una condcón muy restrctva para poderla aplcar a una gran cantdad de problemas en los que esto no se da, buscando una solucón ntermeda entre el clasfcador bayesano sencllo y el óptmo, surgen las redes bayesanas en las que la ndependenca condconal se exge entre un subconjunto de atrbutos y no entre todos. Las redes bayesanas sguen la línea de ntentar descomponer una dstrbucón de probabldad multvarada en varos productos de funcones de dstrbucón, denomnadas locales. S consderamos un conjunto de varables aleatoras Y = {Y, Y... Y n }, en donde cada varable puede tomar un valor del conjunto de posbles valores V(Y, se defne como espaco jont del conjunto de varables Y al producto cartesano V(Y x V(Y x... x V(Y n. Por lo tanto cada elemento del espaco jont corresponde a una posble asgnacón de los valores de cada tupla de varables Y, Y,... Y n. La funcón de dstrbucón que se forma sobre el espaco jont se denomna dstrbucón jont de probabldad, especfcando una red bayesana la dstrbucón jont de probabldad para un conjunto de varables aleatoras. Hay dos formas de enfocar las dependencas / ndependencas: La vsón objetvsta, que consste en A depende de B o no depende, no dejando nada aleatoro en esta dependenca. La vsón bayesana, se centra en la certdumbre que se tene sobre la dependenca exstente, por ejemplo A depende de B pero 0.9, es decr que A cas seguro que depende de B, según la evdenca. Las probabldades bayesanas manejan probabldades de estados, por ejemplo que P( mantenmento =caro =, sgnfca que estamos seguros de que la varable preco de mantenmento está en el estado caro, tenendo en cuenta que según se vaya ncorporando la evdenca estos valores se van a r modfcando. (ESTO ES precsamente el corazón del razonamento bayesano. 35

36 Veamos un ejemplo de red bayesana: C A H B J I Una red bayesana tene dos componentes prncpales: cualtatvo y cuanttatvo. En el campo cualtatvo tenemos un grafo acíclco drgdo en el que cada nodo corresponde a un atrbuto (varable, y arcos drgdos mplcando que toda varable es condconalmente ndependente de todos sus no descendentes en la red sempre que se conozcan los valores de sus nmedatos predecesores (padres. Una varable Z es descendente de otra varable Y, s en el grafo exste un camno drgdo desde Y a Z, por ejemplo en el grafo expuesto I es descendente de A. En el campo cuanttatvo cada nodo tene asocada la dstrbucón de probabldad de esa varable tenendo en cuenta sus padres en el grafo. Por ejemplo para el nodo I, tendremos P(I B,H. Cada varable tene un conjunto de posbles valores llamado espaco de estados que consste de mutuamente exclusvos y exhaustvos valores de las varables. 36

37 La probabldad jont de cualquer elemento sería: n P( y,... yn = P( y Padres( y = Esto se conoce como chan-rule. Padres (y son las varables predecesoras nmedatas de la varable y en la red, precsamente P(y padres(y son los valores que se almacenan en el nodo que corresponde a la varable y. Una defncón formal de una red bayesana sería: Una trpleta (N,D,P en donde N es un conjunto de varables del domno. D es una DAG (Grafo acíclco drgdo cuyos nodos están etquetados con los elementos de N y los arcos drgdos ndcan relacón de nfluenca y en algunos casos relacón causal. P es una dstrbucón jont sobre N. Veamos el caso de la Base de datos de coches (UCI REPOSITORY. Varables de cada tupla: Puertas(, 3, 4, 5 o más. Personas(, 4, más de 4. Segurdad (baja, meda, alta. Maletero ( grande, medano, pequeño. Preco compra(muy alto, alto, medo, bajo. Coste mantenmento (muy alto, alto, medo, bajo. Grado de satsfaccón ( muy bueno, bueno, satsfecho, nsatsfecho. Generada la red bayesana se obtene la red que fgura en la págna sguente, de dcha red se puede nferr que conocdo el preco de compra del vehículo y el coste de mantenmento se puede dar perfectamente la funcón de dstrbucón del grado de satsfaccón del clente, ya que el resto de varables no nfluyen en la satsfaccón, es decr son condconalmente ndependentes. 37

38 Compra Manten. Puertas Satsfaccón Maletero Segurdad Personas Por la regla de la multplcacón: P(Compra=muy cara, Mantenmento=caro, puertas =4, satsfaccón =buena, maletero=grande, segurdad=alta, personas=4 = P(Compra = muy cara * P(mantenmento=caro compra = muy cara * P(puertas=4 compra= muy cara, mantenmento=caro * P(satsf = buena compra =Muy cara, manten=caro,puertas=4 * P(malet=grande satsf = buena, compra =Muy cara, manten=caro,puertas=4 * P(segu=alta malet=grande, satsf = buena, compra =Muy cara, manten=caro,puertas=4 * P(personas=4 segu=alta, malet=grande, satsf = buena, compra =Muy cara, manten=caro,puertas=4 = P(compra=muy cara * P(mant=caro * P(puertas=4 * P(sats=buena compra=muy cara, mant=caro * P(malet=grande sats=buena * P(segu=alta malet=grande, satf=buena * P(personas=4 satsf=buena, segu=alta Observando la red P(mant=caro compra= muy cara = P(mant = caro, es decr mant y compra son ndependentes condconalmente. P(satsf = buena compra =Muy cara, manten=caro,puertas=4 = P(sats=buena compra=muy cara, mant=caro, luego conocdos los valores del preco de compra y del 38

39 preco de mantenmento en la varable grado de satsfaccón no nfluye el número de puertas, es decr satsfaccón y número de puertas son ndependentes condconalmente. Y así se podría r razonando sobre las conclusones del grafo Obtencón de redes bayesanas.- Para construr una red bayesana (modelo es precso defnr las varables en prmer lugar, a contnuacón obtener la estructura de la red y fnalmente obtener las dstrbucones de probabldad locales. Hay dstntos enfoques para obtener la estructura de la red bayesana, ben porque la red se conoce de antemano o ben porque se nfere de los datos de entrenamento, y por otro lado s todas las varables que ntervenen en la red son observables o ben s hay algunas que no lo son. Cas todas las técncas que se proponen trabajan con la técnca del gradente [Rusell 995], en cualquera de los casos supone sempre la obtencón del Maxmum Lkelhood(ML. Recordamos que: MAXIMUM LIKELIHOOD.- Aquel modelo que obtene un máxmo de probabldad de obtener los datos observados. argmax M P(D M El número de modelos (redes bayesanas dferentes que son posbles, se eleva de manera consderable en funcón del número de varables a consderar, se obtene: Para una varable sólo un modelo. Para dos varables son dos modelos. Para tres varables se obtenen 8 modelos posbles. Para cuatro varables se obtenen 64 modelos, y s contnuamos así podemos obtener como conclusón que el número de posbles canddatos a modelos como red bayesana sería: n * ( n Ya que el número de modelos es realmente grande cuando las varables son muchas, se mpone un método de búsqueda para la eleccón del mejor modelo ya que es un problema NP-Hard demostrado en [Chckerng 995]. 39