Tema 4. Modelos Gráficos Tablas y Árboles de Decisión y Diagramas de Influencia Indice 1) Tablas de decisión: definición y construcción. 2) Tablas de decisión: evaluación y análisis. 3) Árboles de decisión: definición y construcción. 4) Árboles de decisión: evaluación y análisis. 5) Diagramas de influencia: definición y construcción. 6) Diagramas de Influencia: evaluación y análisis 7) Software.
Modelos Gráficos. An introduction to graphical models Kevin P. Murphy, 10 May 2001 Expert Systems and Probabilistic Network Models E. Castillo, J.M. Gutiérrez, and A.S. Hadi Springer-Verlag, 1997 Pattern Recognition and Machine Learning Christopher M. Bishop Copyright c 2002 2006, 8 Graphical Models Probabilistic Graphical Models Principles and Techniques Daphne Koller and Nir Friedman The MIT Press, 2010 Cambridge, Massachusetts London, England Bayesian Networks and Decision Graphs Finn V. Jensen and Thomas D. Nielsen Published by Springer Verlag 2007
Modelos Gráficos. Tablas de Decisión La forma más elemental de representación Ilustra de forma sencilla los conceptos básicos Orígenes en el trabajo de von Neumann y Morgenstern (1944) sobre juegos en forma normal Elementos : decisión + estado consecuencia a + θ c(a, θ) C
Modelos Gráficos. Tablas de Decisión Caso discreto (A y Θ discretos): Asignar creencias: Asignar preferencias: Calcular la utilidad esperada de cada alternativa a i La decisión de máxima utilidad esperada a, se propone como alternativa óptima
Modelos Gráficos. Tablas de Decisión Caso continuo (A y Θ continuos): Análogo, proponiéndose: utilidad esperada a tal que alternativa óptima Típicamente un problema de programación no lineal Ejemplo: desarrollo de software
Modelos Gráficos. Árboles de Decisión
Modelos Gráficos. Árboles de Decisión Tablas muy limitadas en la práctica: sólo 1 momento de elección Típicamente, problemas reales son dinámicos, con decisiones encadenadas y alternancia de la ocurrencia de distintos fenómenos aleatorios Orígenes en Raiffa y Schlaifer (1961), a partir de von Neumann y Morgenstern (1944) sobre juegos en forma extensiva Elementos :
Modelos Gráficos. Árboles de Decisión Esqueleto (estructura): de izquierda a derecha (transcurrir del tiempo), desde la raíz hasta nodos terminales Info cualitativa Relaciones entre los elementos y los juicios del decisor a través de probabilidades y utilidades Info cuantitativa Probabilidades condicionadas a que sucesos a su izquierda ya han ocurrido y decisiones previas se han tomado
Modelos Gráficos. Árboles de Decisión Árbol: conjunto de estrategias o políticas que indican planes de acción sobre qué elección se hará en cada punto de decisión que puede alcanzarse con tal plan Evaluar un árbol para identificar una estrategia óptima Método regresivo de la programación dinámica (principio de optimalidad, Bellman y Dreyfus 62): sup. hemos tomado ciertas decisiones y la naturaleza ha adoptado ciertos estados, habremos llegado a un nodo que podrá ser: terminal y le asignaremos la utilidad de la consecuencia; de azar la EU máxima, a partir de ese nodo; de decisión la EU de la decisión de máxima utilidad esperada, a partir de ese nodo Análisis del problema en forma extensiva
Modelos Gráficos. Árboles de Decisión Formalización: b i ramas, cada una j de un nodo i tiene un nodo sucesor n ij, probabilidad p ij (s i ), donde s i son los valores de todas las variables de los nodos predecesores de i Mejor valor asociado a cada nodo i dependerá de si: si t i = terminal si t i = decisión si t i = azar donde (s i, i j) indica que ha ocurrido s i y se transita del nodo i al j. Si i es el nodo raíz, entonces s i =
Modelos Gráficos. Árboles de Decisión Ejemplo: Helicóptero Ejemplo 5.2, página 180 Fundamentos de los sistemas de ayuda a la decisión, Sixto Rios et al. RAMA, 2001
Modelos Gráficos. Árboles de Decisión Estados de maniobrabilidad: P(e 1 ) = 0.3, P(e 2 ) = 0.4 Piloto puede cometer errores y la prueba es sólo simulada: P(ra e 1 ) = 0.9, P(ra e 2 ) = 0.65, P(ra e 3 ) = 0.15 Ejemplo: Helicóptero necesitamos P(E R) y P(R), mediante T ma. de Bayes: Coste de la prueba=600 euros
Modelos Gráficos. Árboles de Decisión Ejemplo: Helicóptero
Modelos Gráficos. Árboles de Decisión Incertidumbre asociada con la estrategia óptima o con otra de interés Ejemplo: Helicóptero Toma los valores 0, 0.25, 0.43 y 0.85 con Ps 0.045 (=0.575 0.078), 0.425, 0.260 (=0.575 0.452) y 0.270 (=0.575 0.470), respect.
Modelos Gráficos. Árboles de Decisión Herramientas matemáticamente equivalentes Tabla Árbol Árbol Tabla: hay que enumerar las posibles estrategias y calcular la distribución conjunta (preproceso con cálculos no locales) Ejemplo helicóptero : Probabilidades: P(R,E) = P(R E)P(E) = P(E R)P(R) Estrategias: A 1 = hacer la prueba; A 2 = no hacerla Si se hace: a1(ra) = c ; a1(rn) = c a2(ra) = c ; a2(rn) = c a3(ra) = c ; a3(rn) = c a4(ra) = c ; a4(rn) = c
Modelos Gráficos. Árboles de Decisión Ejemplo: Helicóptero Análisis del problema en forma normal Contiene las EU de todas las estrategias, no sólo de la óptima Árbol: Tabla:
Modelos Gráficos. Árboles de Decisión Expresivos, intuitivos: caminos completos No separa la información cualitativa y cuantitativa Crecimiento exponencial requisitos computacionales también (el algoritmo enumera al atravesar todos los caminos) Árboles esquemáticos (generalización)
Modelos Gráficos. Árboles de Decisión Simétrico: todos escenarios con mismas variables y en la misma Secuencia Helicóptero: 2 asimetrías: resultados de la prueba sólo si se realiza ésta; estado del helicóptero sólo se revelará si se compra Puede tratar problemas asimétricos Menor carga computacional y fácil interpretacion
Modelos Gráficos. Árboles de Decisión Representación deficiente de relaciones probabilísticas (ad hoc) Preproceso de probabilidades para la representación (el problema de los 2 árboles) Cálculos con la distribución conjunta
Modelos Gráficos. Árboles de Decisión Coalescencia (replicación de subárboles) se detecta ad hoc Restricciones información explícitas, pero requiere orden total (no siempre especificado)
Modelos Gráficos. Árboles de Decisión Coalescencia depende de cómo se complete el orden
Modelos Gráficos. Árboles de Decisión Puede tratar utilidad separable, con cálculos locales Ejemplo: Helicóptero
Modelos Gráficos. Diagramas de influencia
Modelos Gráficos. Diagramas de influencia Concebidos inicialmente como método de representación más compacta [Miller et al. (1976), Howard y Matheson (1983, reeditado en 2005)] En 80: algoritmos de evaluación de DI funcionando sobre el propio diagrama [Olmsted (1983), Shachter (1986)] Elementos : DI es un grafo dirigido G = (N,A) Arcos condicionales: dependencias probabilisticas y funcionales, Arcos informativos: precedencia temporal, informacion disponible por etapas
Modelos Gráficos. Diagramas de influencia Con sólo nodos de azar: Subyacente distribución conjunta de todas las v.a. arcos representan un orden de asignación de las Probabilidades Condicionadas (pueden invertirse) a) Independencia total b) Independencia parcial c) Dependencia completa d) Independencia condicional (de A y C, dado B) Ciclos no permitidos
Modelos Gráficos. Diagramas de influencia Con todo tipo de nodos: En d), el decisor está mejor informado que en c) en el momento de la decisión EU a la del caso c) En e), la v.a. no tiene efecto sobre v puede considerarse irrelevante respecto a la decisión Ciclos decisión/decisión o decisión/azar tampoco permitidos No pueden invertirse arcos desde/hacia decisiones
Modelos Gráficos. Diagramas de influencia Uso de : DI orientado: con un nodo de valor DI regular: 1. es acíclico 2. el nodo de valor (si existe) no tiene sucesores 3. un camino dirigido que contiene todos los nodos de decisión Propiedad 3 equivale a requerir un orden total de las decisiones requiere la memorización del DI: Si D1 precede a D2 en un DI regular, {D1} I(D1) I(D2)
Modelos Gráficos. Diagramas de influencia En cada nodo i del DI, un conjunto Ω i, una variable X i, y una aplicación i de azar: X i es v.a. con espacio muestral Ω i ; se define π i (x i x C(i) ) = P(X i = x i X C(i) = x C(i) ) (CPT) i de valor: U : Ω C(i) i (utilidad; luego EU) i de decisión: Xi es la decisión y Ω i es el conjunto de alternativas. su aplicación asociada: d i : Ω I(i) Ω i (las alternativas óptimas, dado el estado de información del decisor en el momento de tomar la decisión) será salida del algoritmo Las aplicaciones π i y U son entrada del algoritmo de evaluación y luego se irán redefiniendo al avanzar éste Luego, DI es DAG G = (N,A) y también esta info cuantitativa
Modelos Gráficos. Diagramas de influencia Ejemplo: Helicóptero
Modelos Gráficos. Diagramas de influencia Evaluación mediante el algoritmo de inversión de arcos Esencialmente misma idea que en árboles, pero se aprovecha la estructura gráfica para obtener ventajas computacionales Transformaciones: gráficas y numéricas El algoritmo combina ideas de programación dinámica y fórmula de Bayes Eliminación de sumideros: Se puede borrar un nodo sumidero de un DI orientado y regular [Independientemente de su valor, ningún otro nodo se ve afectado]
Modelos Gráficos. Diagramas de influencia Eliminación de nodo de azar : Si X C(v) y es su único sucesor en un DI regular y orientado, puede eliminarse por esperanza condicionada, heredando v los predecesores de X
Modelos Gráficos. Diagramas de influencia Eliminación de nodo de decisión: Si en un DI regular y orientado no hay sumideros, D C(v) tal que C(v)\{D} I(D), puede eliminarse maximizando la utilidad esperada (condicionada), registrándose la mejor decisión. v no hereda los predecesores de D, pudiendo aparecer nuevos sumideros
Modelos Gráficos. Diagramas de influencia Inversión de arcos entre nodos de azar: Dado el arco (X, Y ), si otro camino dirigido entre X e Y en un DI regular, puede sustituirse por el arco (Y,X) mediante la aplicación del T ma. Bayes, con herencia mutua de predecesores
Modelos Gráficos. Diagramas de influencia Combinamos las transformaciones [Olmsted (1983), Shachter (1986)] Existencia de nodo de azar eliminable: Si no hay sumideros y se han añadido los arcos de memoria, y si v tiene predecesores pero no puede eliminarse ningún nodo de decisión existe un nodo de azar C(v) pero no es predecesor informativo de ningún nodo de decisión, y puede eliminarse, tal vez tras inversión de arcos Eliminará todos los nodos hasta que sólo permanezca el de valor En ese momento se tendrán las decisiones óptimas (en cada nodo de decisión) y la máxima utilidad esperada (en v)
Modelos Gráficos. Diagramas de influencia 1. Verificar que el DI es regular, orientado, y añadir arcos de memoria 2. Eliminar sumideros 3. Mientras C(v), Si i C C(v): S(i) = {v}, eliminar nodo de azar i si no, si i D C(v): C(v)\{i} I(i), eliminar nodo de decisión i eliminar sumideros creados si no, encontrar i C C(v): D S(i) = mientras C S(i) encontrar j C S(i): otro camino de i a j invertir (i, j) eliminar nodo de azar i
Modelos Gráficos. Diagramas de influencia Ejemplo: Helicóptero Invertir (E,R):
Modelos Gráficos. Diagramas de influencia Ejemplo: Helicóptero Eliminar E:
Modelos Gráficos. Diagramas de influencia Ejemplo: Helicóptero Eliminar C,R, P:
Modelos Gráficos. Diagramas de influencia Evaluación mediante el algoritmo de eliminación de variables 2 conjuntos de potenciales: P (probabilidades) y U (utilidades) P X = {p P X dom(p)}, U X = {u U X dom(u)} 1. Escoger un orden de eliminación de variables, respetando el orden dado entre las decisiones 2. Eliminar X: a) X de azar: b) X de decisión: 3. Modificar los conjuntos de potenciales:
Modelos Gráficos. Diagramas de influencia Compacidad: cada variable añadida al problema expande su tamaño linealmente Algoritmo de reducción de nodos más que de enumeración de los caminos posibles Separa la información cualitativa y cuantitativa Representación eficiente de relaciones probabilísticas: Relaciones probabilísticas explícitas Representación directa de probabilidades (no hay problema de los 2 árboles) Sólo probabilidades condicionadas (sí en modelos causales); si no, preproceso
Modelos Gráficos. Diagramas de influencia Computación local y aprovechamiento de la independencia condicional (i.c.): Todas las transformaciones se basan en la i.c., explícita en el diagrama (base de la coalescencia) cálculos, tiempo de ejecución y requisitos de memoria Computación local para calcular las condicionadas deseadas en la evaluación (T ma. Bayes usando sólo variables necesarias) Orden parcial de restricciones info: representado directamente en los arcos informativos (árboles requerían orden completo) Dependencia del orden de eliminación de nodos: influye en esfuerzo computacional ) heurísticas para encontrar buenas secuencias: Kong, genético nuestro...
Modelos Gráficos. Diagramas de influencia Dificultad para modelizar asimetrías Simetrizar: aumento del tamaño del problema (con estados artificiales), menos intuitivos y más carga computacional Helicóptero: añadir arco (P,R), añadir r para R, utilidades iguales cuando el estado es c: U(hacer, c, e i ) = 0.25 y U(no hacer, c, e i ) = 0.26, i Otros modelos: DI asimétricos [Smith, Holtzman y Matheson 93]; d. decisión secuenciales [Covaliu y Oliver 95]; unconstrained DI [Jensen y Vomlelová 02]... Utilidad separable: DI varios nodos de valor [Tatman y Shachter 90] Variables continuas: DI gaussianos [Shachter y Kenley 89], simulación [Bielza, Müller y Ríos Insua 99]..., discretización,...
Modelos Gráficos. Diagramas de influencia Diagramas de Influencia versus Árboles de Decisión DIAGRAMAS ÁRBOLES 1. palabra clave independencia escenario condicional 2. compacidad sí no (explosión combinatoria) 3. represent. probabilidades directa con preproceso (condicionadas) (problema dos árboles) 4. relaciones probabilísticas explícitas no (se detectan ad hoc) 5. modelización no sí de asimetrías 6. algoritmo reducción nodos enumeración caminos 7. computación local sí no para condicionadas 8. I.C. sí no
Modelos de Problemas de Decisión Sixto Ríos, 1995, Alianza Universidad, AU822 A: Fenómeno o sistema real MODELIZACIÓN C: Modelo empiríco D: Conceptualización Nueva modelización NO K: Validación SI L: Descripción, Predicción Exploración, Decisión, I: Relaciones empíricas H: Desconceptualización e interpretación E: Modelo matemático G: Relaciones matemáticas F: Proceso lógico-deductivo