Proyectos de Sistemas de Software Ingeniería en Sistemas de Información Uso de métricas para la toma de decisiones (III) Redes Bayesianas Profesor: Gerardo I. Simari Depto. de Ciencias e Ingeniería de la Computación Universidad Nacional del Sur Bahía Blanca, Argentina 2do. Cuatrimestre de 2018 Repaso: El objetivo de medir Como hemos visto (y veremos nuevamente más adelante), nos interesa estimar cosas como: Tiempo y esfuerzo necesarios para construir un sistema Cuánto testing realizar para alcanzar un nivel de defectos deseado Cuánto esfuerzo puede ahorrar el uso de ciertas herramientas... entre muchas otras. Supongamos que ya calculamos las métricas necesarias para capturar la dimensión de los atributos subyacentes. El foco estará entonces en la incorporación de éstas para lograr un mecanismo racional de toma de decisiones. 2 Razonamiento Bayesiano Tenemos dos requerimientos básicos para un mecanismo útil de razonamiento bajo incertidumbre: Toma de decisiones bajo incertidumbre: Razonamiento Bayesiano Poder manipular todos los eventos inciertos de manera consistente (en particular creencias subjetivas). Poder revisar nuestras creencias cuando observamos nueva evidencia. Veremos que la manera racional de hacer esta revisión es mediante el Teorema (o Regla) de Bayes. 3 4 Razonamiento Bayesiano Todos los problemas de decisión y predicción identificados hasta ahora poseen la siguiente estructura causal: Hipótesis (H) Evidencia (E) Tenemos una hipótesis H acerca de la cual queremos calcular la incertidumbre y tomar una decisión: Nuestro sistema tiene defectos críticos? Contiene suficientemente pocos defectos para ser lanzado? Se necesitan más de 3 meses-persona de esfuerzo para completar la funcionalidad requerida? Fallará el sistema dentro de un período dado de tiempo? Razonamiento Bayesiano Comenzamos con una creencia previa (no condicional) acerca de H. Ejemplo: en un hospital, queremos saber si un paciente tiene cáncer; H entonces es la hipótesis de que es así. El 10% de los pacientes anteriores fueron diagnosticados con cáncer. Podríamos comenzar entonces con los valores: P(H) = 0,1 y, por ende, P(no H) = 0,9 Una evidencia E que podría cambiar estos valores es la condición de fumador del paciente: El 50% de los pacientes que vienen al hospital son fumadores: P(E) = 0,5 5 6 1
Razonamiento Bayesiano Si descubrimos que el paciente fuma, cómo debemos revisar nuestra estimación de P(H)? Queremos la probabilidad condicional (posterior) P(H E). Los cálculos para llegar a ésta fueron desarrollados por Thomas Bayes y publicados (post mortem) en 1763: ) ( ) P (H E) = ( ) El término faltante P(E H) surge de la proporción de pacientes con cáncer que son fumadores; supongamos que P(E H) = 0,8. Razonamiento Bayesiano En el ejemplo, el teorema nos dice que: P(H E) = (0.8 0.1) / 0.5 = 0,16 Dado que en general podemos no conocer P(E), la versión más general del Teorema de Bayes establece: P (H E) = ) ( ) ( ) = ) ( ) ) ) ( ) Esta versión general surge de la aplicación de la regla de la cadena en el denominador. 7 8 Otro ejemplo: Razonamiento Bayesiano Supongamos que una persona de cada mil tiene una enfermedad. Las probabilidades previas son entonces: P(H) = 0,001, y por lo tanto P(no H) = 0,999. Tenemos una prueba para detectar la enfermedad con 100% de sensibilidad (no arroja falsos negativos) y 95% de especificidad (5% de falsos positivos). Ejemplo (cont.) Dada una persona aleatoria con prueba positiva, cuál es la probabilidad de que tenga la enfermedad? Aplicando el Teorema de Bayes: P (H E) = ) ( ) = ) ) ( ).... = 0,01963 Puede resultar sorprendente que los falsos positivos tengan semejante impacto ( aun para muchos médicos!). Sea E la observación La prueba dio positiva, entonces: P(E no H) = 0,05 y P(E H) = 1. 9 10 Sin fórmulas Un obstáculo para este tipo de razonamiento es que las personas no siempre quieren (o están entrenadas para) aplicar fórmulas matemáticas. Se pueden aplicar herramientas visuales para explicar el razonamiento Bayesiano sin la intervención de fórmulas. Una de las más útiles es el árbol de eventos. Veamos un árbol de eventos para el ejemplo anterior... Sin fórmulas: Árbol de eventos La prueba no arroja falsos negativos. Pero sí arroja falsos positivos en 5% de los casos. 11 12 2
Redes Bayesianas Las Redes Bayesianas (BNs, por sus siglas en inglés) son modelos basados en grafos que permiten: especificar el conocimiento disponible, y llevar a cabo cálculos probabilísticos como los que hemos visto hasta ahora. La estructura del grafo tiene la siguiente semántica: Los nodos representan variables aleatorias (que pueden ser hipótesis o evidencias). Los arcos dirigidos establecen dependencias entre variables. Dados valores para sus padres, una variable es independiente de sus no descendientes. Si bien se necesitan más valores para que sea independiente del resto del grafo, el conjunto es local (acotado). Redes Bayesianas Para cada variable, se especifica una Tabla de Probabilidades del Nodo (NPT, en inglés): Especifican la probabilidad de cada valor dados todos los valores posibles para sus padres. Si no tiene padres, la NPT especifica la probabilidad previa. Veamos cómo el ejemplo de los falsos positivos puede ser representado usando una BN simple de dos variables: 13 14 Una primera Red Bayesiana Es fácil ver entonces los efectos de completar las NPTs en una herramienta automática (aquí usamos AgenaRisk): Una primera Red Bayesiana Completando el valor verdadero para la variable E tenemos: P(E = f) = P(E = f H = f) P(H = f) + P(E = f H = v) P(H = v) = 0,95 0,999 + 0 0,001 P(E = v) = 1 P(E = f) Pero nosotros ya tenemos evidencia: la prueba dio positiva... La herramienta calculó automáticamente la distribución teniendo en cuenta la evidencia observada. Note que obtuvo el mismo valor que calculamos antes con las fórmulas y el árbol de evento. 15 16 La falacia del abogado Volvamos al ejemplo de la clase anterior del sospechoso con tipo de sangre poco común (una persona en mil lo tiene). Supongamos que el conjunto de potenciales responsables del crimen contiene 10.000 (por ej., adultos masculinos). Sea H la hipótesis de que nuestro acusado es inocente, y E el hecho de que su sangre es del tipo encontrado. Tenemos entonces: P(H) = 9.999/10.000 (elegido al azar) P(E H) = 1/1000 P(E ~H) = 1 (si no es inocente, seguro que la sangre es del tipo) La falacia del abogado Valores: P(H) = 9.999/10.000, P(E H) = 1/1.000, P(E ~H) = 1 Ahora aplicamos el Teorema de Bayes: P(H E) = ) ( ) =... ) ~ ) (~ ).... = 0,91 La dificultad para realizar y comprender estos cálculos se exacerba cuando hay más variables. Existen muchas herramientas automáticas que permiten: especificar un modelo, ingresar las observaciones, y obtener un resultado para la hipótesis de interés. 17 18 3
Razonamiento Bayesiano Consideremos un ejemplo similar al anterior, con variables: Hipótesis: Tuberculosis, Cáncer de pulmón, Bronquitis. Evidencia: Visita a Asia, Fumador, Placa Positiva, Disnea. (El mismo modelo puede ser utilizado manejando las variables de diferentes maneras.) Esto podría modelarse con la siguiente BN: Sólo con probabilidades previas 19 20 No fumador con disnea No fumador con disnea y placa positiva 21 22 No fumador con disnea, placa positiva y visita a Asia Redes Bayesianas Sólo se ingresó la información para completar las NPTs (no visible en las figuras). Este ejemplo muestra que con las BNs se puede: Modelar explícitamente los factores causales. Razonar de efecto a causas y viceversa. Modificar creencias anteriores ante evidencia nueva. Realizar predicciones con datos incompletos. Combinar diferentes tipos de evidencia, incluyendo tanto creencias subjetivas como datos objetivos. Tomar decisiones basadas en razonamiento auditable (lo contrario al uso de cajas negras). 23 24 4
BNs para predecir confiabilidad del SW BNs para predecir defectos en SW El uso de modelos causales permite hacer un uso mucho mejor de las métricas de software para: Realizar predicciones racionales Evitar caer en falacias Explicar anomalías empíricas Esto es especialmente útil en la predicción de defectos. La cantidad de defectos encontrados durante testing (DT) es evidencia sobre el número de defectos presentes (DP): Supongamos que los valores se dividen en: Para DP y DT: bajo, medio, alto Para CT: pobre, buena La NPT para DT podría ser: DP influye en DT La calidad del testing (CT) también influye en DT. 25 26 BNs para predecir defectos en SW BNs para predecir defectos en SW en este caso, el modelo nos dice que hay dos posibles explicaciones: Bajo número de defectos presentes Baja calidad del proceso de testing Suponiendo que las probabilidades previas son uniformes, tenemos las probabilidades de la figura para DT. Supongamos ahora que sabemos que encontramos pocos defectos en testing (DT = bajo ) 27 28 BNs para predecir defectos en SW Si ahora sabemos que la calidad del testing fue buena, tenemos cierta confianza en que hay pocos DP: BNs para predecir defectos en SW ahora no podemos concluir mucho acerca de DP. Decimos que el valor de DT es explicado por el de TQ (en inglés, explained away ). Sin embargo, si tenemos evidencia contraria (la calidad del testing fue pobre) 29 30 5
Un modelo más completo Supongamos que queremos aplicar estas técnicas en la predicción de defectos y confiabilidad de un software que estamos desarrollando. Describiremos un modelo basado en BN (simplificado) utilizado en entornos reales de desarrollo. La métrica a predecir es la cantidad de defectos encontrados en operación (DO) por los clientes. Los valores numéricos en las BNs tradicionales se discretizan (ver ejemplo anterior). Existe un método llamado discretización dinámica para evitar los problemas que surgen de hacerlo estáticamente. Un modelo más completo 31 32 Un modelo más completo Distribución marginal En este modelo simplificado, los nodos sin padres tienen distribuciones uniformes. Para el resto de los nodos, las NPT se definen: Hay nodos con NPTs especiales definidas determinísticamente; por ejemplo, residual defects. 33 34 Distribución marginal Evidencia: Complejidad y Defectos encontrados 35 36 6
Inferencia hacia adelante: Defectos en operación Hacia atrás: Calidad del proceso de diseño y testing 37 38 Nueva evidencia: Uso y calidad de testing Explicación: La calidad del proceso fue alta 39 40 Un modelo a nivel proyecto Anteriormente planteamos la necesidad de poder responder preguntas complejas para hacer un manejo efectivo del riesgo y tomar decisiones informadas. Para ilustrar cómo se aplican las técnicas descriptas hacia tal fin, describiremos un modelo a nivel proyecto para el manejo del riesgo y la calidad. Es utilizado en proyectos reales; fue desarrollado por un consorcio internacional en base a datos empíricos y ayuda de expertos. Un modelo a nivel proyecto El modelo completo tiene 6 subredes: 1) Comunicación distribuida y administración: capturan la naturaleza y escala de los aspectos distribuidos. 2) Requerimientos y especificación: variables relacionadas con la probabilidad de producir éstos con claridad. 3) Calidad del proceso: variables relacionadas con la calidad de los procesos utilizados en el proyecto. 41 42 7
Un modelo a nivel proyecto Un modelo a nivel proyecto El modelo completo tiene 6 subredes: 4) Calidad del equipo: variables que capturan la calidad profesional de los integrantes. 5) Funcionalidad entregada: variables relevantes para la cantidad de funcionalidad desarrollada, incluyendo el esfuerzo asignado al proyecto. 6) Calidad entregada: capturan la calidad final del sistema entregado y el grado de satisfacción provisto al cliente. 43 44 Vista general del modelo Administración y comunicación 45 46 Requerimientos y especificación Calidad del proceso 47 48 8
Calidad del equipo Calidad entregada 49 50 Recursos, funcionalidad entregada y variables intermedias Un modelo a nivel proyecto 51 52 Un modelo a nivel proyecto El modelo completo nos ayuda a enfrentar variables que no se pueden observar directamente: En vez de observar la calidad del proceso y el equipo, su estado se infiere de sus causas y consecuencias. Ejemplo: la calidad del proceso proviene de la calidad de los diferentes procesos de desarrollo: análisis de requerimientos, diseño, testing, etc. La calidad también se puede inferir de indicadores: resultados de auditorías y evaluaciones como CMM. Un aspecto importante del modelo es que aprovecha los indicadores que están disponibles (que pueden no ser todos). Un modelo a nivel proyecto El modelo captura los tradeoffs clásicos entre: Calidad: diferenciando entre satisfacción del usuario y la calidad entregada. Esfuerzo: medida en meses-persona. Tiempo: Medido en duración del proyecto en tiempo calendario. Funcionalidad entregada. Ejemplo: Si se quiere mucha funcionalidad con poco esfuerzo y tiempo, no se debe esperar un producto de alta calidad. 53 54 9
Un modelo a nivel proyecto El poder del modelo radica en que permite la entrada de observaciones en cualquier conjunto de variables para: Realizar predicciones en base a observaciones reales Hacer razonamiento especulativo ( what-if, en inglés). Ejemplo: Escenario 1 Supongamos que tenemos dos escenarios: base y nuevo. El base nos dará un punto de comparación para ver el efecto de los cambios que haremos sobre el nuevo. Primer cambio: queremos calidad entregada perfecta. Ejemplo: si queremos saber qué sucedería si el equipo fuera afectado por una baja y un cambio en los requerimientos: ingresamos valores en las variables correspondientes, y observamos cómo cambian las variables de interés. Veamos un ejemplo concreto... 55 56 Ejemplo: Escenario 1 Nuevos valores para la calidad del proceso y equipo. Sólo 14% de probabilidad de éxito si la calidad no es mejor que el promedio. Ejemplo: Escenario 1 Distribución para la duración esperada del proyecto. Las medianas son 31 y 39 meses. Calidad del proceso y equipo Duración esperada del proyecto 57 58 Ejemplo: Escenario 1 Cantidad de personas trabajando a tiempo completo. Las medianas son 19 y 23. Cantidad de personas tiempo completo Ejemplo: Escenario 2 Supongamos que sólo podemos contar con un equipo y procesos de calidad media. Ahora, la duración (mediana de la distribución) salta de 31 meses a 54, y 33 personas a tiempo completo en el equipo. Duración esperada del proyecto 59 60 10
Ejemplo: Escenario 3 Ahora retiramos la suposición de calidad y agregamos una restricción de 18 meses en la duración del proyecto. No sólo necesitamos mayor calidad, sino también un equipo mucho más grande... Calidad del proceso/equipo Tamaño del equipo Ejemplo: Escenario 4 También suele haber restricciones de esfuerzo... Supongamos que sólo tenemos 12 meses y 10 personas disponibles para formar el equipo de desarrollo. El impacto de estos cambios en la calidad es muy grande: Calidad de proceso/equipo 61 62 Ejemplo: Escenario 4 bis Si fijamos la calidad del producto/equipo en promedio y quitamos la restricción de calidad entregada perfecta, obtenemos la siguiente distribución para este atributo: Calidad entregada Ejemplo: Escenario 5 Ahora insistimos en el resto de las restricciones y volvemos a la calidad entregada perfecta: Lo único que resta es reducir la funcionalidad entregada. Aun en el mejor caso, vamos a entregar mucha menos funcionalidad: 63 64 Aplicación práctica El uso de modelos basado en razonamiento Bayesiano es relevante para organizaciones con procesos maduros: Incluyen recolección de datos; por ejemplo, sobre gestión del esfuerzo y ocurrencia de defectos. Expertos capaces de informar y mejorar al modelo. Administradores capaces de interpretar los resultados. Independencia condicional en Redes Bayesianas Muchas de las distribuciones de probabilidad que se necesitan serán específicas al proyecto o compañía. En muchos casos habrá una dependencia de juicios subjetivos y suposiciones, pero por lo menos éstas serán explícitas y visibles. 65 66 11
Independencia condicional en BNs Como vimos antes, una variable es independiente de sus no descendientes dados valores para sus padres. Markov blanket ( Manta de Markov ) de una variable: conjunto de sus padres, hijos, y padres de sus hijos: Independencia condicional en BNs Propiedad: Una variable es condicionalmente independiente del resto del grafo, dados valores para todas las variables en su Markov blanket. Para ver otros casos de independencia condicional, consideremos tres posibles maneras en que las variables se pueden relacionar en el grafo: Divergente Serial Convergente https://en.wikipedia.org/wiki/file:diagram_of_a_markov_blanket.svg 67 68 Conexión serial Conexión serial Si sabemos que hay problemas en las señales de tren: sabemos que es probable que se demore el tren y que Norman llegue tarde. La evidencia se propaga de B a C, a través de A. Pero si ya sabemos que el tren está demorado, no importa qué observamos en las señales. Decimos que la evidencia en A bloquea el canal. Propiedad: B y C son independientes dado un valor para A. 69 70 Conexión divergente: Causa común Conexión divergente: Causa común Ahora, la observación en A nos da información sobre B y C. Otro caso: Si la evidencia es acerca de B, ésta se propagará a través de A hasta C? Sí; dado que podemos aplicar Bayes a la inversa, tenemos: saber que B es verdadera aumenta la probabilidad de A, y esto aumenta la probabilidad de C. 71 72 12
Conexión divergente: Causa común Conexión convergente: Efecto común Volviendo a la evidencia en A, tenemos que ésta bloquea la propagación de B a C. Propiedad: B y C son independientes dado un valor para A. Claramente, cualquier evidencia en B o C se propaga a A. Se podrá propagar evidencia entre B y C? Si no sabemos nada sobre A, B y C son independientes. Qué sucede si tenemos evidencia en A? 73 74 Conexión convergente: Efecto común Cómo determinar independencia condicional Estamos ahora en condiciones de decidir si dos variables arbitrarias X e Y son independientes en una Red Bayesiana: Debe existir un nodo A para el cual o bien: En este caso sí se propaga la evidencia, como hemos visto en otros ejemplos. la conexión entre X e Y es serial o divergente y se conoce su estado; o la conexión es convergente y ni A ni ninguno de sus descendientes ha recibido evidencia. Propiedad: B y C son condicionalmente dependientes dado un valor para A. 75 76 Construcción y uso de BNs Para construir una BN, hay que seguir una serie de pasos: 1. Identificar el conjunto de variables aleatorias que son relevantes para el problema: lo mejor es mantenerlo lo más reducido posible. Resumen 2. Identificar el conjunto de valores posibles para cada variable. 3. Identificar los vínculos directos entre variables. 4. Especificar la tabla de valores de probabilidades condicionales para cada variable. 5. Validar el modelo obtenido. Al usar el modelo, la evidencia introducida debe ser consistente (no puede denotar un evento con probabilidad cero). 77 78 13
Referencias N. Fenton & J. Bieman: Software Metrics: A rigorous and Practical Approach, 3rd Ed. CRC Press, 2014. N. Fenton & M. Niel: Risk Assessment and Decision Analysis with Bayesian Networks. CRC Press, 2013. Para más información acerca de Redes Bayesianas (BNs), ver: S. Russell & P. Norvig: Artificial intelligence: A Modern Approach, 3rd Edition. Prentice hall, 2009. Los ejemplos fueron realizados con la herramienta AgenaRisk: http://www.agenarisk.com/ 79 14