Proyectos de Sistemas de Software

Transcripción

1 Proyectos de Sistemas de Software Ingeniería en Sistemas de Información Uso de métricas para la toma de decisiones (IV) Confiabilidad del Software Profesor: Gerardo I. Simari Depto. de Ciencias e Ingeniería de la Computación Universidad Nacional del Sur Bahía Blanca, Argentina 2do. Cuatrimestre de 2017

2 Confiabilidad del software Los modelos de calidad identifican a la confiabilidad como atributo clave de alto nivel. Es el atributo más estudiado, y los análisis cuantitativos datan de los años 70. En sus comienzos, los estudios surgieron de la teoría de la confiabilidad del hardware. Como vimos, en algunos casos el uso de métricas asociadas con la confiabilidad se pueden utilizar junto con modelos causales para mejorar la toma de decisiones. No existen métodos para asegurar alta confiabilidad. 2

3 Teoría de la confiabilidad El problema básico es el de predecir cuándo fallará un sistema. En el hardware, la principal preocupación es la falla de componentes por desgaste físico: Corrosión, shock, fatiga, sobrecalentamiento, etc. Tienen naturaleza aleatoria/probabilística. Si bien el desgaste físico no es problema en el software, se pueden modelar las fallas de la misma manera: Función de densidad de probabilidad ( pdf ) f(t) Describe la incertidumbre acerca del momento de la falla. 3

4 Teoría de la confiabilidad Un ejemplo de pdf: fallas independientes del pasado: λ La función exponencial surge de la suposición de aleatoriedad, y es central a muchos modelos. Al disponer de una pdf, podemos calcular la probabilidad de que se produzca una falla en un intervalo 1 2 : Dado que es un dominio continuo, no tiene sentido calcular fallas en un punto, sólo intervalos. 4

5 Teoría de la confiabilidad Otra pregunta básica es cuánto tiempo pasará hasta que se produzca una falla. La probabilidad de falla desde el tiempo 0 hasta un tiempo t dado está dada por la función de distribución (también llamada acumulativa): Decimos que una componente sobrevive hasta que falla por primera vez; la función de confiabilidad es entonces: 5

6 Teoría de la confiabilidad El tiempo medio hasta fallar (MTTF, en inglés) es la media de la pdf (o el valor esperado de la variable): El tiempo mediano hasta fallar es el punto para el cual la probabilidad de falla hasta ese momento es idéntica a la de falla luego: buscamos tal que. Para la distribución exponencial, tenemos: λ λ 6

7 Teoría de la confiabilidad Para la distribución exponencial, tenemos: λ λ y luego: La función de hazard (riesgo) es la probabilidad de falla condicional a la supervivencia hasta el momento: 7

8 Teoría de la confiabilidad Hasta ahora consideramos la incertidumbre acerca de la primera falla. En general, hay que asumir que los sistemas pueden fallar repetidamente, y no siempre por la misma causa. Esto lo podemos visualizar de la siguiente manera: [Fenton, 2014] 8

9 Teoría de la confiabilidad Para cada falla, tenemos una nueva variable aleatoria i que representa el momento de la i-ésima falla. Cada variable tiene su pdf, y por lo tanto sus funciones asociadas. En la confiabilidad del hardware en general se asume que todas las distribuciones son idénticas, ya que se reemplazan componentes por otras iguales. En el estudio de la confiabilidad del software no se hace esta suposición; tenemos crecimiento de la confiabilidad. 9

10 Teoría de la confiabilidad Similar al hazard rate, el ROCOF ( rate of occurrence of failures ) nos da la probabilidad de ocurrencia de cualquier falla: es la probabilidad de una falla en El ROCOF es difícil de computar en general. Suele ser erróneamente aproximado como la cantidad de fallas en un intervalo unitario. 10

11 Teoría de la confiabilidad Las medidas vistas hasta ahora se enfocan en la interrupción del uso adecuado. Falta ahora considerar el tiempo que se necesita para volver a poner el sistema en funcionamiento. El tiempo medio para reparar (MTTR) nos da esta medida. El tiempo medio entre fallas es entonces: Una medida posible para la disponibilidad es por lo tanto: 11

12 Confiabilidad del software Las fallas en el SW no son a causa del desgaste. Cuando reparamos una falla, tenemos la oportunidad de incrementar la confiabilidad de todo el sistema. Si bien a largo plazo se espera que aumente la confiabilidad, puede haber bajas a corto plazo. Para calcular las funciones presentadas anteriormente, podemos guardar datos tales como tiempo de ejecución y momentos en los que ocurren fallas. Veamos un ejemplo real de este tipo de dataset: 12

13 Tiempos de ejecución (seg.) entre fallas consecutivas Leer por filas, de izquierda a derecha. (Musa, 1979) 13

14 Tiempos de ejecución (seg.) entre fallas consecutivas [Fenton, 2014] 14

15 Toma de decisiones En cualquier momento queremos poder contestar las siguientes preguntas: Qué tan confiable es el software ahora? Es lo suficientemente confiable como para dejar de hacer testing y entregarlo? Cuán confiable será luego de que se invierta un tiempo dado adicional en testing? Cuánto más se espera que debamos trabajar para que el objetivo de confiabilidad sea alcanzado? 15

16 Incertidumbre inherente Hay una incertidumbre inherente en los datos. Aunque supiéramos todas las fallas que tiene el sistema, no sabríamos cuándo se va a producir la próxima. Por esto, el momento de la próxima falla puede modelarse como una variable aleatoria. Suponemos entonces que tenemos: historia de i 1fallas, con tiempos entre fallas t 1, t 2,, t i 1. variable aleatoria T i. La confiabilidad está entonces dada por expresiones sobre la probabilidad de i. 16

17 Confiabilidad del sistema Podemos describir la probabilidad al conocer la pdf ( i ), la función de distribución ( i ) o de confiabilidad ( i ). Como vimos anteriormente, estas funciones se pueden expresar una en términos de otra. Lamentablemente, desconocemos las funciones: Como en toda aplicación de la estadística, debemos estimar las funciones en base a las observaciones. Todo intento de medir la confiabilidad es un acto de predicción, y es inherentemente incierto. 17

18 Sistema de predicción Para resolver estos problemas, definimos un sistema de predicción: Un modelo que nos da la especificación de un proceso estadístico. Ejemplo: Funciones vistas, y suposición de independencia. Un procedimiento de inferencia para los parámetros desconocidos del modelo, basado en las observaciones de la variable aleatoria. Un procedimiento de predicción que combina el modelo con el proceso de inferencia para realizar predicciones. 18

19 Sistema de predicción: Ejemplo Si las fallas ocurren de manera totalmente aleatoria (sin dependencias), entonces el modelo es exponencial. Tenemos por lo tanto: λiti i i Para hacer inferencias: debemos estimar los parámetros i. Sabemos que la media de la función exponencial es i. Una estimación (cruda) de i se obtiene calculando el promedio de las dos últimas observaciones: i i 2 1 i i

20 Sistema de predicción: Ejemplo Si aplicamos este sistema a los datos de la tabla anterior hasta el momento 3, hemos observado 1 y 2 El MTTF estimado es Para, tenemos 2 y 3 El MTTF estimado es ahora Para, tenemos 3 y 3 El MTTF estimado es ahora 20

21 Sistema de predicción: Ejemplo [Fenton, 2014] MTTF estimado (eje Y) luego de x segundos (eje X); curvas para estimaciones usando las últimas 2, 10, y 20 observaciones. 21

22 Modelos paramétricos de confiabilidad Se hacen las siguientes suposiciones: El sistema opera en un entorno o bien real o simulado Cada vez que ocurre una falla, se intenta arreglar su causa La ejecución surge de la selección de entradas de un espacio I que contiene todos los valores posibles. El sistema transforma las entradas en salidas (espacio O): [Fenton, 2014] 22

23 Modelos paramétricos de confiabilidad Se hacen las siguientes suposiciones (cont.): Hay un único usuario; si hay diferentes usuarios, pueden tener comportamientos diferentes que complican el modelado probabilístico. Las fallas se detectan comparando la salida con la que debería producir según las especificaciones; no tratamos este problema aquí. Dadas estas suposiciones, tenemos dos fuentes de incertidumbre acerca de las fallas: Entorno operacional (Tipo I): Aunque conociéramos I F perfectamente, no sabemos cuándo serán elegidas esas entradas. Efecto de remoción de fallas (Tipo II): Desconocemos el éxito del intento de arreglar una falla, y su efecto si éste es exitoso. 23

24 Modelos paramétricos de confiabilidad En general, la incertidumbre de Tipo I es la más sencilla de abordar: Se asume que la selección de entradas es aleatoria, y la distribución de fallas sigue una distribución exponencial condicional a las observaciones realizadas. El problema mayor es la de Tipo II, dado que el valor de cambia cada vez que se hace debugging. Los modelos más populares de confiabilidad se caracterizan por su manejo de esta incertidumbre. 24

25 El Modelo Jelinski-Moranda El modelo JM es el más antiguo (1972). Para cada i, tenemos: i i λiti donde i El modelo subyacente es el exponencial; N es el número inicial de fallas y es la contribución de cada falla a la proporción o tasa (rate, en inglés) de fallas. No modela la incertidumbre de Tipo II; asume que comenzamos con fallas y los arreglos son perfectos. 25

26 El Modelo Jelinski-Moranda [Fenton, 2014] Hazard rate (eje Y) según el modelo JM; la curva muestra cómo evoluciona a través del tiempo (eje X). Nota: Recuerde que el hazard rate de la distribución exponencial es λ. 26

27 El Modelo Jelinski-Moranda El procedimiento de inferencia en el modelo JM (y el resto de los que veremos) es el clásico estimación por máxima verosimilitud (Maximum Likelihood Estimation). Intuitivamente, este proceso busca los parámetros de la distribución que mejor se ajustan a las observaciones. En este caso, buscamos estimar y. Veamos cómo se comporta el modelo con un ejemplo. 27

28 El Modelo Jelinski-Moranda i i-ésimo MTTF i-ésimo MTTF simulado Modelo JM con N 15 y Φ El MTTF número 16 es infinito. 28

29 El Modelo Jelinski-Moranda Las principales críticas al modelo son: 1. No siempre es realista suponer que la secuencia de proporciones de fallas es totalmente determinista. 2. No es realista la suposición de que todas las fallas contribuyen equitativamente a la proporción de fallas. 3. En la práctica, las predicciones que realiza el modelo son generalmente muy optimistas. Otros modelos basados en JM son los de Shooman y Musa. 29

30 El Modelo Littlewood El modelo LM intenta una aproximación más realista al modelado de fallas finitas. A diferencia de JM, no asume que los saltos de mejoramiento de confiabilidad son idénticos. Asume que las variables aleatorias siguen una distribución (generalización de la exponencial) con parámetros (,. Dado que hay dos fuentes de incertidumbre para los hazard rates, decimos que es un modelo doblemente estocástico. 30

31 El Modelo Littlewood Tiene una tendencia a predecir que las fallas de mayor importancia aparecen antes que las menores. Tanto JM como LM son ejemplos de modelos llamados de orden exponencial : Los tiempos X j en los que aparece cada una se modelan como variables aleatorias independientes e idénticamente distribuidas. Para LM, la distribución es la de Pareto: j 31

32 El Modelo Littlewood-Verrall (LV) Este modelo utiliza también la distribución exponencial para los tiempos inter-falla i; supone que son pdf condicionalmente independientes entre sí: Se asume que los i distribución : i λiti i i i i independientes siguen una i El modelado del crecimiento (o decrecimiento) de la confiabilidad se controla con la secuencia. Generalmente se toma una secuencia

33 El Modelo Littlewood-Verrall (LV) Este modelo utiliza también la distribución exponencial para los tiempos inter-falla i; supone que son pdf condicionalmente independientes entre sí: i i i i λiti El signo de β 2 permite determinar si hay crecimiento o degradación de la confiabilidad; los datos utilizados para estimar a este parámetro permitirán Se asume que los i son independientes y siguen una distribución : determinar qué caso se está dando con mayor probabilidad. i i El modelado del crecimiento (o decrecimiento) de la confiabilidad se controla con la secuencia. Generalmente se toma una secuencia

34 Variantes: Procesos no homogéneos de Poisson Otra forma de modelar el tipo de datos de tiempos interfalla visto antes es mediante los procesos no estacionarios. Un tipo popular de modelo para éstos son los Procesos no homogéneos de Poisson (NHHP). El estado siguiente del proceso sólo depende del actual. Una forma de construir un NHHP es suponer que (número de fallas) sigue una distribución de Poisson. Estos procesos se pueden utilizar en la especificación de las funciones de probabilidad de modelos como JM y LM. Goel Okumoto (GO) es una variante NHHP de JM. 34

35 Precisión de predicción Los modelos vistos son sólo algunos entre una gran variedad existente. En general, la precisión de estos modelos varía mucho (de un dataset a otro, y de un tipo de predicción a otra). A continuación vemos el resultado de intentar predecir los valores del dataset de Musa con diferentes modelos. Cada modelo se usa para generar 100 estimaciones del tiempo mediano para la próxima falla (confiabilidad actual). Todos están de acuerdo en que la confiabilidad aumenta, pero hay mucho desacuerdo en la cantidad. 35

36 Comparación de modelos [Fenton, 2014] 36

37 Precisión de predicción Hay dos fuentes de imprecisión: Sesgos: desvío consistente de los verdaderos valores. En la figura anterior, vemos que JM es muy optimista, y LV muy pesimista. Ruido: predicciones sucesivas exhiben fluctuaciones bruscas. Lamentablemente, al no conocer los verdaderos valores, no es claro cómo detectar la presencia de sesgos y ruido. Sin embargo, existen técnicas para evaluar la precisión de un conjunto dado de predicciones. 37

38 Sesgos: u-plots Para detectar sesgos en las predicciones, podemos contar la cantidad de veces que el i observado es menor al valor que se predijo anteriormente. Ejemplo: En la figura comparativa, hay 66/100 instancias donde JM predice valores superiores a los reales. Si consideramos sólo las últimas 50 predicciones, la proporción sube a 39/50. Similarmente, los valores de LV muestran que este modelo es muy pesimista. No hay evidencia en estos datos sobre sesgos en LNHPP. 38

39 Sesgos: u-plots Buscamos evidencia de diferencias consistentes entre las secuencias i i (predicciones) y i i (valores verdaderos). Como primer paso para la construcción de un u-plot, calculamos la secuencia i, donde i i i. Cada elemento es simplemente la estimación de. Ejemplo: volvamos al sistema básico donde las predicciones son el promedio de las dos últimas observaciones. La función de distribución estimada es: i i Donde 39

40 Ejemplo [Fenton, 2014] Cada valor i representa la probabilidad de que el valor interfalla observado es menor que el valor de la predicción anterior. 40

41 Sesgos: u-plots El u-plot se construye ubicando los valores i a lo largo del eje X, con rango de 0 a 1. El valor correspondiente en el eje Y viene dado por una función escalera con altura de escalón igual a, donde es la cantidad de valores i. Se dice que una serie de predicciones es perfecta si: para todos los valores de. i i i i Para comparar los valores obtenidos con los ideales, calculamos su distancia a la recta con pendiente 1. 41

42 Sesgos: u-plots [Fenton, 2014] La máxima distancia entre los valores obtenidos y la recta con pendiente 1 se llama distancia Kolmogorov. 42

43 Sesgos: u-plots Veamos los u-plots para los modelos con predicciones extremas para el dataset de Musa: [Fenton, 2014] Las distancias son de 0.19 para JM y para LV (evidencia de su falta de precisión). 43

44 Sesgos: u-plots Los u-plot no sólo nos muestran evidencia de imprecisión, sino también la naturaleza de los errores: En el ejemplo, vemos que JM siempre está por encima de la recta, lo cual indica que hay demasiados valores bajos. Similarmente, LV está siempre por debajo, lo cual significa que es pesimista en sus predicciones. Este análisis podría usarse para concluir que el verdadero valor de confiabilidad yace entre ambos. Si hacemos los cálculos para LNHPP, la distancia Kolmogorov obtenida es (muy cercana a la recta). 44

45 Ruido La otra fuente de imprecisión es el ruido: la fluctuación en las predicciones. Suele ser fácil obtener predicciones libres de sesgos pero inútiles debido al nivel de ruido que exhiben. Si los verdaderos valores no fluctúan, decimos que el ruido presente es injustificado. Por otra parte, si los verdaderos valores sí fluctúan, las fluctuaciones en las predicciones tienen sentido: en este caso decimos que hay ruido absoluto. Podemos derivar métricas para evaluar el ruido absoluto. 45

46 Ruido Lamentablemente, es muy difícil medir sólo el ruido absoluto injustificado. No se han podido obtener herramientas que sean sólo sensibles a este tipo de ruido. Veremos herramientas más generales, llamadas prequential likelihood functions. Similar a lo hecho hasta ahora, hacemos predicciones acerca de los valores de las distribuciones i. Supongamos que predecimos valores, usando un modelo A, para un rango de a. 46

47 Función PL La función PL para estas predicciones se define: i i donde i i es la estimación de la pdf de i. Usando los promedios de los dos últimos valores: [Fenton, 2014] 47

48 Función PL La función PL para estas predicciones se define: i i donde i i es la estimación de la pdf de i. Usando los promedios de los dos últimos valores: Cuánto mejores serían las predicciones basadas en los últimos tres valores vistos? [Fenton, 2014] 48

49 Ratio de funciones PL El principal resultado que tenemos es que si tenemos dos modelos, A y B tal que: entonces A desacredita a B (B puede rechazarse). A B Como conclusión más general, tenemos que si A B aumenta a medida que aumenta, entonces produce predicciones más precisas que. Veamos un gráfico para entender la intuición detrás de este resultado... 49

50 Ratio de funciones PL [Fenton, 2014] 50

51 Ratio de funciones PL Esta técnica es sensible a varias maneras en las que las predicciones pueden ser imprecisas. Por ejemplo: Si son consistentemente optimistas (sesgo), la pdf predictiva estaría corrida hacia la derecha en relación a la verdadera. Si son ruidosas pero no sesgadas, la secuencia de pdfs predictivas estarían aleatoriamente corridas. Cuidado: El hecho de que hasta el momento un predictor sea superior a otro no significa que lo seguirá siendo. En la práctica, generalmente no se dan cambios bruscos. 51

52 En busca del mejor modelo Tiempo mediano para fallas basado en otro dataset de Musa (ver Tabla 11.6 en [Fenton, 2014]). [Fenton, 2014] Hay desacuerdo en las predicciones según los modelos. 52

53 En busca del mejor modelo Hay gran diferencia en las predicciones realizadas por cada modelo; cuál será el mejor? Tiempo mediano para fallas basado en otro dataset de Musa (ver Tabla 11.6 en [Fenton, 2014]). [Fenton, 2014] Hay desacuerdo en las predicciones según los modelos. 53

54 En este caso, ninguno es bueno [Fenton, 2014] Algunos tienen sesgo optimista, otros pesimista... 54

55 Recalibración de predicciones Existe un proceso que incorpora el conocimiento acerca de los errores que comete el modelo de predicción. Consideremos una función i que captura la relación entre la distribución de predicción i y la verdadera i : i i i Si bien desconocemos las funciones i, supongamos que la secuencia cambia lentamente a medida que aumenta. Esencialmente, definimos un nuevo estimador: i i i 55

56 Recalibración de predicciones Dado que captura la relación entre las predicciones y la realidad, podemos basar su estimación en los u-plots. Se busca aprender de los errores cometidos en el pasado. Pasos: 1. Verificar que el nivel de error de las predicciones anteriores es aproximadamente estacionario. 2. Obtener el u-plot para predicciones antes de T i. Unirlas para formar una línea poligonal y alisarla para obtener. 3. Utilizar el modelo básico para producir una predicción F i t i. 4. Recalibrar según la predicción con t i F i t i. 56

57 Línea poligonal alisada: [Fenton, 2014] 57

58 u-plots recalibrados [Fenton, 2014] 58

59 Predicciones recalibradas Valores originales [Fenton, 2014] 59

60 Ratios de funciones DL [Fenton, 2014] El eje Y está en escala logarítmica; los valores recalibrados son superiores a los básicos ( por qué?). 60

61 Comentarios finales Es importante evaluar la confiabilidad del sistema con datos provenientes de entornos operacionales lo más parecidos posibles a los reales. Estos métodos necesitan demasiados datos como para garantizar confiabilidad ultra-alta ; sólo se pueden aplicar para requerimientos relativamente modestos de confiabilidad. Las técnicas vistas requieren esfuerzo computacional, pero existen herramientas para automatizarlas efectivamente. Estos sistemas predictivos se pueden incorporar a los modelos causales vistos anteriormente. 61

62 Referencias [Fenton, 2014] N. Fenton & J. Bieman: Software Metrics: A Rigorous and Practical Approach, 3rd Ed. CRC Press, [HB-SRE, 1996] M. R. Lyu: Handbook of Software Reliability Engineering. IEEE Computer Society Press / McGraw-Hill Book Co., Disponible en forma libre en: 62