Testing. Ingeniería del Software I. Ejecución del testing. Cómo se hace testing? Cómo seleccionar datos Datos de producción

Transcripción

1 Ingeniería del Software I Testing Martina Marré martina@dc.uba.ar Testing Es el proceso de ejecutar un producto para verificar que satisface los requerimientos o para identificar diferencias entre el comportamiento real y el comportamiento esperado (IEEE Standard for Software Test Documentation, 1983) Cómo se hace testing? Comportamiento esperado del programa - ORÁCULO = Input? Comportamiento obtenido del programa?? ok error Cómo seleccionar datos A mano mucho esfuerzo de generación problema para garantizar consistencia entre los datos Cómo seleccionar datos Datos de producción es algo muy común problema de confidencialidad de los datos en testing cantidad no es lo mismo que calidad Consistencia Ya están ahí

2 Dónde testear? Entornos de testing por sistema Rara vez un proyecto afecta a un solo sistema igual, debo probar el impacto cómo sincronizar los entornos y archivos de varios sistemas? por proyecto Útil para probar la funcionalidad implantada por un proyecto, pero sólo sirve para ese proyecto Se desperdicia mucho esfuerzo Sugerencia entorno global con los archivos críticos, compartidos por varios sistemas combinado con entornos por sistema con los archivos propios de ese sistema Movimiento de componentes programación testing de unidades integración, testing del sistema testing de aceptación Desarrollo Testing Producción Terminación del testing Se terminó el tiempo o recursos Se corrieron todos los tests derivados sin detectarse ningún error Fault-rate más bajo que un cierto valor especificado (# de errores por unidad de tiempo de testing) Se encontró un número predeterminado de errores (% del número total de errores estimado) % de cubrimiento de ciertas técnicas elegidas

3 Cubrimiento Testing estructural para terminación Medida de completitud del testing respecto a una estrategia particular Cubrimiento 100% no garantiza que el testing sea completo, sólo que satisface cierta técnica Cada técnica estructural tienen asociado un tipo de cubrimiento Derivar datos de test a partir de casos funcionales Verificar si satisfacen un cubrimiento preestablecido (p.e., branch testing) Completar para satisfacer el cubrimiento preestablecido Documentos de Casos de test Criterios de derivación de casos empleados Casos de test organizados por Módulo, sistema, unidad, etc. Incluyendo el resultado esperado con referencia al requerimiento que prueban Criterios de terminación del testing Datos de prueba Documentos de reporte de ejecución ambiente de test referencia a casos de test que prueban ejecución y resultado obtenido reporte de errores re-ejecución luego de las modificaciones pertinentes Gerenciamiento de errores? Determinación del origen del error? una vez detectado un error, se busca el problema que lo originó haciendo debugging? Clasificación de errores? prioridad? severidad? Seguimiento de errores

4 Gerenciamiento de errores Otros documentos? Reparación del software? Testing de regresión? Iterar hasta terminar Documento de instalación Permite al tester instalar correctamente el producto a testear Documento de ambientes Define el esquema de software configuration management a utilizar durante la prueba Documento de tipos de errores Tipificación de las clases de errores (eventualmente con una criticidad sugerida) Test de Regresión Tareas de testing luego de que un sistema ha sido modificado Algunos estudios dicen que la probabilidad de introducir un error al hacer un cambio es entre 50-80% [Hetzel: The complete guide to software testing, QED Info. Sciences, Wellesley, 1984] Cuándo hacer test de regresión? Durante el desarrollo de software En tareas de mantenimiento, por corrección adaptación a nuevo ambiente mejora de las prestaciones Selección de casos Casos reusables: corresponden a partes del software no modificadas (ni especificación, ni implementación) Retesteables: la especificación no cambia, pero sí la implementación Obsoletos: no pueden seguir usándose p.e., test case que especifica una relación I/O incorrecta, por modificación de la especificación

5 Testing para mejorar la calidad Conclusiones Por qué improvisar? existen técnicas de testing efectivas y probadas hace muchos años! testing del sistema, basado en sus requerimientos definir los casos y resultado esperado ANTES de construir uso de herramientas Bibliografía Taller de Testing G. J. Myers, John Wiley: The art of software testing B. Beizer: Software Testing techniques. 2nd edition, Van Nostrand Reinhold, B. Beizer: Black-box testing. John Wiley, E. Kit: Software testing in the real world W. Perry: Effective Methods for Software Testing, John Wiley, Rapps, Weyuker... En fotocopiadora "El programa que se desea testear toma tres números como entrada y determina si estos números definen los lados de un triángulo equilátero, isósceles o escaleno Jueves 29-11, 18hs. traer los casos y datos de test funcional definidos