Técnicas de Pruebas de

Transcripción

1 Técnicas de Pruebas de Software Lecturas Pruebas de Unidades Pruebas Integración Docente Beatriz E. Florián Mayo 3 de 2005

2 Pruebas Reglas de oro para pruebas Límites de Pruebas: Probar sólo puede determinar la presencia de los defectos, nunca su ausencia Se requiere de demostraciones formales de que es corrrecto para establecer ausencia. Probar en etapas tempranas Meta de las Pruebas: Maximizar el número y la severidad de los defectos encontrados por dinero gastado.

3 Pruebas Orden de Pruebas 11. Pruebas de Aceptación 10. Pruebas de Instalación Código de función Código de Módulo 9. Pruebas de Uso 8. Pruebas de Sistema 7. Pruebas de Regresión 6. Pruebas de Integración 5. Pruebas de Interfaz Código de Interacción o del Sistema 3, 4. Pruebas de Módulo 1, 2. Pruebas de Función

4 Pruebas de Unidades Cubrimiento de pruebas de unidades Combinación Módulo - Paquete Módulo Métodos de la Clase Función - Método

5 Pruebas de Unidades Pruebas de caja blanca Problema: La cobertura de sentencias de ninguna manera es suficiente para asegurar que un programa es correcto. Ej: Pag. 400 Cobertura de decisiones Enumerar todas las posibilidades Partición por grupos Problemas con while (pruebas formales) Problema de coberturas ocultas Pruebas de condiciones múltiples Asistencia de herramientas automáticas Pruebas basadas en afirmaciones (invariantes)

6 Pruebas de Unidades Planeación pruebas unitarias en general 2. Filosofía de las pruebas Quién desarrolla y quién prueba? 3. Qué, dónde, cómo documentar? automático, manual? conjunto a probar? tipos pruebas? 4. Grado de pruebas de unidades Prioridades, no tiempo. Pirámide. Lo crítico. Sub-unidades 5. Cómo y Dónde obtener los datos de pruebas? Legales, frontera, ilegales, aleatorios 6. Estime los recursos requeridos Históricos 7. Registre tiempo, cuenta de defectos, tipo y fuente. Estado de la aplicación, % calidad, fecha fin, histórico

7 Pruebas de Unidades Pruebas a nivel de método 2. Verificar la operación con valores normales de los parámetros 3. Verificar la operación en los valores límite de los parámetros 4. Verificar la operación para valores de parámetros fuera de los límites 5. Asegurar que ejecuta todas las instrucciones 6. Verificar todas las trayectorias, incluidos ambos lados de todas las ramas 7. Verificar el uso de todos los objetos llamados 8. Verificar el manejo de todas las estructuras de datos 9. Verificar el manejo de todos los archivos

8 Pruebas de Unidades Pruebas a nivel de clase Ejecutar los métodos de una clase en combinación o someter los objetos de la clase a eventos. Combinación de métodos: Es una secuencia de llamadas a los métodos Secuencias más probables Secuencias críticas Listado de Prioridades de pruebas Orientadas a Atributos Invariantes de clase: Observar veracidad de invariantes en la ejecución Basadas en estados: Probar objetos en términos de estado. Secuencia típica, eventos no alterantes

9 Pruebas Orden de Pruebas 11. Pruebas de Aceptación 10. Pruebas de Instalación Código de función Código de Módulo 9. Pruebas de Uso 8. Pruebas de Sistema 7. Pruebas de Regresión 6. Pruebas de Integración 5. Pruebas de Interfaz Código de Interacción o del Sistema 3, 4. Pruebas de Módulo 1, 2. Pruebas de Función

10 Pruebas de Interfaz Después de desarrollados los módulos Probar las interfaces Generar tráfico entre las interfaces con llamados a funciones Generar GUI para los llamados Desde etapas tempranas

11 Pruebas Orden de Pruebas 11. Pruebas de Aceptación 10. Pruebas de Instalación Código de función Código de Módulo 9. Pruebas de Uso 8. Pruebas de Sistema 7. Pruebas de Regresión 6. Pruebas de Integración 5. Pruebas de Interfaz Código de Interacción o del Sistema 3, 4. Pruebas de Módulo 1, 2. Pruebas de Función

12 Integración, Verificación y Validación del Sistema Integración Ensamble Verificación de Integración: Ensamble hecho según el plan? Validación de Integración: Se construye lo correcto? (requerimientos) Probar funcionalidades en el contexto completo

13 Integración, Verificación y Validación del Sistema Problemas en proceso de integración Problema: Módulos no listos para integrar. Se integran módulos parcialmente desarrollados Evitar la integración explosiva. Ventaja de la estrategia Centrar las clases en su tarea y disminuir las interfaces para lograr alta cohesión y bajo acoplamiento

14 Integración, Verificación y Validación del Sistema Recomendaciones en el proceso de integración Implementación de casos de uso completos. Construir la interfaz pronto (prioridad a lo importante) para probar desde ella. Organización metódica de un número grande de pruebas Congelar versiones para las pruebas Acompañar estas pruebas de las de regresión Generar nuevas versiones después de pruebas

15 Integración, Verificación y Validación del Sistema Proceso de Integración 1. Comprender la descomposición de la arquitectura (sencillo para integrar) 2. Identificar las partes de la arquitectura que implementará en cada iteración Construir clases de marcos de trabajo primero, o en paralelo Integrar continuamente Construir suficientes GUI para anclar las pruebas Documentar los requerimientos para cada iteración Intentar construir de abajo hacia arriba al menos parte del tiempo Intentar planear las iteraciones para eliminar los riesgos Especificar las iteraciones y construir de manera que cada caso de uso se maneje por completo

16 Integración, Verificación y Validación del Sistema Proceso de Integración 3. Descomponer cada iteración en construcciones si es necesario 4. Planear las pruebas, revisar e inspeccionar el proceso 5. Refinar el programa para reflejar los resultados

17 Integración, Verificación y Validación del Sistema Mapa Conceptual de Integración y P. Sistema 1. Decidir el alcance de las pruebas 2. Para cada iteración Para cada construcción Realizar pruebas de regresión a partir de construcciones anteriores Probar de nuevo las funciones si se requiere Probar de nuevo los módulos si se requiere Probar las interfaces si se requiere Realizar las pruebas de integración 3. Realizar pruebas de instalación 4. Realizar pruebas de aceptación

18 Factores en la secuencia de integración Factores Técnicos Reducción de Riesgo Requerimientos Uso de módulos por otros módulos Definición y uso de clases de marcos de trabajo (por paquetes, por funcionalidades en paquetes) Práctica de integración temprana Práctica de partes de riesgo clave de la aplicación lo más pronto posible Mostrar partes o prototipos a los clientes

19 Integración, Verificación y Validación del Sistema Pruebas de humo Pruebas de integración A menor escala En periodos regulares y frecuentes Seguridad a los programadores para no tener problemas en la integración completa

20 Integración, Verificación y Validación del Sistema Artefactos y Papeles Involucrados Modelos de casos de uso: Conj. casos de uso Casos de pruebas: Datos de entrada Procedimientos de pruebas: Manual, automático Evaluación de pruebas: resumen, defectos. Plan de pluebas: Orden global Componentes de las pruebas: Código fuente Defectos: Informe defectos encontrados clasificados

21 Integración, Verificación y Validación del Sistema Artefactos y Papeles Involucrados Ingeniero de Pruebas Ingeniero de Componentes Probador de Integración Probador del Sistema Modelo de casos de uso Evaluación de prueba Plan de Pruebas Caso de prueba Procedimiento de prueba Componente de prueba Administración de defectos

22 Pruebas Orden de Pruebas 11. Pruebas de Aceptación 10. Pruebas de Instalación Código de función Código de Módulo 9. Pruebas de Uso 8. Pruebas de Sistema 7. Pruebas de Regresión 6. Pruebas de Integración 5. Pruebas de Interfaz Código de Interacción o del Sistema 3, 4. Pruebas de Módulo 1, 2. Pruebas de Función

23 Pruebas de Regresión Verificar que un cambio no haya afectado la funcionalidad existente Pasar el mismo conjunto de pruebas antes de los cambios Llevarlas a cabo con frecuencia Si hay problemas de tiempo escoger cuáles podrían ser las afectadas por el cambio.

24 Pruebas Orden de Pruebas 11. Pruebas de Aceptación 10. Pruebas de Instalación Código de función Código de Módulo 9. Pruebas de Uso 8. Pruebas de Sistema 7. Pruebas de Regresión 6. Pruebas de Integración 5. Pruebas de Interfaz Código de Interacción o del Sistema 3, 4. Pruebas de Módulo 1, 2. Pruebas de Función

25 Pruebas de Sistema Pruebas de caja negra Problema: representar de la mejor manera un conjunto infinito de posibilidades con un número finito representativo de pruebas Problema: agotar todas las combinaciones de entrada es imposible. Partición de Equivalencia Análisis de valores de frontera Valores fuera del rango

26 Pruebas de Sistema Mejor si son en el entorno requerido Tomar en cuenta las plataformas Validar cada requerimiento, mejor si estos están dentro de los casos de uso Confiabilidad/Disponibilidad: Definida con base a métricas. P.E: MTBF (mean time between failures) Funcionalidad: Facilidad o dificultad con que la aplicación se mantiene operativa Utilidad:Aceptación de los usuarios de la aplicación

27 Pruebas de Sistema Tipos de Pruebas de Sistema Volumen Utilidad Desempeño Configurabilidad Compatibilidad Confiabilidad / disponibilidad Seguridad Uso de Recursos Aptitud de Instalación Recuperabilidad Funcionalidad Carga / Tensión

28 Pruebas de Sistema Pruebas Alfa y Beta (Pruebas de transición) Versión de liberación previa Retroalimentación sin afectar reputación de producto no liberado Estrategia comercial Alfa Usuarios internos o externos altamente confiables Multiplica las pruebas Pronostica la reacción de los clientes Beneficia a desarrolladores de terceras partes Anticipa la competencia Beta Clientes seleccionados, con entendimiento. Multiplica las pruebas Obtiene la reacción del cliente

29 Pruebas de Sistema Mapa conceptual para iteraciones de transición 1. Plan de pruebas alfa y beta Definir población Planear recolección de defectos Identificar criterios de detención 2. Realizar pruebas alfa luego beta Preparar Distribuir e instalar Ejecutar Reunir informes de defectos Observar criterios de detención Corregir defectos

30 Pruebas de Sistema Criterios de detención para iteraciones de transición Completar una metodología de prueba en particular Método o herramienta Porcentaje estimado de cobertura por categoría ejemplo: 95% de declaraciones cubiertas Tasa de detección de errores ejemplo: 2 defectos medios por 100 horas de operación Número total de errores encontrados % de defectos restante

31 Pruebas Orden de Pruebas 11. Pruebas de Aceptación 10. Pruebas de Instalación Código de función Código de Módulo 9. Pruebas de Uso 8. Pruebas de Sistema 7. Pruebas de Regresión 6. Pruebas de Integración 5. Pruebas de Interfaz Código de Interacción o del Sistema 3, 4. Pruebas de Módulo 1, 2. Pruebas de Función

32 Pruebas de Uso Atributos claves Accesibilidad Facilidad con la que entran, navegan y salen los usuarios Rapidez de Respuesta Eficiencia Qué tan rápido logra el usuario sus metas Que tan pequeño son los paso para una funcionalidad Comprensión Entendimiento a partir del uso y la documentación

33 Pruebas Orden de Pruebas 11. Pruebas de Aceptación 10. Pruebas de Instalación Código de función Código de Módulo 9. Pruebas de Uso 8. Pruebas de Sistema 7. Pruebas de Regresión 6. Pruebas de Integración 5. Pruebas de Interfaz Código de Interacción o del Sistema 3, 4. Pruebas de Módulo 1, 2. Pruebas de Función

34 Pruebas de Instalación Probar en el ambiente de hardware final Instalar en el entorno meta Ejecutar las pruebas del sistema Tipificar entornos del cliente

35 Pruebas Orden de Pruebas 11. Pruebas de Aceptación 10. Pruebas de Instalación Código de función Código de Módulo 9. Pruebas de Uso 8. Pruebas de Sistema 7. Pruebas de Regresión 6. Pruebas de Integración 5. Pruebas de Interfaz Código de Interacción o del Sistema 3, 4. Pruebas de Módulo 1, 2. Pruebas de Función

36 Pruebas de Aceptación La casa desarrolladora exige un documento de entrega. Ayudan al cliente a estar seguro de que se implementó lo correcto. Como las del sistema pero con un testigo por parte del cliente. Se pueden desarrollar pruebas de aceptación para entregas parciales del producto cuando se requieren.