ISO/IEC/IEEE El nuevo estándar internacional para pruebas de software

Transcripción

1 ISO/IEC/IEEE El nuevo estándar internacional para pruebas de software Grupo de trabajo AEN/CTN 71/SC7/GT26 Ingeniería del Software y Sistemas de Información Pruebas del Software Jornada difusión proyecto TESTEA Zaragoza, 20 de Mayo de 2015

2 Grupo de Trabajo AEN/CTN71/SC7/GT26 Pruebas de Software Javier Tuya Universidad de Oviedo (coordinador del GT26) Ramón Lema Juan M. Valera Clara García Ewout van Driel Serial Testers Celestina Bianco Mª José Escalona Isabel Ramos Manuel Fdez. Lidia Cruz José Marañón Awnaba Software Xavier Escudero Total: 19 miembros, 13 organizaciones diferentes ISO/IEC/IEEE Pruebas de software 2

3 AENOR ISO/IEC/IEEE Pruebas de software 3

4 ISO/AENOR Estructura de Comités y Grupos de trabajo ISO/IEC & Organismos nacionales ISO SC7 JTC1 WG26 IEC AENOR CTN71 SC7 GT26 Comités ISO y Grupos de Trabajo: ISO: International Organization for Standarization JTC1: Tecnología de la Información SC7: Ingeniería de Software y Sistemas WG26: Pruebas de software Organismos nacionales (ES) AENOR: Asociación Española de Normalización y Certificación GT26: Pruebas del Software ISO/IEC/IEEE Pruebas de software 4

5 Contenidos Estándares para pruebas y problemática Elaboración y estructura de ISO/IEC/IEEE Software Testing Parte 1 Conceptos y definiciones Parte 2 Modelo de procesos de pruebas Parte 3 Documentación de pruebas Parte 4 Técnicas de prueba Estado actual, futuro y conclusión ISO/IEC/IEEE Pruebas de software 5

6 Qué son los estándares? Set of mandatory requirements established by consensus and maintained by a recognized body to prescribe a disciplined uniform approach or specify a product, that is, mandatory conventions and practices (ISO/IEC 24765:2009 Systems and software engineering vocabulary) Standards provide a body of knowledge that provides the basis for a professional discipline Basis for: Communication common terminology Professional qualifications Certification/compliance schemes Benchmark of good industry practice Contracts Interoperability and consistency ISO/IEC/IEEE Pruebas de software 6

7 Para qué un estándar para Pruebas de software? Cuerpo de conocimiento como base para esta disciplina profesional Alto grado de acuerdo internacional Adaptable (Tayloring) Cliente: Confianza en el proveedor Benchmark para buena práctica industrial Vinculación contractual Proveedor: Comunicación terminología común Certificación/Acreditación, marketing Cualificación professional, formación Mejora continua, Interoperabilidad, consistencia ISO/IEC/IEEE Pruebas de software 7

8 Qué estándares para Pruebas de Software podríamos usar? Estándares BSI BS , SW Testing: Part 1-Vocabulary BS , SW Testing: Part 2-Software Component Testing Estándares IEEE testing: IEEE Std 829, Software Test Documentation IEEE Std 1008, Software Unit Testing Estándares sectoriales Cuerpo de conocimiento y metodologías, p.e. ISTQB TMap Next Otros estándares de tipo general: ISO/IEC 12207, ISO/IEC/IEEE Pruebas de software 8

9 Qué problemas plantean algunos de estos estándares? IEEE & BSI Standards IEEE 829: documentación (proceso implícito) IEEE 1008: pruebas unitarias BS & 2: pruebas unitarias Aspectos clave sin cubrir para un estándar de propósito general: Pruebas no unitarias (integración, sistema, aceptación) Modelo de procesos explíctio Aspectos organizativos y gestión del proyecto. Riesgos Visión más completa de técnicas de prueba Definiciones en conflicto, procesos y procedimientos Qué estándar seguir? ISO/IEC/IEEE Pruebas de software 9

10 ISO/IEC/IEEE Software Testing - Inicio Propuesta de proyecto de ISO: Feb 2007 Alcance: This project will produce a software testing standard applicable to all types of software products and software-intensive systems Propósito: to unify and integrate the currently fragmented corpus of normative literature regarding testing that is currently offered by three distinct standards-makers: BSI, IEEE, and ISO/IEC JTC 1/SC 7. The result of the project will be a consistent, unified treatment adopted by all three organizations Cuatro partes (Conceptos, procesos, documentación, diseño de pruebas) ISO/IEC/IEEE Pruebas de software 10

11 ISO/IEC/IEEE Software Testing - Estructura Parte 1 Conceptos y Definiciones BS Parte 4 Técnicas de Prueba Parte 2 Procesos Parte 3 Documentación BS IEEE 829 Parte 5 Pruebas Dirigidas por Palabras Clave Evaluación de Procesos Revisión de Productos de Trabajo IEEE 1028

12 ISO/IEC/IEEE Elaboración Working Draft (WD) Committee Draft (CD) Draft International Standard (DIS) Final Draft International Standard (FDIS) International Standard Partes 1, 2 & 3 Parte 4 Parte 5 WD WD CD1 CD2 CD1 CD3 CD2 DIS CD3 FDIS DIS1 WD DIS2 CD FDIS DIS May 10 May 11 May 12 May 13 May 14 May 15 ISO/IEC/IEEE Pruebas de software

13 Parte 1 Conceptos y Definiciones Términos y definiciones prueba estática y dinámica, base de prueba, tipo de prueba, subproceso de prueba Conceptos sobre pruebas de software: Las pruebas de software en las organizaciones Los procesos de prueba en los ciclos de vidas (visión general) Pruebas basadas en riesgos Subprocesos de prueba Estrategias de prueba Automatización de las pruebas Problemas en la gestión ISO/IEC/IEEE Pruebas de software 13

14 Parte 1 Conceptos y Definiciones Anexos: ANEXO A. El papel de las pruebas en la verificación y la validación ANEXO B. Métricas ANEXO C. Pruebas en diferentes modelos de ciclo de vida (Desarrollo ágil, Desarrollo secuencial, Desarrollo evolutivo) ANEXO D. Ejemplos de subprocesos de prueba detallados (Aceptación, Desarrollo, Integración, Personalización, Regresión, etc.) ANEXO E. Roles y responsabilidades en el testing ISO/IEC/IEEE Pruebas de software 14

15 Parte 2 - Modelo de Procesos de pruebas Procesos de prueba de la organización Procesos de gestión de las pruebas Planificación Control y seguimiento Finalización Procesos de pruebas dinámicas Diseño e Implement. Gestión del entorno Ejecución Reporte de incidencias ISO/IEC/IEEE Pruebas de software 15

16 P2 Especificación pruebas de la organización Especificación de pruebas de la organización Política de pruebas Estrategia(s) de pruebas Objetivos Alcance Organización Principios gobernantes Procesos Responsables Productos Técnicas Herramientas ISO/IEC/IEEE Pruebas de software 16

17 P2 Procesos de Gestión Procesos de Pruebas de la Organización Política y estrategia de pruebas Planificación Actualizaciones del Plan Plan Realimentación para la política y estrategia de pruebas Procesos de Gestión de pruebas Control y seguimiento Resultados Finalización Informe de Finalización Plan, Directrices de Control Procesos de Gestión de Pruebas Plan, Informe del estado Informe de finalización, Métricas Plan, Directrices de Control Métricas Procesos de Pruebas Dinámicas Plan, Directrices de Control Métricas Procesos de Pruebas Dinámicas ISO/IEC/IEEE Pruebas de software 17

18 P2 Aplicación recursiva de procesos - Ejemplo Política de pruebas Estrategia de pruebas de la organización Plan de pruebas del proyecto Gestión de las pruebas de la organización Gestión de las pruebas del proyecto Gestión de pruebas estáticas Gestión de pruebas de sistema Gestión de pruebas de usabilidad Gestión de pruebas de aceptación... P.d.P. estáticas Pruebas estáticas P.d.P. de sistema Pruebas de sistema P.d.P. de usabilidad Pruebas de usabilidad P.d.P. de aceptación Pruebas de aceptación... Pruebas estáticas (revisiones, análisis estático ): cubierto por otras normas, p.e. IEEE 1012, 1028 ISO/IEC/IEEE Pruebas de software 18

19 P2 Procesos de Gestión Plan de Pruebas Entender el Contexto (TP1) Alcance Planificación Comunicar Plan de Pruebas (TP9) Organizar el Plan de Pruebas (TP2) Consenso del plan de pruebas (TP8) Aprobación Plan de Pruebas Calendario del plan de pruebas Identificar y Analizar Riesgos (TP3) Registrar el Plan de Pruebas (TP7) Borrador Plan de Pruebas Análisis de Riesgos Identificar las mitigaciones de riesgos (TP4) Determinar personal y calendario (TP6) Calendario y Perfil del Personal Enfoque de Mitigación Diseñar la Estrategia de Pruebas (TP5) Estrategia de Prueba ISO/IEC/IEEE Pruebas de software 19

20 P2 Procesos de Gestión Plan de Pruebas Entender el Contexto (TP1) Alcance Planificación Comunicar Plan de Pruebas (TP9) Organizar el Plan de Pruebas (TP2) Consenso del plan de pruebas (TP8) Aprobación Plan de Pruebas Calendario del plan de pruebas Identificar y Analizar Riesgos (TP3) Registrar el Plan de Pruebas (TP7) Borrador Plan de Pruebas Análisis de Riesgos Identificar mitigación de riesgos (TP4) Determinar personal y calendario (TP6) Calendario y Perfil del Personal Enfoque de Mitigación Diseñar la Estrategia de Pruebas (TP5) Estrategia de Prueba ISO/IEC/IEEE Pruebas de software 20

21 P2 Procesos de Gestión Seguimiento y Control Progreso Reporte (TMC4) Informe del estado de las pruebas Control [Pruebas Incompletas] Plan Preparación (TMC1) Métricas Monitorización (TMC2) Métricas Progreso Control (TMC3) Directrices de Control [Pruebas Completas] Procesos de Pruebas Dinámicas <<Instanciado>> Procesos de Pruebas <<Instanciado>> Procesos de Gestión de Pruebas ISO/IEC/IEEE Pruebas de software 21

22 P2 Procesos de Gestión Archivar Activos (TC1) Limpiar Entorno (TC2) Entorno disponible Finalización Lecciones Aprendidas (TC3) Lecciones Aprendidas Informar Finalización (TC4) Informe Finalización ISO/IEC/IEEE Pruebas de software 22

23 P2 Procesos de Pruebas Dinámicas Procesos de Gestión de pruebas Plan de Pruebas Métricas Directrices de Control Requisitos del entorno de pruebas Diseño e implementación de pruebas Procesos de Pruebas Dinámicas Especificación de pruebas Preparación y mantenimiento del entorno de pruebas Ejecución de pruebas Informe de entorno de pruebas disponible Resultados de pruebas [Incidencia detectada O Repetir prueba] Informe de incidencias en pruebas [Sin incidencias] Informe de incidencia ISO/IEC/IEEE Pruebas de software 23

24 P2 Procesos de Pruebas Dinámicas Identificar juegos de características (TD1) Derivar condiciones de prueba (TD2) Juegos de características Derivar elementos de cobertura de prueba (TD3) Diseño e Implementación Condiciones de prueba (test conditions) Elementos de cobertura de prueba (test coverage ítems) Derivar casos de prueba (TD4) Casos de prueba Base de pruebas (Test basis) Ensamblar conjuntos de pruebas (TD5) Derivar procedimientos de prueba (TD6) Conjuntos de pruebas Procedimientos y scripts de prueba ISO/IEC/IEEE Pruebas de software 24

25 P2 Procesos de Pruebas Dinámicas Identificar juegos de características (TD1) Derivar condiciones de prueba (TD2) Juegos de características Derivar elementos de cobertura de prueba (TD3) Diseño e Implementación Condiciones de prueba (test conditions) Elementos de cobertura de prueba (test coverage ítems) Derivar casos de prueba (TD4) Casos de prueba Base de pruebas (Test basis) Ensamblar conjuntos de pruebas (TD5) Derivar procedimientos de prueba (TD6) Conjuntos de pruebas Procedimientos y scripts de prueba ISO/IEC/IEEE Pruebas de software 25

26 Parte 3 Documentación Define plantillas que pueden ser utilizadas para generar documentación (information items) producto de los procesos de la parte 2 Diferentes formas: registro electrónico, dividido, combinado Conformidad adaptada: según procesos de P2 o según necesidades de proyecto/organización. Ejemplos (Anexos C a S). Versiones diferentes para proyectos ágiles y tradicionales, p.e. Políticas y estrategias de la organización Plan de pruebas e informes de estado Especificaciones de pruebas, entorno y datos Mapeo a otros estándares (Anexo T): IEEE 829:2008, BS ISO/IEC 15289, ISO/IEC 25051:2006 ISO/IEC/IEEE Pruebas de software 26

27 Parte 4 Técnicas para el diseño de las pruebas Conformidad Total: Subconjunto elegido de técnicas Adaptada: Subconjunto de requisitos. Nuevas Técnicas Técnicas para el diseño de las pruebas Basadas en las especificaciones Basadas en la estructura Basada en la experiencia Medidas de cobertura Anexos Anexo A. Características de calidad Anexo B, C y D. Guías y ejemplos de aplicación de las diferentes técnicas de diseño Anexo E. Efectividad en el cálculo de la cobertura ISO/IEC/IEEE Pruebas de software 27

28 Basadas en las especificaciones P4 Clasificación de las técnicas de diseño de las pruebas Particiones de clases de equivalencia Método de árboles de clasificaciones Análisis de valores límite Pruebas de sintaxis Pruebas combinatorias All Combinations Testing / todas las combinaciones Pair-wise testing / todas las parejas Base choice testing / selección de la base más probable Each choice testing / selección de cada opción Tablas de decisiones Análisis de causas y efectos Pruebas de transiciones de estados Pruebas de escenarios Pruebas de casos de uso ISO/IEC/IEEE Pruebas de software 28

29 P4 Clasificación de las técnicas de diseño de las pruebas Basadas en la experiencia: Error guessing ISO/IEC/IEEE Pruebas de software 29

30 P4 Medición de la cobertura alcanzada Cobertura = N T 100 % Cobertura: cobertura alcanzada por una técnica de diseño N: número de elementos de cobertura incluidos en casos de prueba ejecutados T: número de elementos de cobertura identificados ISO/IEC/IEEE Pruebas de software 30

31 Business Plan Actividades a corto plazo (5 años) Trabajo técnico (estándares, tech. reports) Integración con otros estándares/frameworks de la industria, y grupos del JTC1 (liaisons) Mejora del proceso interno, surveys, nuevos miembros potential areas where standards or technical reports could be developed Test Processes Maturity Levels Model-based testing for outsourcing/offshoring for mobile testing in different industry sectors and RBT Test Metrics Selecting Test Techniques Product Line Engineering applied to testing for agile How to tailor the standards Test Reporting Tester Skills and Capabilities Automation Exploratory Testing High Volume Automated Testing relationship with safety-related Data-centric testing Test data sanitization Non-functional testing in the cloud ISO/IEC/IEEE Pruebas de software 31

32 Estado actual (Abril 2015) Estándares internacionales publicados (Agosto 2013) , 2, 3: Conceptos, Procesos, Documentación Próxima aprobación Técnicas de prueba (FDIS finalizado Nov 2014) Modelo de evaluación de proceso para procesos de pruebas de software (FDIS Febrero 2015) renombra serie (análogo a CMMI) Usa como modelo de procesos de referencia En progreso Keyword-driven Testing (DIS2 Marzo 2015) Work Product Reviews (WD2 Marzo 2015) Otros (MBT, Agile, Mobile) ISO/IEC/IEEE Pruebas de software 32

33 Conclusión El estándar internacional ISO/IEC proporciona las directrices para las pruebas cubriendo todos los aspectos del ciclo de vida: Composición consistente de definiciones, procesos, procedimientos y técnicas para las pruebas de software Soluciona dispersión existente actualmente Cubre huecos no cubiertos por estándares existentes Adoptado por los comités de normalización nacionales, IEEE y BSI Actualmente representado por 26 naciones, revisado por profesionales de las pruebas de software en todo el mundo El siguiente paso en la profesionalización de esta industria. Más información: Grupo de trabajo GT26: Agradecimientos: Ministerio de Economía y Competitividad, proyecto TIN C3-1-R (Testing of data persistence and user perspective for new paradigms) ISO/IEC/IEEE Pruebas de software 33