Cómo gestionar la calidad en una Software Factory más allá de las Pruebas Jordi Borja Director General Borland Ibérica

Transcripción

1 Cómo gestionar la calidad en una Software Factory más allá de las Pruebas Jordi Borja Director General Borland Ibérica Madrid, 28 de Mayo de 2008

2 Agenda Permiten las pruebas garantizar la calidad? Qué probar? Cómo comunicar pruebas con desarrollo? Cómo minimizar el número de defectos? Dónde está el problema? 2

3 Agenda Permiten las pruebas garantizar la calidad? Qué probar? Cómo comunicar pruebas con desarrollo? Cómo minimizar el número de defectos? Dónde está el problema? 3

4 El problema de las pruebas El proceso de pruebas no permite garantizar que un software se realiza de forma correcta únicamente permite garantizar que no se entregará si no responde con éxito a determinadas investigaciones. Pero cómo podemos garantizar que todos los requisitos funcionales y operacionales han sido probados? cómo podemos evitar los bugs poco frecuentes que suelen escaparse del proceso de pruebas? cómo comunicar los defectos a desarrollo? cómo podemos asegurar que lo que se entrega ha sido probado? cómo podemos mejorar la calidad global del software para minimizar los problemas existentes? cómo podemos minimizar el retrabajo necesario para solucionar los problemas encontrados en la fase de pruebas? 4

5 Solución Open ALM de Borland Team Suite Demand, Project, Portfolio& Analytics Management Caliber SilkCentral Requirements Definition & Management Test Requirements Management, Test Planning, Test Execution Issue/Defect Tracking, Reporting Together SilkInspector SilkTest SilkPerformer OO Analysis & Design, Architecture and Design Correctness Continuous Build & test automation Source Scanning & test analysis Preventative Software Quality Management Automated Functional, Regression and I18N Testing Performance & Scalability Testing SOA testing Diagnostics StarTeam Defect Tracking, Version control MANAGE Confidential 5

6 Agenda Permiten las pruebas garantizar la calidad? Qué probar? Cómo comunicar pruebas con desarrollo? Cómo minimizar el número de defectos? Dónde está el problema? 6

7 Requirements Based Testing Una solución que valida que los requisitos son correctos, completos y sin ambigüedades; y que define automáticamente el conjunto óptimo de casos de prueba a partir de los requisitos para asegurar la calidad del producto Requirements Quality Test Case Design Validate against Business Objectives Map Against Use Cases Validated Requirements Formalize Requirements Ambiguity Analysis Domain Expert Reviews Define / Optimize Test Cases Validated Test Cases Design & Code Quality Review Test Cases by Developers Test Cases Quality Review Test Cases by Reqs Authors Fix Requirements Review Design & Code with Test Cases Review Test Cases by Domain Experts Validate Apps Logical Test Cases Test Execution Complete Test Cases Execution Tests 7

8 Requirements Based Testing Achieving Quality Requirements 8

9 Requirements Based Testing Formalize Requirements For Test Design Cálculo automático de los casos de prueba Exportación directa a SilkCentral 9

10 Requirements Based Testing CaliberRM & SCTM Map Requirement to Test Cases 10

11 Cobertura de Pruebas de Requisitos. 11

12 Impacto del Cambio el impacto de un cambio en los requisitos en las pruebas (y viceversa) está claramente gestionado. 12

13 Impacto del Cambio Trazabilidad con pruebas 13

14 Agenda Permiten las pruebas garantizar la calidad? Qué probar? Cómo comunicar pruebas con desarrollo? Cómo minimizar el número de defectos? Dónde está el problema? 14

15 Integrated Test Management - SCTM & SilkTest/SilkPerformer & StarTeam 15

16 Integrated Test Management - SCTM & SilkTest/SilkPerformer & StarTeam 16

17 Integrated Test Management - SCTM & SilkTest/SilkPerformer & StarTeam 17

18 Una cosa más Qué desplegar? 18

19 Agenda Permiten las pruebas garantizar la calidad? Qué probar? Cómo comunicar pruebas con desarrollo? Cómo minimizar el número de defectos? Dónde está el problema? 19

20 Verificación y Validación: más que pruebas Desarrollo tradicional: Gran volumen de defectos Mucho retrabajo Pocas métricas y visibilidad Pruebas continuas con SilkInspector: Pocos defectos y localizados Poco retrabajo Visibilidad completa Dev/QA Wall = Release 20

21 Qué aporta SilkInspector? Mejora la calidad Se prueba antes, más frecuentemente y de forma consistente a la organización Disminuye el tiempo de desarrollo Defectos localizados y más fáciles de corregir Automatiza tareas de calidad. Release contínua. Aumenta la visibilidad Permite conocer la calidad y corrección de los proyectos antes en el ciclo de vida Permite recoger y asociar datos para el desarrollo de Development Intelligence No es intrusivo Sobre sistemas SCM existentes Manteniendo los clientes estándares SCM 21

22 Partners actuales Open Source JUnit FindBugs CheckStyle PMD [Custom] Plug-ins Comerciales Detección de vulnerabilidad Análisis de Defectos Análisis de cumplimiento de licencias 22 Análisis de Seguridad

23 Continuous Build and Test Automation Gauntlet & StarTeam & SCTM StarTeam SilkInspector Silk Test Copyright 2008 Borland Software Corporation. Confidential 23 SilkInspector

24 24

25 25

26 Análisis Root Cause 26

27 27

28 Agenda Permiten las pruebas garantizar la calidad? Qué probar? Cómo comunicar pruebas con desarrollo? Cómo minimizar el número de defectos? Dónde está el problema? 28

29 Análisis de rendimiento end-to-end Borland SilkPerformer + dynatrace Diagnostics 29

30 Silk Performer + dynatrace Diagnostics Agent Health Control Application TrueLog Multi-Machine Controller (MMC) Agents SAM Server 30

31 Find the Breaking Point Is It a Server Issue? Requests & Responses start to drop at 2950 Users Processor starts to spike Processor was not able to handle more than 2950 users Users start to receive errors 31

32 Find the Breaking Point - Is it an Application Issue? Outside-In Diagnosis: diagnose the root-cause of performance problems The Avg RT of this Page doesn t seem so bad, but a max of 5.6s sure is! Why is the page so slow in some cases? Application Diagnostics tells me why and what I need to do about it. 32

33 TrueLog-Explorer Failure Diagnostics 33

34 Diagnose Transaction Performance Diagnosing Web Page performance: The "menu.do" Page is the slowest one The "menu.do" Page exceeded the configured threshold. 34

35 Monitor & Diagnose Transaction Performance Diagnose the "menu.do" page in the API Diagnosis View 35

36 Drill-Down into Application Tiers and Layers API: Diagnosing EJB as major contributor Further Drill-Down into EJB Diagnosis View 36

37 Done! We identified the Root-Cause getspecialoffers Call on Session Bean is major contributor to "Choose your trip" Web Page (menu.do servlet) 37

38 Jordi Borja Director General Member of Int. Tech. Board Tel: Fax: Mobile: Borland Ibérica C/ Ribera del Loira, MADRID ESPAÑA 38