Proyecto Meta! Implementación SAP Fase 1 Testing ASUG Argentina Premio a la Innovación de Proyecto SAP 2015 Agosto 2015
Testing: Enfoques y Momentos Se definió una Estrategia y un Plan para el aseguramiento de la calidad del proyecto META! Contempló dos momentos La Validación del BBP como requisito para cerrar esta Etapa Verificación y Validación en la Realización Alineado con el marco general del proyecto Respetando el cronograma previsto Las actividades previstas para la Etapa de Realización se organizaron en ciclos, con previsiones de Incorporación progresiva de usuarios hasta llegar a un Test de Aceptación de Usuario Incorporación de los roles de seguridad a partir del segundo ciclo Disponibilidad progresiva de los datos maestros En la primera Fase, se previeron tests técnicos (performance, estrés) La Calidad temprana La Calidad en la Realización Validación del BBP Testing Funcional Testing Técnico 2
Testing: Calidad temprana Validar BBP Se definió un procedimiento que contempló el Qué, el Cómo, Quién y Cuándo validar Se instrumentó mediante Google Sheets con seguridad por roles Se estableció la criticidad de cada issue Se establecieron los criterios de Go / No Go Para la toma de decisiones con sustento en información objetiva Beneficio adicional: permitió establecer un proceso de Gestión de Cambios de Alcance Qué Cuándo Productos de trabajo del BBP a validar Técnicos y Funcionales Cómo Quién Con un Procedimiento establecido y comunicado Controles por producto de trabajo seleccionado Preguntas por Sí (cumple) o No (issue) Momentos apropiados para la validación Roles responsables de validar y/o comunicar 3
Testing: Calidad temprana Validar BBP Para monitorear el avance, se disponía de información resumen simultánea con la ejecución 4
Testing: Calidad en la Realización Etapas Definición Enfoque basado en Escenarios de Negocio Antes que los Requerimientos funcionales Usuarios por Frente funcional definieron los casos de prueba, con equipos técnicos de soporte Se definieron unos 3300 casos de prueba, distribuidos en unos 260 escenarios Preparación Se disponibilizó el ambiente de pruebas, en el contexto del doble Landscape Se integraron las herramientas HP Application Lifecycle Management y SAP Solman para la gestión del testing Ejecución Se estableció y comunicó el Procedimiento Se estableció un equipo de ejecución y uno de soporte, trabajando integrados Se monitoreó el avance de manera diaria, adaptándose a las necesidades de gestión Se adecuó la estrategia para atender necesidades adicionales: testing de interfases, de Datos Maestros 5
Testing: Contribución a toma decisiones Previsibilidad Desde la Estrategia se propusieron Exit Criteria para decidir la conclusión exitosa de cada Ciclo Visibilidad En todo momento, las métricas tomadas diariamente permitían tener visibilidad sobre el cumplimiento de los mismos Adaptabilidad En el avance del testing, el equipo de proyecto fue definiendo ajustes sobre los mismos Consideraban dos ejes, Ejecución y Calidad El porcentaje de ejecución a lograr, y la calidad a alcanzar Criterio En Ciclo con Seguridad En el Global Casos ejecutados de Alta 70% 100% Casos ejecutados de Media y Baja 50% 80% Casos de Alta con defectos Invalidantes no cerrados 0% 0% Casos de Alta con defectos Alta no cerrados <10% <10% Casos de Media y Baja con defectos Media o Baja no cerrados <30% <30% Casos de Alta Passed (sobre lo ejecutado) 80% Casos de Media / Baja Passed (sobre lo ejecutado) 60% Plan de Resolución de defectos no cerrados acordado Los indicadores antes descriptos se redefinieron adecuadamente, para mantener en todo momento visibilidad sobre el grado de cumplimiento 6
Testing: Métricas y Reportes En todo momento se mantuvieron métricas de Cobertura y Calidad por Frente y globales De manera simultánea se tomaron métricas sobre Defectos Por criticidad de los mismos Por impacto de acuerdo a la prioridad de los casos Para analizar mejor la Cobertura, se definió una métrica de ejecución integrando los dos Ciclos Se integró en un reporte diario distribuido automáticamente por el equipo de BI Adicionalmente, se distribuían diariamente un conjunto de reportes de gestión de testing Defectos pendientes, distinguiendo entre los que están bajo responsabilidad del Frente y del equipo de Construcción, con información de la antigüedad de los mismos Integrando información de HP ALM y Solman Casos no ejecutados 7
Testing: Monitoreo criterios de salida A mediados del Ciclo con Seguridad, se agregaron un conjunto de indicadores que medían la situación en relación con los Criterios de Salida establecidos, considerando por Frente y Planta: Cobertura en los Casos de prioridad Alta Cobertura en el conjunto de Casos de prioridad Media y/o Baja Calidad general, en la que se medía la criticidad del defecto en relación a la prioridad del caso al que afectaba 8
Testing: Testing Técnico En la Fase 1A se efectuaron tests de performance y de regresión Seguridad quedó incluida en los Ciclos funcionales En paralelo con el testing funcional Se identificaron escenarios candidatos a ser probados Se desarrollaron las automatizaciones necesarias Se preparó la infraestructura para probarlo Se desarrollaron pruebas piloto de estrés A partir de las mismas, se detectaron tempranamente ciertos issues que hubieran resultado críticos en producción, permitiendo su corrección anticipada De manera complementaria, se hicieron pruebas sobre la herramienta WPB, detectando los problemas de tiempo de respuesta que presentaba Esto permitió al Frente de Capacitaciones plantear un esquema alternativo a tiempo 9