Un caso de estudio sobre la aplicación de Control Estadístico de Procesos a métricas de defectos de software

Transcripción

1 Un caso de estudio sobre la aplicación de Control Estadístico de Procesos a métricas de defectos de software Marcelo Jenkins Coronas Centro de Investigación en Tecnologías de Información Universidad de Costa Rica San José, Costa Rica marcelo.jenkins@ecci.ucr.ac.cr Resumen La naturaleza de los productos y procesos de software presenta diversos retos para la aplicación de Control Estadístico de Procesos (SPC) SPC a procesos de software, principalmente relacionados con el diseño de los gráficos de control, técnica clave del SPC. En este artículo se presenta un caso de estudio de la aplicación de SPC a métricas de defectos, generadas en el proceso de pruebas de la Unidad de Verificación y Validación del Departamento de Tecnologías de Información de una institución bancaria. Se presentan las etapas seguidas para la aplicación de SPC, así como los principales hallazgos respecto a los supuestos teóricos involucrados, el uso de técnicas más modernas como el gráfico EWMA, el análisis de capacidad de proceso y el impacto de SPC en la organización. Palabras clave Control Estadístico de Procesos, Modelo CMMi, Gestión Cuantitativa de Procesos. I. INTRODUCCION Para que un producto cumpla con los requerimientos del cliente deberá fabricarse en un proceso que sea estable o repetible Montgomery (8, pág. 4), es decir el proceso debe operar con poca variabilidad. Precisamente el Control Estadístico de Procesos (SPC), es un conjunto de técnicas para lograr este fin. Dentro de estas técnicas, la más representativa es el gráfico de control, desarrollado por Walter A. Shewhart durante la década de 9 (Montgomery, 8), y que en términos generales, consiste en un gráfico con un límite superior y uno inferior que representan el estado de control estadístico, es decir, si los valores del gráfico se ubican entre estos límites, esto representará condiciones de operación donde la única variabilidad es la inherente al proceso. Si un punto graficado sale de los límites o si existen patrones que cuestionen la aleatoriedad del proceso, se dice que el proceso está fuera de control estadístico. La importancia del SPC para la industria del software ha ido en aumento, lo cual se refleja en la aparición de estándares y modelos de calidad de software, en especial, el Modelo de Capacidad Madurez Integrado (CMMi, por las siglas en inglés de Capability Maturity Model Integration) del Software Engineering Institute (SEI), el cual establece que una empresa alcanza su más alto grado de madurez sólo cuando logra gestionar cuantitativamente sus procesos para luego optimizarlos (Software Engineering Institute, ). La gestión cuantitativa de una organización (nivel 4 de madurez) implica que el desempeño de los procesos es controlado estadísticamente y es cuantitativamente predecible (Software Carla Fernández Corrales Centro de Investigación en Tecnologías de Información Universidad de Costa Rica San José, Costa Rica carla.fernandez@ucr.ac.cr Engineering Institute,, pág. 8). La dificultad principal de utilizar SPC se debe a que las técnicas fueron desarrolladas para manufactura sin considerar las particularidades de los procesos de software. Precisamente, el propósito este estudio fue resolver cómo aplicar SPC a un sistema de métricas en el Área de Verificación y Validación de una organización de software. II. CONTEXTO DE LA ORGANIZACIÓN El caso de estudio corresponde a la Unidad de Verificación y Validación de la División de Tecnologías de Información de una institución bancaria costarricense. Además de desarrollos internos, la División comercializa software para trámites bancarios entre diversas instituciones financieras. La organización posee desarrolladores y un portafolio de alrededor de productos y subproductos de software, en constante actualización. La Unidad de Verificación y Validación, responsable del diseño y ejecución del proceso de pruebas de software, cuenta con testers tiempo completo y un coordinador. Una vez que se realiza el diseño de las pruebas para cada liberación, estas se ejecutan en varios ciclos iterativos que finalizan hasta no se detecten más defectos. Los defectos identificados se reportan utilizando la herramienta ClearQuest. Cada defecto se categoriza de acuerdo a 4 niveles de severida y la causa que lo ocasionó. Este sistema de reporte de defectos se ha utilizado consistentemente durante los últimos 6 años. Para este estudio, se utilizaron todos los defectos reportados durante el año (8 defectos en total). III. TRABAJO RELACIONADO Aunque existen varias experiencias reportadas en la literatura sobre el uso de Control Estadístico de Procesos en procesos de software, la mayoría de estos casos han estado marcados por retos de diversa índole, los cuales van desde organizacionales como la resistencia al cambio hasta los relacionados con la disponibilidad y validez de los datos, y principalmente por las dificultades en torno al cumplimiento de supuestos teóricos en el uso de las técnicas del Control Estadístico. Posiblemente estos retos continúan generando opiniones encontradas sobre la aplicabilidad de Control Estadístico a procesos de software. Por ejemplo, autores como Kan (3) han manifestado que utilizar Control Estadístico de Procesos en software es sumamente difícil, sino imposible, y otros como Florac & Carleton (999), por ejemplo, han

2 Moving Range Individual Value dedicado un libro completo al uso de Control Estadístico de Procesos en la medición y análisis de procesos de software. A. Factores Organizacionales Se incluyeron como factores organizacionales todos aquellos que fueron reportados por los diferentes autores y que tienen relación con la cultura organizacional. B. Factores de datos El otro grupo de factores definido para el análisis de las experiencias, se refiere a la cantidad y calidad de los datos así como a los medios utilizados para administrarlos. Como en todo análisis estadístico, la presencia de datos confiables y oportunos es clave para obtener resultados fidedignos. C. Factores teóricos Respecto a estos factores, la principal preocupación es si realmente la teoría sobre Control Estadístico de Procesos y en particular los gráficos de control, pueden ser aplicados tal y como fueron definidos en los años. Como lo menciona Kan (3), la implementación de Control Estadístico de Procesos no es fácil debido a que el software es un proceso complejo que involucra un alto grado de creatividad y actividad mental. IV. ETAPAS SEGUIDAS EN LA APLICACIÓN DE SPC A. Selección de métricas Dado el costo que representa aplicar Control Estadístico a todas las métricas de una organización, surge claramente la necesidad de priorizar dichas métricas. Aquí es donde la metodología GQM (Basili, Caldiera, & Romb, 994) tiene un papel relevante al permitir identificar aquellas métricas directamente relacionadas con los objetivos de negocio. La alta gerencia de la institución bancaria definió 3 objetivos de negocio: Reducir costos de operación, Aumentar la satisfacción del cliente, y Incrementar la productividad. A partir de esto, se identificaron un total de 3 métricas a utilizar, de las cuales se priorizaron para trabajar el SPC. B. Selección del tamaño de muestra y frecuencia de muestreo Todas las métricas definidas en la etapa anterior, corresponden a variables discretas o atributos, es decir, datos que provienen de conteos. Por lo tanto, en el caso de atributos, la frecuencia del muestreo y la selección del tamaño de muestra están supeditadas la una a la otra. Para las métricas del estudio, la velocidad de producción puede definirse como la cantidad de defectos encontrados por unidad de tiempo. Dado que uno de los objetivos del Control Estadístico de Procesos es poder detectar las causas asignables lo más cerca posible a su ocurrencia para poder ajustar el proceso, se seleccionó la frecuencia de muestreo menor que permitiera el área de oportunidad, o sea, una semana. C. Selección del gráfico de control Dado que todas las métricas del sistema definido corresponden a atributos, existen cuatro posibles gráficos a usar: el gráfico p de proporción defectuosa, el gráfico np de número de defectos, el gráfico c de defectos por subgrupo o el gráfico u de defectos por unidad. De acuerdo con Wheeler (4) si la teoría es correcta y se usa un gráfico XmR los límites empíricos serán más o menos los mismos que los límites teóricos, por lo tanto el gráfico XmR siempre será siempre la mejor opción para atributos. Un gráfico XmR contiene en realidad en dos gráficos, uno de las mediciones individuales y otro del rango móvil de estas mediciones. Existen dos opciones de gráfico de control más modernas que son muy efectivas cuando se trata de determinar cambios pequeños en los procesos: el gráfico de control de suma acumulada (CUSUM) y el gráfico de control del promedio móvil ponderado exponencialmente (EWMA) (Montgomery, 8). Aunque ambos gráficos se usan comúnmente con observaciones individuales (Montgomery, 8, pág. 4), el gráfico EWMA resultó de mayor utilidad en el caso de este estudio. El promedio móvil ponderado exponencialmente se define como (Montgomery, 8, pág. 46): donde y el y el valor inicial requerido es el objetivo del proceso. Dado que en el presente estudio no se conoce este dato, se usó el promedio de los datos preliminares como valor inicial del EWMA, de tal forma que,como lo sugiere Montgomery (8, pág. 46). Como se puede observar, las ponderaciones ( - ) dan menos peso a las observaciones más antiguas. Para seleccionar el valor de, Montgomery (8) menciona que los valores entre. y. funcionan bien en la práctica, por lo que en este estudio se usó el valor más popular:.. D. Construcción y análisis de los gráficos de control Las Figuras y muestran los gráficos XmR y EWMA, respectivamente, para la métrica porcentaje de defectos rechazados. En este caso, el gráfico EWMA mostró ser más sensible a los cambios pequeños en el proceso, al tener límites más estrechos, lo que evidencia en el punto de la semana que queda fuera de los límites de control y que en el gráfico XmR sólo aparece fuera de control si se aplica la regla 6 de Nelson (984), 4 de puntos a más de una desviación estándar de la media (mismo lado), o si se revisa el gráfico de rango móvil. - I-MR Chart of % de defectos rechazados Fig.. Gráfico XmR para porcentaje de defectos rechazados UC L=3. X=9.96 LC L=-. UC L=7.9 MR=8.9 LC L=

3 EWMA Moving Range Individual Value EWMA EWMA Chart of % de defectos rechazados UCL=7.3 el símbolo las especificaciones que no se están cumpliendo y con el símbolo las que sí se logran de acuerdo a la línea base del proceso definida por los gráficos de control. X=9.96 TABLA I. ANÁLISIS DE CAPACIDAD LCL=.6 Fig.. Gráfico EWMA para porcentaje de defectos rechazados La métrica porcentaje de defectos causados por lógica incorrecta al igual que las métricas de severidad de defectos muestran que los gráficos XmR, respecto a los EWMA, son mejores para detectar cambios grandes en los procesos. Por ejemplo el punto de la semana 4 en la Figura 4, que aparece muy por encima del límite superior de control, no aparece fuera de los límites en el gráfico EWMA (Figura 4). 6 I-MR Chart of % defectos causados por lógica incorrecta Fig. 3. Gráfico XmR para % de defectos causados por lógica incorrecta EWMA Chart of % defectos causados por lógica incorrecta Fig. 4. Gráfico EWMA para % de defectos causados por lógica incorrecta E. Análisis de capacidad Existen índices de capacidad Cp y Cpk, que permiten calcular estas relaciones (Florac & Carleton, 999). En esta etapa se definieron objetivos de calidad y rendimiento para cada métrica. La comparación de los objetivos de calidad y rendimiento con los límites del proceso se presenta en la Tabla. Se utilizaron los límites de los gráficos EWMA por ser más estrechos y dar más peso a los valores recientes. Se señala con UC L=48.6 X=6.8 LC L=-. UC L=39.8 MR=.96 LC L= UCL=7.4 X=6.8 LCL=6. V. LECCIONES APRENDIDAS En primer lugar, aunque el SPC es aplicable a cualquier métrica, sí se requirió la adaptación de las técnicas respecto a cómo normalmente se usan en manufactura. Hay una limitación respecto a la cantidad de técnicas disponibles, pues la mayoría están diseñadas para variables continuas. En segundo lugar, la agrupación y determinación del tamaño de muestra resultó un paso fundamental y complejo, que de hacerse inadecuadamente, puede llevar a gráficos sin utilidad práctica. En tercer lugar, la adaptación de SPC llevó a la utilización de técnicas más modernas como el gráfico de promedio móvil suavizado exponencialmente EWMA, las que no parecen haberse utilizado antes en métricas de software. Se demostró que, en el caso de atributos, los gráficos de control proporcionan una línea base para el rendimiento del proceso, contra la cual es posible comparar los objetivos de calidad y rendimiento o especificaciones. Respecto a los factores organizacionales, en lugar de resistencia al cambio, hay un gran interés por utilizar este tipo de técnicas. Respecto a los factores de datos, se cumplieron los dos requerimientos extraídos del análisis del trabajo relacionado: el uso de herramientas sofisticadas y la presencia de suficientes datos confiables. Finalmente, respecto a los factores teóricos, el estudio logró resolver prácticamente todas las interrogantes, por lo menos para métricas de atributos: Para determinar el impacto de aplicar Control Estadístico de Procesos respecto al modelo CMMi, se condujo una evaluación SCAMPI C potencial, asumiendo la institucionalización de las etapas seguidas para la aplicación de SPC. Con esto se comparó los porcentajes de cubrimiento para cada área de proceso en la evaluación inicial y en la potencial. VI. CONCLUSIONES Y TRABAJO FUTURO Se concluyó que es posible aplicar SPC a un programa de métricas de software, siempre y cuando existan sistemas de medición institucionalizados y datos confiables. Además, se concluyó que usar SPC genera una mejora en la evaluación de las prácticas recomendadas por el modelo CMMi para el nivel

4 de madurez 4. De los gráficos de control disponibles, se concluyó que el gráfico de valores individuales y rango móvil (XmR) es el de mayor utilidad, siempre y cuando se utilicen varias pruebas de estabilidad, y que es posible utilizar técnicas más modernas como los gráficos de promedio móvil ponderado exponencialmente (EWMA). Aunque el gráfico EWMA no demostró ser mucho más sensible que el XmR, el ajuste del parámetro puede mejorar su adaptabilidad a procesos de software, por lo que se recomienda realizar investigación que permita determinar valores óptimos para este parámetro. Debido a que se utilizaron los límites de control del gráfico EWMA para estimar la capacidad de los procesos, se recomienda conducir pruebas para validar la exactitud de esta estimación de la capacidad y comparar con el uso de los límites del gráfico XmR en lugar de los del EWMA. La complejidad de los procesos de software puede hacer necesario el control simultáneo de múltiples variables, por lo que se puede explorar el uso de técnicas como los gráficos EWMA para variables múltiples o los gráficos T de Hotelling. La implementación de SPC implica un costo económico para la organización, de ahí que cuantificar su rentabilidad también puede ser un tema de interés para estudios posteriores. REFERENCIAS [] Ahern, D., Clouse, A., & Turner, R. (8). CMMi Distilled: a practical introduction to integrated process improvement. Pearson Education. [] American Society for Quality. (4). Control Chart. Recuperado el de Junio de, de [3] Avison, D. (). Action Research: A Research Approach for Cooperative Work. The 7th International Conference on Computer Supported Cooperative Work in Design, (págs. 9-4). [4] Avison, D., Lau, F., Myers, M., & Nielsen, P. A. (999). Action Research. Communications of the ACM, 4 (), [] Basili, V., Caldiera, G., & Romb, H. D. (994). The Goal Question Metric Approach. Recuperado el 3 de enero de, de [6] Baskerville, R. L. (999). Investigating Information Systems with Action Research. Communications of the Association for Information Systems, (9), 3-3. [7] Bollinger, T., & McGowan, C. (Spt/Oct de 9). A critical look at software capability evaluations: an update. IEEE Software, [8] Bower, K. (Octubre de ). Using Exponentially weighted moving average (EWMA) charts. Recuperado el de Abril de, de Minitab Inc.: [9] Bush, M., & Dunaway, D. (). CMMi Assessments: Motivating Positive Change.Addison-Wesley. [] Caviano, D. (). Continuous Software Process Improvement through Statistical Process Contro. Ninth European Conference on Software Maintenance and Reengineering (CSMR ). IEEE Computer Society. [] Chrissis, M. B., Konrad, M., & Shrum, S. (3). CMMi guidelines for process integration and product improvement Pearson Education. [] Fenton, N. E., & Pfleeger, S. L. (997). Software Metrics: A rigorous and practical approach. Boston: PWS Publishing Company. [3] Florac, W., & Carleton, A. (999). Measuring the software process: Statistical Process Control for Software Process Improvement. Addison- Wesley. [4] Galin, D. (4). Software quality assurance. Londres: Pearson Education Limited. [] Goethert, W., & Hayes, W. (). Experiences in Implementing Measurement Programs. Software Engineering Institute. [6] Gold Practice. (). Gold Practice. Recuperado el de noviembre de, de [7] Goldenson, D. R., McCurley, J., & Stoddard, R. W. (9). Use and Organizational Effects of Measurement and Analysis in High Maturity Organizations: Results from the 8 SEI State of Measurement and Analysis Practice Surveys. Software Engineering Institute. [8] Hayes, W., Miluk, G., Ming, L., & Glover, M. (). Handbook for Conducting Standard CMMi Appraisal Method for Process Improvement (SCAMPI) B and C Appraisals, Version.. Pittsburgh: Software Engineering Institute. [9] Hevner, A. R., Ram, S., March, S. T., & Park, J. (4). Design Science in Information Systems Research. MIS Quarterly, 8 (), 7-. [] Jalote, P., & Saxena, A. (). Optimum Control Limits for Employing Statistical Process Control in Software Process. IEEE transactions on software engineering, 8 (), [] Kan, S. H. (3). Metrics and models in software quality engineering (Segunda ed.). Boston: Pearson Education. [] Kasse, T. (8). Practical Insight into CMMi. Boston: Artech House. [3] Komuro, M. (6). Experiences of applying SPC techniques to software development processes. International Conference on Software Engineering, (págs ). Shanghai. [4] Medeiros dos Santos, P. S., & Horta Travassos, G. (9). Action Research Use in Software Engineering: an Initial Survey. Third International Symposiumm on Empirical Software Engineering and Measurement, (págs ). [] Minitab Inc. (). Soporte técnico. Recuperado el de diciembre de, de [6] Montgomery, D. (8). Control estadístico de la calidad. Edt. Limusa. [7] Nelson, L. (999). Notes on the Shewhart control chart. Journal of quality Technology, 3 (), 4. [8] Nelson, L. (984). Technical Aids. Journal of Quality Technology, 6 (4), [9] Oakland, J. S. (8). Statistical Process Control (Sixth ed.). Amsterdam: Elsevier. [] Pandian, R. (). Software Metrics: a guide to planning, analysis and application. Boca Raton: Auerbach Publications. [3] Pressman, R. (). Software Engineering: a practitioner's approach (Sexta Edición ed.). New York: McGraw Hill. [3] Quality Council of Indiana. (8). The Software Quality Engineer Primer (Cuarta Edición ed.). West Terre Haute. [33] Robbins, S. (999). Comportamiento organizacional (Octava ed.). México D.F.: Prentice Hall. [34] Sargut, K. (6). Utilization of statistical process control (SPC) in emergent software organizations: pitfalls and suggestions. Software Qual J., 3-7. [3] Software Engineering Institute. (). CMMi for Development, Version.3. Carnegie Mellon, Pittsburgh. [36] Software Engineering Institute. (). Published appraisal results. Recuperado el de enero de, de [37] Sommerville, I. (). Ingeniería de software. Pearson Educación. [38] Straker, D. (). Choosing the type of control chart. Recuperado el de julio de, de [39] Takara, A., Bettin, A., & Toledo, C. (7). Problems and Pitfalls in a CMMi level 3 to level 4 Migration. Sixth International Conference on the Quality of Information and Communications Technology. IEEE Computer Society., (págs. 9-99). [] Weller, E. ( May/Jun. de ). Practical applications of SPC. IEEE Software, 48-. [4] Wheeler, D. (4). Advanced Topics in Statistical Process Control. Knoxville: SPC Press. [4] Wheeler, D. (). Beyond capability confusion (Segunda edición ed.). Knoxville: SPC Press. [43] Wheeler, D. ( de Enero de ). Individual Charts done right and wrong. Recuperado el de abril de, de Quality Digest: [44] Williams, K. (). E3 Software Verification Through the Use of Statistical Process Control Methods. IEEE International Symposium on Electromagnetic Compatibility, (págs ). [4] Woodall, W. (). Controversies and Contradictions in Statistical Process Control. Journal of Quality Technology Session at the 44th Annual Fall Technical Conference of the Chemical and Process Industries. ASQ., (págs. 34-3). [46] Woodall, W. (6). The Use of Control Charts in health-care and Public-Health Surveillance. Journal of Quality Technology, 38 (), 89-4

5