TESIS DE MAGISTER EN INGENIERÍA DEL SOFTWARE

Transcripción

1 TESIS DE MAGISTER EN INGENIERÍA DEL SOFTWARE REVISIÓN Y AGREGACIÓN DE ESTUDIOS EXPERIMENTALES VINCULADOS A TÉCNICAS DE INSPECCIÓN Autor: Ing. Juan Ignacio Malacrida Directores: Prof. M. Ing. Enrique Fernández Prof. Dr. Ramón García Martínez Buenos Aires, 2008

2

3 Dedicado a quienes de un modo u otro, Colaboraron con su esfuerzo y con su aliento, En la concreción de este proyecto. A todos ellos también les agradezco.

4

5 Índice Índice CAPÍTULO INTRODUCCIÓN DE QUÉ SE TRATA ESTA TESIS A QUIÉN ESTÁ DIRIGIDA ESTRUCTURA DE LA TESIS CAPÍTULO ESTADO DE LA CUESTIÓN REVISIONES DE CÓDIGO Definición Inspecciones de código TÉCNICAS DE LECTURA DE CÓDIGO Descripción general Técnicas ad-hoc Técnicas basadas en listas de comprobación Técnicas basadas en escenarios Técnicas basadas en defectos Técnicas basadas en perspectivas Técnicas basadas en el uso PROCESO DE REVISIÓN SISTEMÁTICA Definición Razones para la realización de revisiones sistemáticas La importancia de las revisiones sistemáticas Ventajas y desventajas Características de las revisiones sistemáticas Etapas dentro del proceso de revisión PROCESO DE AGREGACIÓN Definición Etapas dentro del proceso de agregación CAPÍTULO DEFINICIÓN DEL PROBLEMA CAPÍTULO SOLUCIÓN PROPUESTA CAPÍTULO DESARROLLO DE LA SOLUCIÓN DEFINICIÓN DEL PROTOCOLO DE REVISIÓN Fase de búsqueda Determinación del tema de la RS Búsqueda y lectura de antecedentes Búsqueda preliminar de estudios por tema Declaración del objetivo de la revisión Búsqueda refinada Ing. Juan Ignacio Malacrida v

6 Índice Estadísticas de búsqueda Fase de recolección Extracción de datos Codificación de los experimentos APLICACIÓN DEL PROTOCOLO DE REVISIÓN Fase de búsqueda Tema de la revisión sistemática Búsqueda y lectura de antecedentes Búsqueda preliminar de estudios por tema Declaración del objetivo de la revisión Búsqueda refinada Estadísticas de búsqueda Fase de recolección Extracción de datos Codificación de los experimentos AGREGACIÓN DE LOS RESULTADOS Clasificar los estudios Pares Tratamiento-Variable Categorizar los estudios Estudios asignados a cada categoría Analizar los resultados Aplicar estrategias de generalización Categorizar los estudios Agregar estudios Generar conclusión...82 CAPÍTULO CONCLUSIONES DESEMPEÑO DE LAS TÉCNICAS DE LECTURA DE CÓDIGO PBR/CBR Análisis de efectividad a nivel individual Análisis de efectividad a nivel grupal Análisis de eficiencia a nivel individual Análisis de eficiencia a nivel grupal UBR/CBR Análisis de efectividad a nivel individual Análisis de eficiencia a nivel individual DBR/CBR Comparación entre las técnicas basadas en escenarios Efectividad a nivel individual Efectividad a nivel grupal Eficiencia a nivel individual Eficiencia a nivel grupal Calidad de los experimentos analizados DESARROLLO DE LA REVISIÓN SISTEMÁTICA CAPÍTULO FUTURAS LÍNEAS DE INVESTIGACIÓN CAPÍTULO vi Ing. Juan Ignacio Malacrida

7 Índice 8. BIBLIOGRAFÍA ANEXOS A. ESTUDIOS ANALIZADOS B. ESTUDIOS IRRELEVANTES C. EXPERIMENTOS SELECCIONADOS D. FORMULARIOS DE EXTRACCIÓN DE DATOS E. MÉTODOS DE AGREGACIÓN E.1. MÉTODOS DE AGREGACIÓN ESTADÍSTICOS E.1.1. Métodos Paramétricos E.1.2. Métodos No Paramétricos E.2. MÉTODOS DE AGREGACIÓN NO ESTADÍSTICOS E.3. ANÁLISIS DE HOMOGENEIDAD Y SENSIBILIDAD F. PROCESO DE AGREGACIÓN F.1. PASO 1: CLASIFICAR LOS ESTUDIOS F.2. PASO 2: ANALIZAR RESULTADOS F.3. PASO 3: APLICAR ESTRATEGIA DE GENERALIZACIÓN F.4. PASO 4: AGREGAR ESTUDIOS F.5. PASO 5: GENERAR CONCLUSIÓN Ing. Juan Ignacio Malacrida vii

8

9 Capítulo 1

10

11 Capítulo 1: Introducción En este capítulo se explica de qué se trata esta tesis (sección 1.1), se indica a quién está dirigida (sección 1.2) y se detalla la estructura de la misma (sección 1.3). 1. Introducción 1.1. De qué se trata esta tesis Las técnicas de inspección de código consisten en una estrategia para obtener conocimiento acerca de la lógica de programación aplicada a los distintos programas y, en algunos casos, detectar errores, dentro de dicha lógica, en forma temprana. Esto hecho a motivado que muchos autores hayan desarrollados estudios experimentales apuntados a determinar como es el desempeño de distintas variantes de la técnica. Por ejemplo podemos mencionar el trabajo de [Tonella, 2007] y el de [Vegas, 2001]. En ambos trabajo se identifica un conjunto significativo de estudios experimentales que analizan diversas estrategias para llevar adelante un proceso de inspección de código. Si bien las piezas de conocimiento generadas en los experimentos que analizan el desempeño de las técnicas de inspección de código aportan conocimientos interesante, estos estudios en general utilizan pocos sujetos experimentales [Thelin, 2003; Denger, 2004; Sabaliauskaite, 2004; Lee, 2005], lo cual limita considerablemente a aplicación de las piezas de conocimiento generadas, ya que no pueden ser tomadas como conocimientos generales o de aplicación universal. Para mejorar la calidad y representatividad de los conocimientos, en el presente trabajo de tesis se propone realizar una Revisión Sistemática [Kitchenham, 2004] que permita identificar de forma objetiva la mayor cantidad posible de estudios experimentales para luego agregarlos mediante el procedimiento sugerido por [Fernández, 2007], para obtener de esta forma un conjunto de piezas de conocimientos representativo del área de investigación abaladas por la mejor evidencia disponible A quién está dirigida El trabajo se encuentra dirigido principalmente a Ingenieros de Software, profesionales de la industria del software, y cátedras universitarias vinculadas al software. Especialmente, a aquellas personas que investigan, evalúan y inspecciones a nivel de código, ya sea técnicas analizadas en este trabajo como también otras de equiparable naturaleza. Ing. Juan Ignacio Malacrida 11

12 Capítulo 1: Introducción 1.3. Estructura de la tesis En el capítulo 1, titulado Introducción (el presente), se explica de qué se trata esta tesis, se indica a quién está dirigida y se detalla la estructura de la misma. En el capítulo 2, titulado Estado de la cuestión, se explican las revisiones a nivel de código, se explican las técnicas de lectura de código, se explica el proceso de revisión sistemática y se explica el proceso de agregación. En el capítulo 3, titulado Definición del problema, se explica el problema que se trata en la presente tesis. En el capítulo 4, titulado Solución propuesta, se describe la solución que se propone para solucionar el problema definido. En el capítulo 5, titulado Desarrollo de la solución, se define el protocolo de revisión utilizado, se aplica dicho protocolo y se agregan los resultados obtenidos. En el capítulo 6, titulado Conclusiones, se describen las conclusiones en cuanto al desempeño de las técnicas de lectura de código y las conclusiones en cuanto al desarrollo de la revisión sistemática. En el capítulo 7, titulado Futuras líneas de investigación, se plantean interrogantes abiertos para ser investigados posteriormente. En el capítulo 8, titulado Bibliografía, se listan todas las referencias consultadas y citadas en esta tesis. En el anexo A, titulado Estudios analizados, se describen todos los estudios que fueron considerados para esta tesis. En el anexo B, titulado Estudios irrelevantes, se describen todos los estudios que fueron descartados por no cumplir con los objetivos de la revisión (ver capítulo 5). En el anexo C, titulado Experimentos seleccionados, se describen todos los experimentos que cumplen con los objetivos de la revisión (ver capítulo 5). 12 Ing. Juan Ignacio Malacrida

13 Capítulo 1: Introducción En el anexo D, titulado Formularios de extracción de datos, se presentan todos los formularios correspondientes a los experimentos listados en el anexo C. En el anexo E, titulado Métodos de agregación, se describen los métodos de agregación paramétricos: Diferencia de medias ponderadas (WMD) y Response Ratio (RR paramétrico), los métodos de agregación no paramétricos: Vote Counting (VC) y Response Ratio (RR no paramétrico), los métodos de agregación no estadísticos: Conteo de votos directo, y en qué consiste el análisis de homogeneidad y sensibilidad. En el anexo F, titulado Proceso de agregación, se describe de exhaustivamente el proceso de agregación utilizado. Ing. Juan Ignacio Malacrida 13

14

15 Capítulo 2

16

17 Capítulo 2: Estado de la cuestión En este capítulo se explican las revisiones de código (sección 2.1), se explican las técnicas de lectura de código (sección 2.2), se explica el proceso de revisión sistemática (sección 2.3) y se explica el proceso de agregación (sección 2.4). 2. Estado de la cuestión 2.1. Revisiones de código Definición Según [Casal, PDSW], la idea que se tenía sobre el código en los años 50 y 60 era que servía para ser leído y ejecutado por la máquina, por lo tanto las personas no lo leían. En los años 70, Weimberg establece que esta asunción es falsa, es decir, que la gente debía leer programas y que ello constituía un proceso efectivo de detección de errores. Así es como surgen las primeras técnicas de prueba humana, que con el paso del tiempo se revelan muy efectivas, y su uso debe aplicarse a cualquier proyecto. Estas técnicas en la fase de código son aplicables en el intervalo definido entre el final de la instrumentación y el inicio de las pruebas basadas en ordenador. La aplicación de estas técnicas de prueba afecta a aspectos tanto económicos como psicológicos. Económicos, en el sentido de que cuanto antes se detecten los errores, menor es el coste de corrección, y mayor será la probabilidad de que la corrección se realice de forma adecuada. Psicológicos, en el sentido de reducir la presión que ejerce sobre las personas que realizan pruebas la ejecución de las pruebas basadas en ordenador, pues cuando se corrige el código, hay una mayor probabilidad de introducir nuevos errores en él. Esto se traduce en una mayor productividad de los miembros del equipo de desarrollo, se detectan más errores con menor coste y una mayor confianza en el producto. Las revisiones a nivel de código [Casal, PDSW] se denominan de diversas formas: revisiones lógicas de código, prueba humana, etc. Estas pruebas están orientadas a detectar errores de codificación y de diseño lógico, quedando fuera de su alcance los errores de alto nivel, y son aplicables tanto a programas nuevos como a los viejos (ya en uso). Existen diferentes tipos de revisiones que se pueden aplicar al código, teniendo cada uno de ellos objetivos y beneficios diferentes. Ing. Juan Ignacio Malacrida 17

18 Capítulo 2: Estado de la cuestión A continuación se describen en que consiste el procedimiento típico de inspecciones de código Inspecciones de código Es uno de los primeros métodos de prueba humana, y consiste en la inspección del código de un programa por un grupo de personas, normalmente cuatro [Casal, PDSW; Fagan,1976]. Cada una de estas personas tiene un perfil particular: El primer miembro es el moderador, que no es nunca el autor del programa, que debe ser una persona experimentada, y no necesita estar familiarizado con los detalles del programa. Las obligaciones del moderador son: distribución del material necesario para el desarrollo de la sesión, fijar el calendario de la misma, conducirla y registrar los errores que se detecten, y por último asegurar la corrección de los mismos. El segundo miembro es el programador que ha realizado el trabajo, y que lo somete a inspección. El tercer miembro suele ser el diseñador del programa, si es diferente del programador, y evalúa tanto el ajuste a la especificación como la estructura. El cuarto miembro es un especialista de pruebas, cuya misión es centrar la inspección en los distintos tipos de errores. En general, el procedimiento consiste en: El jefe del proyecto determina los programas que se deben inspeccionar en base a criterios como criticidad complejidad, etc. e identifica al moderador. Antes de que se produzca la sesión, se identifican los restantes miembros del equipo que van a participar, y se les distribuye la documentación necesaria para la realización de la misma, que normalmente consiste en el listado del programa y la especificación de diseño. Una vez recibido (uno o dos días antes), los participantes lo estudian. Llegado el día, se realiza la sesión, que comienza cuando el inspeccionado comienza a narrar sentencia a sentencia su programa. A medida que se recorre la lógica del programa, surgen cuestiones, tanto de forma como de fondo, y el equipo determina si ello es un error, y en caso afirmativo, el moderador lo 18 Ing. Juan Ignacio Malacrida

19 Capítulo 2: Estado de la cuestión registra. Al mismo tiempo el programa es revisado contra una lista de errores tanto históricos como típicos de programación. Para que la sesión sea efectiva deben observarse una serie de normas que son: la ubicación de la sesión debe ser un lugar en el que no se produzcan interrupciones: la revisión tiene un límite de dos horas, y si éstas no son suficientes porque el programa es grande, la inspección se realiza en varias sesiones. La sesión sirve para: detectar errores, nunca para corregirlos; evaluar/medir un producto, nunca a quien lo ha realizado. Es decir, la sesión tiene un objetivo claro, y los participantes asisten con una actitud no egoísta. Después de finalizar la sesión, el moderador entrega al programador la lista de los errores detectados, y éste los corrige. Una vez corregidos, el programador lo reparte a todos los participantes. Si el número de errores ha sido muy grande, o se ha planteado un gran problema, se rehace el material y se convoca una nueva inspección. Los errores encontrados durante la sesión son ahora analizados y categorizados, y si alguno de ellos no estuviese contemplado en la lista, ésta se retroalimenta con él. Una paradoja que se da en la inspección es que la mayor parte de los errores detectados la realiza el propio programador Técnicas de lectura de código Descripción general En términos generales, [Denger, 2004] las técnicas de lectura de código definen estrategias para el análisis individual de un documento para adquirir el entendimiento necesario para una tarea particular. Las técnicas de lectura para la detección de defectos son una manera de ayudar a los inspectores durante las etapas de preparación o descubrimiento de una inspección. Guiando a los inspectores, las técnicas de lectura de código pueden ayudar a reducir los problemas acerca de qué buscar en un documento y cómo desarrollar la tarea de descubrimiento. Existen varias técnicas de lectura para ayudar al revisor durante la inspección [Denger, 2004; Berling, 2004]. Las técnicas de lectura más comunes son las siguientes: Ad-hoc, basadas en listas de comprobación (CBR) y basadas en escenarios (SBR). Estas últimas incluyen a las basadas en defectos (DBR), a las basadas en perspectivas (PBR) y a las basadas en uso (UBR). Ing. Juan Ignacio Malacrida 19

20 Capítulo 2: Estado de la cuestión Por otro lado, en algunos estudios, las mediciones se realizan a nivel individual y en otros, a nivel grupal. Por individual se entiende que los resultados obtenidos se aplican a un inspector en particular. En cambio, que la medición sea a nivel grupal quiere decir que la medición se efectuó sobre un grupo de inspectores. Por ejemplo, en [Berling, 2004] las mediciones son a nivel individual y en [Denger, 2004], son a nivel grupal. A continuación se describe cada una de las técnicas mencionadas anteriormente Técnicas ad-hoc Inspeccionar un elemento con una técnica ad-hoc [Berling, 2004] implica que el revisor analiza el elemento usando sus propias facultades para encontrar defectos. Esta técnica no le ofrece al revisor una guía específica sobre como analizar el documento o que buscar en él. Usar una técnica como esta trae muchos inconvenientes. La habilidad y experiencia del revisor afectan notablemente la cantidad de defectos encontrados. El resultado de la inspección puede entonces variar sustancialmente entre diferentes revisores. Si el revisor, por algún motivo, piensa que es suficiente una lectura rápida es suficiente, no hay una guía que soporte un análisis más profundo durante la inspección. Otro inconveniente es que los revisores no aprenden de otros dado que las técnicas adhoc no se documentan o transfieren de ninguna manera entre revisores o de un equipo de inspección a otro Técnicas basadas en listas de comprobación Las técnicas basadas en listas de comprobación (CBR) [Denger, 2004] le proveen al inspector una serie de preguntas con respecto a defectos potenciales que podrían haber en el documento inspeccionado. De esta forma, CBR provee lineamientos sobre qué buscar durante la detección de defectos. Sin embargo, no hay guías sobre cómo buscar defectos. Es decir, el inspector no tiene una guía sobre como verificar que una pregunta de la lista de comprobación debe ser respondida con si o con no. Además, cada inspector tiene que verificar todos los aspectos en el documento completo. En documentos complejos esto puede resultar sumamente arduo, teniendo en cuenta que muchos aspectos tienen que ser considerados. 20 Ing. Juan Ignacio Malacrida

21 Capítulo 2: Estado de la cuestión Técnicas basadas en escenarios Las técnicas basadas en escenarios (SBR) [Denger, 2004] fueron diseñadas con el objetivo de superar los inconvenientes que presentan las técnicas basadas en listas de comprobación: Proveer una guía sobre cómo desarrollar la inspección a través del trabajo activo sobre el documento, lo que se denomina orientación activa. Restringir el foco del revisor a un aspecto específico de interés, denominado separación de incumbencias; es decir, indicar qué inspeccionar. La orientación activa fuerza al inspector a trabajar activamente con el documento que está siendo inspeccionado, guiándolo para crear productos de trabajo mientras busca defectos. Con hacer esto se espera que los inspectores adquieran un mayor entendimiento del documento, en comparación con una simple lectura pasiva. Se espera que un mejor entendimiento del documento inspeccionado pueda ayudar al revisor a detectar más defectos que simplemente leerlo. Además, un mejor entendimiento es un pre-requisito para detectar defectos más sutiles y complejos, que en muchos casos son los más costosos. De esta manera, se asume que la orientación activa es especialmente útil en inspecciones de documentos o sistemas complejos, donde el trabajo activo ayuda a obtener una idea sobre que pudo haber sido pasado por alto en una lectura pasiva y donde un entendimiento profundo es importante. Por otra parte, la separación de incumbencias, asegura que los inspectores se enfoquen en un área específica o en un determinado aspecto del documento. Esto ayuda a que se cubran todas las cuestiones y a reducir el solapamiento entre todos los inspectores. Estos conceptos de la aproximación orientada a escenarios son implementados como escenarios de lectura. Un escenario de lectura se compone, básicamente, de tres partes: La introducción que define el foco de un escenario; es decir, en que aspecto se tiene que enfocar el inspector. La parte de instrucción provee una descripción paso a paso de las actividades que tiene que realizar el inspector para detectar defectos. Por ejemplo, el Ing. Juan Ignacio Malacrida 21

22 Capítulo 2: Estado de la cuestión inspector podría crear casos de prueba o diagramas iniciales de diseño basados en el documento de requerimientos inspeccionado. Preguntas que enfocan al inspector en los aspectos de calidad que tienen que ser considerados mientras se llevan a cabo las instrucciones. Las técnicas SBR incluyen a las técnicas basadas en defectos, a las técnicas basadas en perspectivas y a las técnicas basadas en el uso. Las cuales se describen a continuación Técnicas basadas en defectos Las técnicas basadas en defectos (DBR) [2004 Berling.pdf] son principalmente aplicadas en documentos de requisitos. La idea principal de esta técnica es que los distintos revisores se enfoquen en diferentes clases de defectos mientras inspeccionan un elemento Técnicas basadas en perspectivas Las técnicas basadas en perspectivas (PBR) [Maldonado, 2006] proveen una guía para que el inspector asuma las perspectivas de los principales interesados (stakeholders) del elemento a inspeccionar. Las perspectivas principales se definen como: Diseñador (D), Tester (T) y usuario final (U). El inspector crea abstracciones de los requerimientos que son relevantes para la perspectiva asignada. Por ejemplo, un diseñador crea diagramas preliminares de alto nivel, un tester crea una serie de casos de prueba y un usuario crea una serie de casos de uso. Mientras crea las abstracciones, el inspector usa una serie de preguntas para ayudar a descubrir defectos. Las preguntas son, generalmente, basadas en una clasificación común de defectos. Cada pregunta guía al inspector a examinar los requisitos basados en el conocimiento que han adquirido durante la creación de su abstracción. El conjunto de tipos defecto no es estático y puede adaptarse según sea necesario para cada entorno Técnicas basadas en el uso Las técnicas basadas en el uso (UBR) [Thelin, 2004] se enfocan en la calidad del producto desde el punto de vista del usuario. Durante la preparación de la inspección, los revisores utilizan casos de uso con el objetivo de detectar fallas en el elemento que se va a inspeccionar. Los pilares de UBR son los casos de uso y el establecimiento de prioridades en ellos. Los casos de uso se utilizan para guiar a los revisores a través del elemento software durante la inspección. Los casos de uso son priorizados para 22 Ing. Juan Ignacio Malacrida

23 Capítulo 2: Estado de la cuestión ordenarlos por importancia según los requerimientos del usuario del sistema desarrollado. De esta manera, los revisores que utilizan UBR se enfocan primero en las partes importantes, encontrando también las fallas importantes. Las fallas más importantes se las considera críticas y corresponden a los defectos que el usuario considera más importantes. El objetivo principal de UBR es centrar los controles en las necesidades de los usuarios, de la misma manera que los perfiles operacionales en las etapas de prueba. Los revisores analizan el elemento software siguiendo el orden establecido en la priorización de casos de uso Proceso de revisión sistemática Definición Una revisión sistemática de literatura (RS) [Kitchenham, 2004] es un método para identificar, evaluar e interpretar todas las investigaciones pertinentes a una determinada pregunta de investigación, área temática o fenómeno de interés. Aplica estrategias científicas para limitar los sesgos en el proceso de recopilación, valoración crítica y síntesis de los estudios relevantes [Goodman, 1996]. Dentro de este contexto, los estudios individuales que contribuyen a una revisión sistemática se denominan estudios primarios; una revisión sistemática es considerada una clase de estudio secundario porque su población de estudio la constituyen los propios estudios primarios [Kitchenham, 2004]. Aunque a veces se utilizan los vocablos revisión sistemática y meta-análisis indistintamente [Cochrane, 2007], el término meta-análisis debe aplicarse únicamente cuando los trabajos incluidos en la revisión a juicio de los investigadores se pueden combinar razonablemente efectuando una síntesis estadística cuantitativa de sus resultados para obtener una estimación combinada de los efectos (medida que se utiliza para determinar la magnitud de la mejora de un tratamiento respecto de otro, se explica con más detalle en el sección 2.5) descritos en los estudios individuales. Por tanto, la revisión sistemática constituye un proceso de investigación más amplio, que va desde la formulación del objetivo hasta la interpretación de los resultados, incluyendo la fase de análisis estadístico cuando haya sido posible la agregación cuantitativa de los datos. Ing. Juan Ignacio Malacrida 23

24 Capítulo 2: Estado de la cuestión Razones para la realización de revisiones sistemáticas A partir de la segunda mitad de la década del 90 la información que se publica en revistas vinculadas a la Ingeniería del Software ha experimentado un crecimiento exponencial [Fernández, 2007], que hace muy difícil que los profesionales, que trabajan en escenarios y situaciones complejas, puedan reunir la información adecuada en el momento preciso para la toma de decisiones (la llamada paradoja de la información ). Diferentes aspectos de un tema determinado suelen estar dispersos en múltiples fuentes, por lo que se hace necesario agruparlos en una fuente común con una visión general clara, completa y rigurosa, que además se mantenga actualizada, de forma que podamos aumentar la efectividad en la toma de decisiones [Meta-Analysis, 2008]. Como observa [Kitchenham, 2004], existen varias razones para llevar a cabo una revisión sistemática, las cuales se pueden sintetizar en: Resumir la evidencia existente en relación a un tratamiento o a una tecnología. Identificar las omisiones en la investigación actual y sugerir en qué áreas hacer hincapié. Sin embargo, las revisiones sistemáticas pueden llevarse a cabo también para examinar en que medida la evidencia empírica apoya o contradice las hipótesis teóricas, o incluso para ayudar a la generación de nuevas hipótesis La importancia de las revisiones sistemáticas La mayoría de las investigaciones se inician con una revisión de la literatura existente en algún área. Sin embargo, a menos que la revisión de la literatura sea exhaustiva y objetiva, es de poco valor científico. Este es el motivo principal para realizar revisiones sistemáticas ya que una revisión sistemática sintetiza los trabajos ya existentes en una manera objetiva. Por ejemplo, las revisiones sistemáticas deben llevarse a cabo con una estrategia de búsqueda predefinida. Esta estrategia debe asegurar la exhaustividad de la búsqueda. Los investigadores que llevan a cabo una revisión sistemática deben hacer todo lo posible para identificar y documentar investigaciones que no corresponden con su hipótesis de trabajo, así como también, deben identificar y documentar las investigaciones que si la apoyan. 24 Ing. Juan Ignacio Malacrida

25 Capítulo 2: Estado de la cuestión Ventajas y desventajas Si bien las revisiones sistemáticas requieren mucho más esfuerzo que las revisiones tradicionales, su principal ventaja radica en que proporcionan información sobre los efectos de algún fenómeno a través de la mejor evidencia disponible. En este contexto, si los estudios aportan resultados consistentes, las revisiones sistemáticas proporcionarán evidencia de que el fenómeno es sólido y transferible. En cambio, si los estudios aportan resultados inconsistentes, las RS aportan el conocimiento necesario para poder analizar las fuentes de variación. Otra ventaja es que, en el caso de estudios cuantitativos, es posible combinar datos usando técnicas de meta-análisis. Esto incrementa la probabilidad de detectar efectos reales que los estudios más pequeños no son capaces de detectar. Sin embargo, esto mismo puede ser una desventaja porque se pueden confundir pequeños sesgos con tendencias verdaderos Características de las revisiones sistemáticas Algunas de las características que diferencian a las revisiones sistemáticas de las revisiones convencionales son [Kitchenham, 2004]: Las revisiones sistemáticas empiezan definiendo un protocolo de revisión que especifica la pregunta de investigación y describe los métodos que se van a utilizar para desarrollar la misma. Las revisiones sistemáticas se basan en una estrategia de búsqueda definida que intenta detectar la mayor cantidad posible de estudios relevantes. Las revisiones sistemáticas documentan la estrategia de búsqueda para que los lectores puedan comprobar su rigor y su exhaustividad. Las revisiones sistemáticas requieren que existan criterios de inclusión y exclusión explícitamente definidos para evaluar el potencial de cada estudio primario. Las revisiones sistemáticas especifican la información que debe obtenerse en cada estudio primario, incluyendo los criterios de calidad que permitan evaluar cada uno de ellos. Una revisión sistemática es un requisito previo para realizar meta-análisis. Ing. Juan Ignacio Malacrida 25

26 Capítulo 2: Estado de la cuestión Etapas dentro del proceso de revisión Para que una RS aporte resultados fiables, la misma debe desarrollarse siguiendo un protocolo de revisión previamente definido. El mismo incluye las siguientes etapas [Kitchenham, 2004; Griman, 2007]: 1. Planificación del proceso de revisión. Consiste en elaborar un protocolo de investigación que resuma los antecedentes del tema de estudio, los objetivos, y las preguntas e hipótesis del mismo, a partir de los cuales se definirán los criterios de búsqueda de estudios relevantes, las palabras clave, la población diana, la intervención (estudios de tratamiento) o asociación (estudios de pronóstico) objeto del estudio y las variables de interés, los métodos para seleccionar los trabajos que se van a incluir en la revisión partiendo del conjunto de estudios que se han recuperado en la búsqueda, cómo se va a realizar la evaluación de la calidad de los artículos, si se prevee hacer análisis de subgrupos, el método de análisis que se va a utilizar, el cronograma, etc. 2. Especificación del problema (Definición de la/s pregunta/s). Debe incluir la técnica o método a evaluar, el entorno de aplicación, con qué otra técnica o método se va a comparar y qué medida del efecto se utilizará. La RS debe indicar de forma explícita el objetivo y la pregunta que intenta responder, describiendo adecuadamente sus componentes. 3. Especificación de los criterios de inclusión y exclusión de los estudios (Definición del formulario de extracción). La recopilación de la información existente sobre el tema de la RS debe ser exhaustiva, para evitar incurrir en el sesgo de selección (no incluir estudios relevantes provoca un error sistemático en la estimación del efecto), para lo cual hay que buscar en el mayor número de fuentes posible y con unos criterios de selección amplios. 4. Formulación del plan de búsqueda de la literatura. En esta etapa se define cual será la estrategia de búsqueda en base a las pautas definidas en la etapa anterior. 5. Selección y recuperación de los estudios que cumplen los criterios. Se hará a través de unos criterios de inclusión y exclusión explícitos, claros y adecuados a la pregunta de investigación. Resulta conveniente, además, realizar una primera estimación de la validez interna o calidad de los mismos, utilizando para ello alguna de las listas de comprobación o escalas validadas existentes en la 26 Ing. Juan Ignacio Malacrida

27 Capítulo 2: Estado de la cuestión literatura. Finalmente, debe también aclararse cuántos artículos han sido incluidos o excluidos y porqué. 6. Valoración crítica de la calidad científica de los mismos. No todos los estudios empíricos se diseñan y ejecutan adecuadamente. Muy al contrario, una gran cantidad de estudios poseen serias deficiencias metodológicas que provocan que sus resultados sean poco fiables, esto es, de baja calidad. Incluir estudios de baja calidad puede conducir a resultados erróneos. La valoración de la calidad de los estudios está basada principalmente en el diseño del estudio 7. Combinación de los resultados. Consiste en aplicar técnicas de agregación estadísticas (paramétricas o no paramétricas) y no estadísticas para combinar los resultados de los estudios individuales. Se explica con más detalle en la sección Formulación de las conclusiones y recomendaciones. Consiste en describir las implicaciones prácticas para el desarrollo de software y se plantean interrogantes que para que sean investigados en el futuro Proceso de agregación Definición El proceso de agregación [Fernández, 2007] propone una estrategia multinivel, que provee diferentes niveles de evidencia en función de la calidad de los estudios experimentales seleccionados, tanto a nivel de realización del estudio como a nivel de la calidad del reporte presentado (fundamentalmente variables estadísticas publicadas). Cada uno de estos niveles de evidencia esta asociado a una técnica de agregación específica. A continuación se describe que tipo de estudio será asignado a cada nivel de evidencia para obtener la calidad de respuesta deseada: Nivel I, para este nivel de agregación se seleccionarán los mejores estudios experimentales encontrados, en cuanto a la confección de los mismos y de los datos descriptos en el reporte publicado. Nivel II, para este nivel de agregación se seleccionarán todos los estudios experimentales del nivel anterior mas los estudios con sesgo de publicación leve. Ing. Juan Ignacio Malacrida 27

28 Capítulo 2: Estado de la cuestión Nivel III, para este nivel de agregación se seleccionarán todos los estudios experimentales de los nivel anterior mas los estudios con sesgo de publicación medio o grave. Los resultados obtenidos deben analizarse desde los más confiables a los menos confiables. Es decir en primer lugar se debe analizar los resultados obtenidos según el nivel de evidencia (primero la evidencia, luego las presunciones y por último las sospechas). Cuando todas las categorías arrojen resultados compatibles (den que el tratamiento x es mejor que el y) podrá decirse que toda la evidencia obtenida corrobora la misma hipótesis, pero, si esto no es así se deberá hacer un análisis mas detallado de los estudios menos fiables para intentar determina si es que existen variables independientes no identificas que están modificando los resultados obtenidos, un proceso similar al que se realiza cuando se lleva a delante un análisis de Homogeneidad y Sensibilidad Etapas dentro del proceso de agregación El proceso de agregación consta de cinco etapas fundamentales [Fernández, 2007] que se describen brevemente a continuación. En el anexo F se describen con mayor detalle. 1. Clasificar los estudios. Consiste en categorizar a los estudios primarios según las características de los mismos, especialmente, según las características del contexto, variables que publican y la similitud que existe en la confección de los mismos. Para que la categorización de los distintos estudios pueda hacerse de forma ordenada, es necesario hacer una descomposición adicional en función de las variables respuesta establecidas en la/s pregunta/s de investigación. 2. Analizar resultados. Para determinar que técnicas es conveniente utilizar, se debe analizar la cantidad de estudios vinculados a cada par Tratamiento- Variable. Esto se debe a que la precisión de las técnicas varía en función de la cantidad de estudios disponibles. 3. Aplicar estrategias de generalización. Este paso tiene dos objetivos: primero reducir los problemas de sesgo, mediante un análisis que permita interpretar los tratamientos y variables respuesta, y segundo paliar los problemas de falta de replicación, generalizando los tratamientos y las variables respuesta. 28 Ing. Juan Ignacio Malacrida

29 Capítulo 2: Estado de la cuestión 4. Agregar estudios. En este paso se aplicarán las distintas técnicas de agregación que permiten combinar los resultados de los estudios experimentales. Esto se hará en base a los criterios y recomendaciones hechas en el paso Generar conclusión. Idealmente las conclusiones de un proceso de agregación deberían tomar una perspectiva amplia en su discusión y conclusiones, dirigida a una variedad de potenciales lectores. En tal sentido se considera que la misma debe indicar: o El nivel de calidad y cantidad de los estudios incluidos. o El nivel de confiabilidad de la técnicas de agregación utilizadas. o Cuan amplios y significativos son los efectos estimados. o Cuan influyente son cada uno de los estudios respecto de la conclusión final. o En que medida son consistentes los efecto entre los estudios. o En que medida son consistentes los efecto entre los niveles de evidencia. En el anexo E se describen, de manera exhaustiva, los métodos de agregación estadísticos y no estadísticos. Ing. Juan Ignacio Malacrida 29

30

31 Capítulo 3

32

33 Capítulo 3: Definición del problema En este capítulo se explica el problema que se trata en la presente tesis. 3. Definición del problema El problema que se quiere solucionar en este trabajo de tesis es la poca representatividad de los experimentos realizados en el campo de la inspección del software. Si bien se realizan experimentos, estos no aportan evidencia concreta sobre si una técnica de inspección es mejor (más efectiva y/o más eficiente) que otra. Es decir, hay varios experimentos que no convergen en las conclusiones obtenidas. Por ejemplo, hay experimentos que concluyen que las técnicas basadas en escenarios son mejores que las basadas en listas de verificación y hay otros que no llegan a verificar una diferencia significativa entre ambas técnicas, como menciona [Lanubile, 2004]. Por otro lado, no son muchos los experimentos en donde la cantidad de sujetos experimentales es significativa. Por ejemplo, en [Denger, 2004; Thelin, 2003; Porter, 1998; Laitenberger, 2000] la cantidad de sujetos no es superior a 20. Por lo expuesto, se puede afirmar que la información no es aplicable universalmente, lo cual limita fuertemente su generalización. Ing. Juan Ignacio Malacrida 33

34

35 Capítulo 4

36

37 Capítulo 4: Solución propuesta En este capítulo se describe la solución que se propone para solucionar el problema definido en el capítulo Solución propuesta Lo que se propone desde este trabajo de tesis es, por un lado, identificar a todos los experimentos comparativos que traten el tema de técnicas de lectura de código. Y por el otro, utilizar diferentes métodos de agregación sobre los resultados publicados de los experimentos relevados para obtener una conclusión con un nivel de evidencia y de calidad mayor a la de los experimentos aislados. Por ello, se realizará una revisión sistemática siguiendo un procedimiento basado en el propuesto por [Kitchenham, 2004] y en el propuesto por [Griman, 2007] y luego se aplicará el proceso de agregación propuesto en [Fernández, 2007] para combinar los resultados publicados por cada experimento. Ing. Juan Ignacio Malacrida 37

38

39 Capítulo 5

40

41 Capítulo 5: Desarrollo de la solución En este capítulo se define el protocolo de revisión utilizado (sección 5.1), se aplica dicho protocolo (sección 5.2) y se agregan los resultados obtenidos (sección 5.3). 5. Desarrollo de la solución El propósito de este capítulo es, por un lado llevar a cabo la RS planteada en el capítulo 4 y por el otro, agregar los resultados obtenidos en ella. Para la primera parte, primero se define y se aplica el protocolo de revisión basándose en los que proponen [Kitchenham, 2004] y [Griman, 2007]. Para la segunda parte, se aplica el proceso de revisión propuesto por [Fernández, 2007] que ya fue planteado en el apartado número Definición del protocolo de revisión El protocolo de revisión está basado en el protocolo propuesto por [Kitchenham, 2004] y en el protocolo propuesto por [Griman, 2007] y consta de las siguientes etapas agrupadas en fases: 1. Fase de búsqueda. a. Determinación del tema de la RS. b. Búsqueda y lectura de antecedentes. c. Búsqueda preliminar de estudios por tema. i. Descarte de estudios irrelevantes. ii. Selección de estudios a agregar. d. Declaración del objetivo de la revisión. e. Búsqueda refinada. i. Descarte de estudios irrelevantes. ii. Selección de estudios a agregar. f. Estadísticas de búsqueda. 2. Fase de recolección. a. Extracción de datos. b. Codificación de los experimentos. A continuación se describe cada una de las fases y sus respectivas etapas. Ing. Juan Ignacio Malacrida 41

42 Capítulo 5: Desarrollo de la solución Fase de búsqueda Esta primera fase tiene como propósito determinar el tema de interés y buscar tantos estudios como sea posible en relación éste; descartar aquellos estudios que no sean relevantes para la revisión; y con base en los estudios relevantes, definir detalladamente el objetivo de la revisión así como seleccionar los tipos de estudios. Esto implica un proceso en el cual el objetivo de la revisión se va refinando progresivamente a medida que se obtienen y analizan los estudios primarios disponibles acera del tema. Nótese que el enfoque planteado de esta fase es entonces evolutivo e iterativo pues la revisión se acerca progresivamente a la definición de su objetivo con la ayuda de los estudios disponibles. Las etapas que se proponen para esta fase son descritas a continuación Determinación del tema de la RS. El objetivo de la presente etapa es delimitar el alcance de la revisión, sin precisar un objetivo específico. Su propósito es el establecimiento del área de conocimiento o tecnología sobre la cual se realizará la revisión (p.e. inspecciones de software), la cual será refinada en actividades posteriores. Habitualmente, en lugar de disponer de un motivo específico para acometer la revisión, lo más probable es que sólo la curiosidad o alguna motivación imprecisa, tal como estudiar cuánto de prometedora es un área de investigación, justifiquen la realización de la revisión. Delimitar el alcance de la revisión es competencia exclusiva del revisor, y obedece únicamente a su interés. La salida de esta actividad es: Declaración del tema de la RS: el enunciado y justificación del área o tópico (p.e. inspecciones de software, pruebas de software, educción de requisitos, etc.) sobre la cual se desea obtener información o generar conclusiones a través de la RS Búsqueda y lectura de antecedentes. Un escenario posible cuando se comienza una revisión es que ya exista alguna revisión publicada relacionada con el objetivo específico de la revisión actual. Por ello, es recomendable que antes de realizar una búsqueda de estudios, se realice una búsqueda y lectura de revisiones que pudieran estar relacionadas con el objetivo específico de la revisión actual. 42 Ing. Juan Ignacio Malacrida

43 Capítulo 5: Desarrollo de la solución El objetivo de esta etapa es, por lo tanto, localizar las revisiones previas y determinar su relevancia para la revisión actual y su adecuación al objetivo planteado; esto es, si las conclusiones obtenidas en las revisiones ya publicadas satisfacen completa o parcialmente el objetivo de la revisión actual. En el caso de que alguna revisión encontrada satisfaga el objetivo, la RS es terminada. En cambio, si ninguna RS es encontrada o las existentes no satisfacen adecuadamente el objetivo planteado, lo que podría considerarse a corto plazo como el escenario más probable, el proceso continúa con la tarea siguiente. Si alguna RS es encontrada, pero no satisface completamente el objetivo de revisión, y los artículos utilizados en ésta que reporten estudios primarios de interés pueden ser extraídos. Por lo tanto, la salida de esta actividad es: RS previas relevantes al objetivo: un listado de las revisiones sistemáticas que han sido identificadas durante la actividad Búsqueda preliminar de estudios por tema. El objetivo de esta actividad es entonces recopilar un conjunto de artículos que sean relevantes respecto al tema de revisión y que, posteriormente, permitan establecer de manera precisa un objetivo de revisión. Una vez que se cuente con el conjunto preliminar de estudios, el objetivo específico puede ser definido con base en las variables respuesta y los factores reportados en cada uno de ellos, así como su frecuencia dentro del conjunto de artículos localizados. A partir de ello se establecerá: la información a obtener de la revisión, los criterios de inclusión/exclusión y la estrategia a utilizar en la búsqueda refinada. Para esta actividad, heurísticas particulares de búsqueda de experimentos para Ingeniería de Software fueron propuestas en [Dieste, 2007] que orientan en la detección óptima de experimentos. Lograr la optimalidad de las búsquedas implica localizar la mayor cantidad de estudios relevantes para la revisión, minimizando el esfuerzo de selección/descarte. Por ello es importante que la estrategia utilizada posea una alta recuperación (su habilidad para recuperar material relevante) y una alta precisión (la porción de material relevante entre todo el material recuperado). Para permitir que todo el proceso sea reproducible, es importante que la o las estrategias utilizadas sean debidamente documentadas. Ing. Juan Ignacio Malacrida 43

44 Capítulo 5: Desarrollo de la solución Por otro lado, pueden utilizarse también los estudios identificados en el paso anterior. Si se cuenta con una cantidad significativa de estos estudios, se pueden utilizar solamente ellos como salida de esta etapa. Las salidas de esta actividad son: Conjunto de artículos para su selección/descarte: un listado de títulos y resúmenes de los artículos que han sido recuperados durante la búsqueda. Estrategia de búsqueda documentada: un listado de los repositorios utilizados para la búsqueda y las cadenas de búsqueda aplicadas, incluyendo los campos de búsqueda y términos relacionados al tipo de estudio y al tema de interés (en el caso de que se haya realizado una búsqueda en algún buscador especializado). O una referencia a las RS localizadas en la etapa anterior de donde se extrajeron los estudios en esta etapa Declaración del objetivo de la revisión. Independientemente del escenario a través del cual se inicie el proceso de revisión, llega un momento en el cual deberá establecerse claramente el objetivo de la revisión, su alcance y los criterios de inclusión/exclusión de estudios que serán aplicados. La presente etapa permitirá formalizar un objetivo específico y justificarlo desde la perspectiva académica, investigadora y profesional. Cuando se comience el proceso solamente con conocimiento del tema en el que se desea realizar la RS, esta actividad será producto de las tres etapas antes descritas, a través de las cuales se habrá refinado el interés planteado inicialmente a alto nivel. Las salidas de esta actividad son: Objetivo de revisión justificado: una declaración de la meta que se persigue alcanzar con la RS (p.e. comparar las técnicas de lectura de código y métodos de inspección de software) y su justificación desde el punto de vista académico, investigador y profesional. Pregunta de revisión: una descripción de las restricciones impuestas a la población, los factores y las variables respuesta que serán considerados dentro de la RS. Criterios de inclusión/exclusión: una declaración de los criterios con los cuales se seleccionarán o descartarán estudios empíricos para su participación en la RS; 44 Ing. Juan Ignacio Malacrida

45 Capítulo 5: Desarrollo de la solución p.e. por su tipo de estudio, el número de tratamientos ensayados, la reputación de las tecnologías comparadas, etc Búsqueda refinada. El objetivo de la búsqueda refinada es detectar el mayor número de artículos relevantes de acuerdo al objetivo específico de la revisión. Esto se logra a través de búsquedas exhaustivas en bases de datos bibliográficas y otras fuentes, tales como literatura gris, literatura no publicada, artículos impresos, etc. En particular, para la localización de estudios en bases de datos bibliográficas, se recomienda el uso de algunas heurísticas para la localización óptima de estos nuevos estudios [Dieste, 2007] para formar la cadena de búsqueda. Los nuevos artículos localizados son entonces analizados para descartar aquellos que sean irrelevantes para la RS. Si no se alcanza un número adecuado de artículos, pueden también realizarse búsquedas de las referencias bibliográficas que resulten de interés en los estudios relevantes seleccionados. Los revisores pueden realizar esta actividad de manera iterativa hasta que consideren significativo el número de estudios potenciales o, alternativamente, consideren que la probabilidad de localizar estudios relevantes es muy reducida. Las salidas de la Búsqueda refinada son: Estudios candidatos a agregación: un conjunto de artículos agrupados por subtema. Estrategia de búsqueda documentada: un listado de los repositorios utilizados para la búsqueda y las cadenas de búsqueda aplicadas, incluyendo los campos de búsqueda y términos relacionados al tipo de estudio y al tema de interés Estadísticas de búsqueda. Por último, puede resultar conveniente resumir los resultados de las búsquedas, así como el número de experimentos que han sido identificados en cada etapa de búsqueda, indicando cuantos fueron relevantes y cuantos irrelevantes. Ing. Juan Ignacio Malacrida 45

46 Capítulo 5: Desarrollo de la solución Fase de recolección El objetivo de esta fase es extraer y codificar los datos experimentales, obtenidos a partir del conjunto de estudios empíricos seleccionados en la fase anterior. Dichos datos servirán de entrada al proceso de síntesis. Con frecuencia, los artículos que reportan estudios empíricos en Ingeniería de Software no son rigurosos en la expresión de los datos experimentales y sus resultados. Esto lleva a que cada artículo deba ser leído en más de una oportunidad hasta lograr obtener la información de interés. Luego, esta información debe ser organizada de la manera más estándar posible a fin de que la síntesis se realice eficazmente. Las etapas relacionadas a la Recolección se describen a continuación Extracción de datos. Para obtener los datos experimentales, se analizan los estudios seleccionados en la fase anterior y se presentan según un Formulario para Extracción que deberá incluir, como mínimo: variables respuesta, factores, características contextuales, características de los sujetos experimentales, clasificaciones de variables respuestas, y tratamientos. La salida de esta actividad es: Formularios de extracción: un formulario para cada estudio, el cual incluye los datos experimentales extraídos (variables respuesta, factores, características contextuales, características de los sujetos experimentales, clasificaciones de variables respuestas, y tratamientos) Codificación de los experimentos. Para lograr la estandarización de los datos experimentales es necesario codificarlos de una manera que sea consistente, uniforme y objetiva. El propósito de esta actividad es 46 Ing. Juan Ignacio Malacrida