PROCESO DE AGREGACIÓN PARA ESTUDIOS EXPERIMENTALES EN INGENIERIA DEL SOFTWARE

Transcripción

1 PROCESO DE AGREGACIÓN PARA ESTUDIOS EXPERIMENTALES EN INGENIERIA DEL SOFTWARE Tesista Mg. Enrique FERNÁNDEZ Directores Prof. Oscar DIESTE (UPM) y Prof. Ramón GARCÍA MARTÍNEZ (UNLP-UNLa) Codirectora Prof. Patricia PESADO (UNLP) TESIS PRESENTADA PARA OBTENER EL GRADO DE DOCTOR EN CIENCIAS INFORMÁTICAS FACULTAD DE INFORMÁTICA UNIVERSIDAD NACIONAL DE LA PLATA AGOSTO, 2012

2

3 RESUMEN Antecedentes: Si bien el Meta-Análisis o agregación de estudios experimentales no es un tema nuevo en Ingeniería del Software, la práctica actual deriva sus recomendaciones exclusivamente de la medicina, ciencia que en muchos aspectos dista bastante del contexto actual de la Ingeniería del Software (IS). En general los experimentos en medicina contienen muchos sujetos. Asimismo, es frecuente la realización de replicaciones. En estas circunstancias, las técnicas de Meta-Análisis utilizadas, en especial las diferencias medias ponderadas, son fiables. Objetivo: Desarrollar un proceso de agregación propio para la Ingeniería del Software, tomando en cuenta en las características específicas de los experimentos realizados en esta área de la ciencia. Método: Para poder construir el procedimiento de agregación, se han identificado los principales problemas para realizar un trabajo de esta naturaleza en Ingeniería del Software; se ha evaluado y analizado como trabajan en otras ramas de la ciencias (como son, por ejemplo, las ciencias sociales o la ecología); se han identificado técnicas de agregación alternativas a la que habitualmente se utiliza en Ingeniería del Software; se ha evaluado el desempeño de estas técnicas en contextos como el que presenta la Ingeniería del Software mediante un procesos de simulación, estableciendo los niveles de exactitud y potencia empírica de cada una de ellas; y se han definido un conjunto de heurísticas para poder determinar con que técnica de Meta-Análisis combinar los resultados de los experimentos identificados, para generar así una conclusión en base a la mejor evidencia disponible. Resultados: Se han identificado tres técnicas de Meta-Análisis nuevas para la IS: Ratio de Respuesta Paramétrico, Ratio de Respuesta no Paramétrico y Conteo de Votos Estadístico. Se ha determinado como es el comportamiento de estas técnicas y la técnica Diferencias Medias Ponderadas, evaluando su exactitud y potencia empírica, en función del tamaño de Meta-Análisis (cantidad de experimentos y sujetos por experimentos), el tamaño de efecto y los niveles de varianza. Finalmente, se ha desarrollado un proceso de agregación de experimentos acorde al contexto experimental de la IS. Conclusiones: El proceso de agregación desarrollado permite aprovechar mejor las evidencias empíricas disponibles en el contexto de la IS, permitiendo agregar experimentos con falencias de reporte. Si bien mediante los trabajos de simulación se ha establecido como es el comportamiento de las técnicas de agregación a nivel general, no se cuenta con la suficiente precisión como para determinar con exactitud cuál es el nivel de error de las mismas para todas las posibles combinaciones de tamaños de experimentos.

4

5 ABSTRACT Background: Although the meta-analysis or aggregation of experimental studies is not a new topic in software engineering, derives its current practice of medicine only recommendations, science, which in many ways, is far from the current context of Software Engineering (IS). In general, experiments in medicine containing many subjects. It is also common conducting replications. In these circumstances, the meta-analysis techniques used, especially weighted mean differences, are reliable. Objective: To develop a aggregation process specific for software engineering, taking into account the particular characteristics of the experiments conducted in this area of science. Method: In order to build the aggregation procedure, we have identified the main problems for a work of this nature in Software Engineering, it has been evaluated and tested in other branches of science (such as, for example, science social or ecological). It has been identified alternative aggregation techniques to habitually used in Software Engineering, we have evaluated the performance of these techniques in contexts like the one with the Software Engineering through a simulation process. It has been established accuracy levels and empirical power each. And it has been defined a set of heuristics to determine which technique of meta-analysis have to be used to combine the results of the experiments identified, in order to generate a conclusion based on the best available evidence. Results: We have identified new three meta-analysis techniques to be used in Sotware Engineering: parametric response ratio, non-parametric response ratio, and statistical vote counting. It has been determined as is the behavior of these techniques and weighted mean differences technique. It has been evaluated the empirical accuracy and power, depending on the size of meta-analysis (number of experiments and subjects for experiments), the effect size and levels of variance. Finally, we have developed a process of aggregation of experiments according to software engineering experimental context. Conclusions: The aggregation process developed allows to to leverage best available empirical evidence in the context of the Software Engineering, allowing the aggregation of results of experiments reports with shortcomings. Although the behavior of the aggregation techniques, in general terms, has established in our work by using simulation, there is not accurate enough to determine exactly which is the level of error for all possible combinations of experiments sizes.

6

7 DEDICATORIA A mis hijos Mariana y Julián A mi padre Ramón y a mi madre Carmen A mis hermanos María del Carmen y Diego A mis mentores y amigos Oscar y Ramón

8

9 AGRADECIMIENTOS A la Facultad de Informática de la Universidad Nacional de la Plata por acogerme con generosidad de alma mater para que pudiera llevar a cabo mis estudios de Doctorado en Ciencias Informáticas. Al Centro de Ingeniería del Software e Ingeniería del Conocimiento del Instituto Tecnológico de Buenos Aires por apoyarme en las instancias iniciales del desarrollo de mis estudios de postgrado. Al Grupo de Investigación en Sistemas de Información del Departamento de Desarrollo Productivo y Tecnológico de la Universidad Nacional de Lanús por recibirme para realizar la pasantía de investigación y desarrollo, proveyendo un estimulante ambiente de intercambio de ideas con otros tesistas de postgrado, y apoyarme en todas las instancias finales del proceso para obtener el grado de Doctor. A mis tres directores de tesis: al Dr. Oscar Dieste por dirigir mi trabajo con la dedicación del maestro y el afecto del amigo; sin cuyas cualidades, no hubiera sido posible culminar la presente obra; al Dr. Ramón García-Martínez por sus siempre acertados consejos en las encrucijadas de vida que acompañan todo proyecto de investigación, sumando a la exactitud del científico la calidez del docente de alma; y a la Lic. Patricia Pesado por sus valiosas aportaciones en la descripción de las problemáticas de la Ingeniería de Software, haciendo gala de permanente presencia e inquebrantable disposición. A la Dra. Natalia Juristo por haberme guiado en mis primeros pasos del trabajo del doctorado y por su colaboración en el desarrollo de los trabajos de investigación. A mi compañera y amiga Paola Britos por su gran aporte en mi formación y por todo el apoyo que me brindó para que pudiera realizar el doctorado. A mis compañeros de ruta Hernán Merlino y Alejandro Hossian, con quienes he realizado cursos de doctorado y me han prestado su ayuda siempre que la necesité. A Hernán Amatriain por su colaboración en el desarrollo de los trabajos de investigación, y con quien nos queda un largo camino por recorrer todavía.

10 A Darío Rodríguez por su desinteresada colaboración. A Florencia Pollo y Pablo Pytel con quienes trabajamos en esta área de la ciencia en sus tesis de maestría. A las secretarias de la Escuela de Postgrado de la Facultad de Informática de la Universidad Nacional de La Plata, Natalia y Alejandra por su paciencia y eficiencia. A mis compañeros de trabajo del Banco Ciudad. A mis compañeros de la Facultad de Ingeniería en la Universidad de Buenos Aires, Alejandra y Jorge.

11 INDICE TESIS DOCTORAL EN CIENCIAS INFORMATICAS i ÍNDICE 1. INTRODUCCIÓN Área de Investigación Antecedentes Definición del problema Objetivos de la Tesis Visión General de la Tesis 7 2. ESTADO DE LA CUESTIÓN Necesidad del Meta-Análisis Desarrollo Histórico del Meta-Análisis Concepto de Meta-Análisis MODELO DE EFECTO FIJO MODELO DE EFECTOS ALEATORIOS CUANDO APLICAR UN MODELO DE EFECTO FIJO O EFECTOS 20 ALEATORIOS 2.4 Meta-Análisis en Ingeniería del Software Meta-Análisis Realizados en Ingeniería del Software OBJETIVOS Y METODOLOGÍA DE TRABAJO Preguntas de Investigación Metodología de Trabajo Revisión Sistemática de Literatura Simulación de Montecarlo Mapeo de preguntas de investigación y publicaciones Contribuciones RESUMEN DE RESULTADOS Objetivo 1: Identificar técnicas de Meta-Análisis Alternativas a DMP Actividad 1- Identificación de técnicas de Meta-Análisis alternativas a DMP Actividad 2 Verificación de la aplicabilidad de las técnicas de agregación 39 cuando hay problemas de calidad en los reportes 4.2 Objetivo 2: Estudiar el Comportamiento de las Técnicas de Meta-Análisis para el 40 Contexto Experimental de IS Caracterización del contexto experimental de la IS Por que la Exactitud y la Potencia Empírica son estudiados Actividad 3 Evaluar la Exactitud y Potencia Empírica de las técnicas de 43 Meta-Análisis ignorando la Heterogeneidad Actividad 4 Evaluar la potencia empírica de las técnicas para determinar 47 Heterogeneidad en un Meta-Análisis ENRIQUE FERNANDEZ

12 INDICE Actividad 5 Evaluar la Exactitud y Potencia Empírica de las técnicas de Meta-Análisis incorporando la Heterogeneidad 4.3 Objetivo 3: Desarrollar un Proceso de Meta-Análisis Propio para Ingeniería del Software que Permita Determinar Mediante que Técnica Agregar los Experimentos Identificados Actividad 6 Establecer criterios para determinar cuál es la mejor técnica a aplicar en función de las características de los experimentos a agregar Actividad 7 Desarrollar un procedimiento que permita a investigadores en ISE seleccionar la técnica óptima para realizar un Meta-Análisis 5. DEMOSTRACIÓN DE LA SOLUCIÓN Presentación de un Problema Teórico Resolución mediante DMP Resolución mediante el nuevo procedimiento Presentación de un Caso Real Resolución mediante DMP Resolución mediante el nuevo procedimiento DISCUSIÓN Evaluación de los Resultados de las actividades Objetivo 1: Identificar Técnicas de Meta-Análisis Alternativas a DMP Objetivo 2: Estudiar el Comportamiento de las Técnicas de Meta-Análisis para 67 el Contexto Experimental de IS Objetivo 3: Desarrollar un Proceso de Meta-Análisis Propio para Ingeniería del 70 Software que Permita Determinar Mediante que Técnica Agregar los Experimentos Identificados 6.2 Validez de los Resultados Implicaciones para la investigación Implicaciones para la práctica CONCLUSIONES Y FUTURAS LÍNEAS DE INVESTIGACIÓN Contribuciones del Trabajo Futuras Líneas de Investigación REFERENCIAS 79 ANEXO A CONCEPTO DE HETEROGENEIDAD 89 ANEXO B ERROR EXPERIMENTAL 93 ANEXO C IDENTIFICACIÓN DE TÉCNICAS ALTERNATIVAS DE 97 META-ANÁLISIS ANEXO D DESCRIPCIÓN DE LAS TÉCNICAS DE META- 103 ANÁLISIS ALTERNATIVAS ANEXO E ARTÍCULOS TESIS DOCTORAL EN CIENCIAS INFORMATICAS ii ENRIQUE FERNANDEZ

13 INDICE ÍNDICE DE FIGURAS Figura 1: Reducción del valor de β 12 Figura 2.2: Supuestos del Modelo de Efecto Fijo 16 Figura 2.3: Supuestos del Modelo de Efectos Aleatorios 16 Figura 3.1: Secuencia de desarrollo de las tareas 27 Figura 4.1: Incremento de la Potencia Empírica en un Meta-Análisis 46 Figura 4.2: Secuencia de Ejecución de las Actividades del Proceso de Agregación 52 Figura B.1: Forest plot de un conjunto de estudios homogéneo 90 Figura B.2: Forest plot de un conjunto de estudios heterogéneo 90 Figura C.1: Origen de los errores α y β 94 Figura C.2: Distorsión producida por una pequeña muestra en la distribución 95 TESIS DOCTORAL EN CIENCIAS INFORMATICAS iii ENRIQUE FERNANDEZ

14 INDICE TESIS DOCTORAL EN CIENCIAS INFORMATICAS iv ENRIQUE FERNANDEZ

15 INDICE ÍNDICE DE TABLAS Tabla 2.1: Tipos de Errores de un Test Estadístico 10 Tabla 3.1: Contribuciones de la tesis 32 Tabla 3.2: Aplicación de los Artículos a las preguntas de investigación 33 Tabla 4.1: Aplicación de los Artículos a las preguntas de investigación 39 Tabla 4.2: Comparación de Exactitud de la técnicas de Meta-Análisis 44 Tabla 4.3: Comparación de Potencia Empírica de las técnicas de Meta-Análisis 45 Tabla 4.4: Poder estadístico del test Q (α=0.05) 47 Tabla 4.5: Comparación de Exactitud de la técnicas de Meta-Análisis 48 Tabla 4.6: Comparación de Potencia Empírica de las técnicas de Meta-Análisis 49 Tabla 4.7: Tabla de Decisión para Determinar la Categoría de los Estudios 54 Tabla 4.8: Interpretación de Tamaños de Efectos para DMP y CVE 55 Tabla 4.9: Interpretación de Tamaños de Efectos para RRP y RRNP 55 Tabla 5.1: Resultados de los experimentos 57 Tabla 5.2: Resultados de la agregación mediante DMP 58 Tabla 5.3: Resultados de la agregación mediante las técnicas alternativas 59 Tabla 5.4: Exactitud y potencia empírica de las técnicas del ejemplo de la tabla Tabla 5.5: Resultados de los Experimentos 61 Tabla 5.6: Resultados de la agregación mediante DMP 61 Tabla 5.7: Resultados de la agregación mediante las técnicas alternativas 62 Tabla 5.8: Exactitud y potencia empírica de las técnicas del ejemplo de la tabla Tabla C.1: Tipos de Errores de un Test Estadístico 93 Tabla D.1: Interpretación del Tamaño de Efecto 107 TESIS DOCTORAL EN CIENCIAS INFORMATICAS v ENRIQUE FERNANDEZ

16 INDICE TESIS DOCTORAL EN CIENCIAS INFORMATICAS vi ENRIQUE FERNANDEZ

17 NOMENCLATURA MODELO DE PROCESO DE CONCEPTUALIZACION DE REQUISITOS NOMENCLATURA CVE: DMP: IEEE: IS: ISE: RR: RRNP: RRP: UNLa: UNLP: UPM: Conteo de Votos Estadístico Diferencias Medias Ponderadas Instituto de Ingenieros en Electricidad y Electrónica Ingeniería del Software Ingeniería del Software Experimental Ratio de Respuesta Ratio de Respuesta No Paramétrico Ratio de Respuesta Paramétrico Universidad Nacional de Lanús Universidad Nacional de La Plata Universidad Politécnica de Madrid (España) TESIS DOCTORAL EN CIENCIAS INFORMATICAS vii ENRIQUE FERNANDEZ

18 NOMENCLATURA MODELO DE PROCESO DE CONCEPTUALIZACION DE REQUISITOS TESIS DOCTORAL EN CIENCIAS INFORMATICAS viii ENRIQUE FERNANDEZ

19 INTRODUCCIÓN 1. INTRODUCCION Este capítulo tiene como objetivo introducir al lector en la problemática de la tesis. En el mismo se presenta el área de investigación (sección 1.1), se describen los antecedentes que justifican la realización de esta investigación (sección 1.2), se define el problema a resolver (Sección 1.3), se definen los objetivos de investigación (sección 1.4) y, finalmente, se presenta la estructura del documento de tesis (sección 1.5) ÁREA DE INVESTIGACIÓN La Ingeniería en Software (IS), de acuerdo a la norma de la IEEE, debe aplicar conocimiento científico para el desarrollo, operación y mantenimiento de los sistemas software. Esto implica poder seleccionar de modo objetivo, dentro de un conjunto de métodos, técnicas y herramientas, cuál se debe utilizar en cada actividad de un proyecto de acuerdo a las condiciones o características de dicha actividad [Juristo, N.; Vegas, S.; 2011]. Lamentablemente, no se cuenta con la suficiente evidencia para apoyar la mayoría de los reclamos que habitualmente se reciben sobre la construcción de software. Algunos ejemplos de tecnologías que se aplican en la IS sin haber sido probados son los paradigmas funcionales, el paradigma de orientación a objetos y los métodos formales [Tichy, W.; 1998]. No hay confirmaciones empíricas respecto de cuanto son los beneficios que pueden alcanzar las organizaciones con su utilización [Fenton, N.; Pfleeger, S.; 1997]. Ante la ausencia de datos objetivos, las decisiones se manejan en base a opiniones subjetivas y rutinarias. En estas condiciones se tiende a generar productos software de baja calidad y la constricción de estos productos y su mantenimiento queda atada a las personas que lo desarrollaron [Laitenberger, O.; Rombach, D.; 2003]. TESIS DOCTORAL EN CIENCIAS INFORMATICAS 1 ENRIQUE FERNANDEZ

20 INTRODUCCIÓN Para poder tener decisiones objetivas, es necesario conocer con precisión cómo es el comportamiento de los métodos, técnicas y herramientas de IS. Para ello, existen distintas aproximaciones que permiten obtener la información necesaria. A modo de ejemplo, una demostración matemática puede determinar la complejidad de un algoritmo, o una simulación puede demostrar cuál, de un conjunto de métodos de optimización, es preferible. Sin embargo, hay muchos otros casos de investigación en IS, donde las metodologías de investigación son inapropiadas o cubren la tarea en partes. Principalmente, por que muchas de las tareas vinculadas a la construcción de Software están relacionadas con las personas que las realizan. Por lo tanto la IS requiere que se desarrollen metodologías de investigación propias a sus características y contexto de trabajo [Wohlin, C.; et al.; 2000]. La Ingeniería del Software Experimental (ISE) traslada a la IS el paradigma experimental que ha sido aplicado con éxito no ya en disciplinas científicas clásicas (Física, Química, Medicina, etc.) sino que ha permitido avanzar en disciplinas tradicionalmente no experimentales como la Psicología [Myers, D.; Lamm, H.; 1975] o la Economía [Davis, D.; Holt C.; 1992]. Los orígenes de la ISE se remontan a los trabajos de [Weinberg, G.; 1971] y [Tichy, W. ; 1971]. En estos trabajos se observo y evaluó métodos de desarrollo de software. Sin embargo, el primer experimento fue desarrollado a principio de los 80 por el grupo de investigación de Victor Basili [Basili, V.; Weiss, D.; 1981] [Bailey, J.; Basili, V.; 1981] en la universidad de Maryland con el laboratorio de Ingeniería de Software de la NASA. Un experimento es una investigación formal, rigurosa y controlada. Siendo uno de sus factores clave la identificación y manipulación. En un experimento, las variables bajo estudio toman distintos valores, y el objetivo es normalmente comparar dos situaciones [Wohlin, C.; et al.; 2000], por ejemplo la influencia de la experiencia en los programadores, comparando los resultados de un novatos contra los de un programador experimentados. Actualmente es razonable estimar que el número de experimentos en IS crece a una tasa del 10% anual. Por ejemplo, entre los años 1993 y 2003 solo se publicaron 93 experimentos [Dyba, T.; Kampenes, V.; Sjoberg, D.; 2006] en journal y conferencias de primer nivel, como es por ejemplo IEEE Transactions on Software Engineering. Sin embargo, la cantidad de experimentos TESIS DOCTORAL EN CIENCIAS INFORMATICAS 2 ENRIQUE FERNANDEZ

21 INTRODUCCIÓN desarrollados dentro del campo de la IS fue mucho mayor, duplicando o incluso triplicando la cifra antes mencionada [Dieste, O.; Griman, A.; 2007] ANTECEDENTES El hecho de que un simple experimento produzca ciertos resultados no puede tomarse como evidencia suficiente para creer que él mismo es una verdad universal. La replicación de experimentos llevada a cabo por diferentes investigadores, en distintos sitios bajo similares condiciones permite mejorar la confianza de los conocimientos generados [Judd, C.; Smith E.; Kidder, L.; 1991]. Mediante la combinación de los resultados de estas replicaciones, de manera total o parcial, los investigadores pueden analizar si los resultados son consistentes o no entre las mismas, e identificar las variables que influyen en el comportamiento fenómeno bajo estudio. Las distintas estrategias de combinación de resultados experimentales se conocen con el nombre genérico de métodos de síntesis [Chalmers, I.; Hedges, L.; Cooper H.; 2002] o métodos de agregación [Cochrane; 2011], como típicamente acostumbran a denominarse en IS. Los métodos de síntesis se dividen en integrativos e interpretativos [Dixon-Woods, M.; et al; 2005]. Los métodos integrativos son típicamente cuantitativos y permiten realizar sistemáticamente la combinación de los datos de los experimentos individuales. Los métodos interpretativos son de naturaleza cualitativa, y como su propio nombre lo indica poseen un alto nivel de subjetividad. Es por ello que los métodos integrativos son preferidos para combinar experimentos, en especial el Meta-Análisis [Chalmers I., Hedges L., Cooper H.; 2002]. Existen diversas técnicas de Meta-Análisis, aplicables a distintos conjuntos de datos. Por ejemplo, el Odds Ratio [Hedges, L.; Olkin, I.; 1985] se aplica cuando los datos experimentales son discretos. Para datos continuos, la técnica utilizada son las Diferencias Medias Ponderadas (DMP) [Hedges, L.; Olkin, I.; 1985]. La técnica DMP ha sido ampliamente utilizada en ciencias como la psicología o medicina, es la recomendada por organismos como [Cochrane, 2011] y es la indicada por [Kitchenham, B.; 2004] en sus recomendaciones para el desarrollo de revisiones sistemáticas en Ingeniería del Software. A la fecha es la única técnica de Meta-Análisis aplicada en Ingeniería del Software. TESIS DOCTORAL EN CIENCIAS INFORMATICAS 3 ENRIQUE FERNANDEZ

22 INTRODUCCIÓN Como toda técnica estadística, el DMP tiene ciertas condiciones de aplicación. En primer lugar, el conjunto de experimentos a agregar debe cumplir ciertas restricciones [Hedges, L.; Olkin, I.; 1985]: contener un número mínimo de estudios (típicamente 10); un número mínimo de sujetos (unos 10 sujetos por nivel); estar adecuadamente reportados (como mínimo: número de sujetos experimentales, medias y varianzas); y ser homogéneos (esto es, que no existan variables moderadoras que interaccionen con los factores). En segundo lugar, la técnica DMP asume que las muestras utilizadas son grandes. Esta asunción es necesaria debido al carácter asintótico (esto es, basado en la teoría de los grandes números) con el que la técnica DMP fue creada. Sin embargo, las técnicas estadísticas basadas en grandes muestras, no necesariamente arrojan resultados fiables cuando se aplican a pequeñas muestras [Cohen J.; 1988]. Las consecuencias de aplicar técnicas estadísticas asintóticas a pequeñas muestras consisten en diferencias entre los valores nominales (los esperados según la teoría) y empíricos (los que ocurren en la práctica) de diversos parámetros, tales como [Cohen J.; 1988]: Diferencia entre la probabilidad real de cometer un error de tipo I y el nivel de significación α (lo que se denomina tasa de rechazo (del inglés rejection rate)). Diferencia entre las probabilidades reales de cometer un error de tipo II y β (lo que se denomina tasa de aceptación (del inglés acceptance rate) o, expresado en términos del poder estadístico (1- β), potencia empírica (del inglés empirical power)) Diferencia entre el valor del parámetro estimado (por ejemplo el tamaño de efecto) y el valor poblacional respectivo. Este efecto acostumbra a denominarse bias. Diferencia entre la probabilidad real de que un intervalo de confianza contenga al parámetro de interés y el intervalo de confianza teórico al nivel (1- α). Este efecto acostumbra a denominarse exactitud (del inglés accuracy). Los efectos de pequeñas muestras son a menudo pasados por alto cuando se aplican las técnicas estadísticas. En el campo del Meta-Análisis con DMP los efectos de pequeñas muestras apenas se han estudiado (con excepción de [Hedges, L.; 1982]). En general, puede afirmarse que TESIS DOCTORAL EN CIENCIAS INFORMATICAS 4 ENRIQUE FERNANDEZ

23 INTRODUCCIÓN desconocemos virtualmente todo acerca del funcionamiento de DMP en contextos de pequeñas muestras DEFINICIÓN DEL PROBLEMA Por diversas razones (por ejemplo: costos de realización de un experimento en IS, ausencia de un programa de investigación en ISE, etc.), las cuales están fuera del alcance de esta tesis, a menudo las agregaciones de experimentos en IS no cumplen con las condiciones de aplicación de la técnica DMP. Por ejemplo, en el trabajo de [Ciolkowski, M.; 2009], se identifican 21 experimentos sobre técnicas de inspección, los cuales son agregados en tres grupos, el primero conteniendo 7 experimentos, el segundo 9 y el tercero 5, dichos experimentos poseen tamaños variados, conteniendo el menor 3 sujetos experimentales por nivel, el mayor 45 sujetos por nivel, mientras que el promedio asciende a 6 sujetos por nivel. Si bien el trabajo de [Ciolkowski, M.; 2009] ha sido publicado, y puede ser considerado exitoso, lo cierto es que el número de experimentos por agregación, y sujetos por nivel, está por debajo de los niveles recomendados (10 experimentos por agregación; 10 sujetos por nivel) indicados anteriormente, por lo que un meta-análisis realizado con DMP en estas condiciones puede sufrir cualquiera de los errores indicados anteriormente (por ejemplo: cometer un error tipo I o II mayor del nominal, o presentar un intervalo de confianza que no contenga al valor poblacional). Otro ejemplo es el trabajo de [Dieste, O., Juristo, N.; 2009], donde se identificaron 30 experimentos sobre educción de requisitos. El menor contiene 2 sujetos experimentales por nivel, el mayor 21, mientras que el promedio asciende a 11 sujetos por nivel. Para cada grupo de experimentos agregables, menos del 20% publicaban las varianzas. Por consiguiente, en este trabajo no pudo aplicarse meta-análisis con DMP. Podrían citarse otros ejemplos, pero, el caso es que la ISE se caracteriza, en la actualidad, por desarrollar pocas replicaciones de experimentos, que a su vez emplean tamaños muestrales muy reducidos, y que en algunos casos tienen falencias de reporte (principalmente ausencia de TESIS DOCTORAL EN CIENCIAS INFORMATICAS 5 ENRIQUE FERNANDEZ

24 INTRODUCCIÓN publicación de varianza). Ello da lugar a 3 problemas fundamentales a los cuales se enfrenta un investigador en IS cuando realiza un meta-análisis: 1. La técnica DMP no es aplicable en muchos casos debido a falencias en los reportes experimentales. 2. En los casos en que la técnica DMP es aplicable, el número de experimentos por agregación y sujetos por nivel suelen ser demasiado pequeños, lo que provoca que los resultados obtenidos (por ejemplo: tamaños de efecto, o intervalos de confianza) puedan no ser correctos. 3. Cuando la técnica DMP no es aplicable, o es aplicable pero no fiable, la realización del Meta-Análisis es imposible, al no existir técnicas de meta-análisis alternativas en IS OBJETIVOS DE LA TESIS El objetivo general de esta tesis consiste en definir un nuevo procedimiento de Meta-Análisis que pueda ser utilizado para agregar de forma más eficiente experimentos en IS. Este procedimiento permitirá solventar los problemas de reporte y evitar (en la medida de lo posible) los efectos de pequeñas muestras, lo que redundará en un aumento en la cantidad y calidad de las piezas de conocimiento empíricamente fundadas en ISE. Este objetivo general se divide en tres objetivos detallados, los cuales se presentan a continuación: Objetivo 1: identificar técnicas de Meta-Análisis alternativas a DMP (aplicables cuando hay problemas de reportes) Objetivo 2: estudiar el comportamiento de las técnicas de Meta-Análisis para el contexto experimental de Ingeniería del Software Objetivo 3: desarrollar un proceso de Meta-Análisis propio para Ingeniería del Software que permita determinar mediante que técnica agregar los experimentos identificados. TESIS DOCTORAL EN CIENCIAS INFORMATICAS 6 ENRIQUE FERNANDEZ

25 INTRODUCCIÓN 1.5. VISIÓN GENERAL DE LA TESIS El Capitulo Introducción, tiene como objetivo introducir al lector en la problemática de la tesis. En el mismo se presenta el área de investigación, se describen los antecedentes que justifican la realización de esta investigación, se define el problema a resolver, se definen los objetivos de investigación y, finalmente, se presenta la estructura del documento de tesis. El Capitulo Estado de la Cuestión, tiene como objetivo describir como es el contexto de trabajo en cual se inserta esta tesis, permitiendo al lector adquirir los conocimientos necesarios para comprender la problemática de la misma, como así también el por qué de la solución adoptada. En el mismo se describe porque es necesarios agregar o Meta-Analizar los experimentos, como ha sido el desarrollo histórico del Meta-Análisis, se indica en qué consiste concretamente el Meta-Análisis y cuáles son las variantes para agregar experimentos en función de las características del contexto en el cual fueron generados, se detallada como ha sido la aplicación del Meta-Análisis en IS, y se presentan los trabajos de Meta-Análisis desarrollados hasta el momento en IS. El capítulo Objetivos y Metodología de Trabajo, tiene como objetivo describir en detalle los objetivos de investigación y las preguntas de investigación detalladas que se derivan de ellos. El núcleo de la investigación consiste en identificar técnicas de Meta-Análisis alternativas a DMP y caracterizar su funcionamiento en contextos de pequeñas muestras, como es el caso de la Ingeniería del Software, los métodos de investigación utilizados serán la revisión sistemática de literatura y la simulación de Monte Carlo. Finalizará el capítulo con la relación entre las publicaciones realizadas y las preguntas de investigación y, finalmente, se presentan las contribuciones realizadas. El capítulo Resumen de Resultados, tiene como objetivo describir como se ha dado respuesta a cada una de las preguntas de investigación planteadas, se presentan las técnicas de Meta-Análisis alternativas a DMP identificadas y a continuación se muestran como varía el comportamiento en función de las características del contexto, tomando como base las aportaciones anteriores, se propone un proceso de agregación de experimentos específico para experimentos realizados en IS. TESIS DOCTORAL EN CIENCIAS INFORMATICAS 7 ENRIQUE FERNANDEZ

26 INTRODUCCIÓN El capítulo Demostración de la Solución, tiene como objetivo presentar un caso de estudio teórico donde se aplica el procedimiento de agregación definido en la sección 4, y un caso de aplicación real en el cual se toma como base una revisión sistemática desarrollada dentro del contexto de esta tesis. El capítulo Discusión, tiene como objetivo discutir los conocimientos generados en esta tesis, se analizan los resultados obtenidos en el desarrollo de las actividades realizadas para dar respuestas a las preguntas de investigación, se analiza la aplicabilidad del procedimiento desarrollado y se detallan los beneficios de la utilización del procedimiento presentado. El capítulo Conclusiones y Futuras Líneas de Investigación, tiene como objetivo presentar las contribuciones de esta tesis a la comunidad científica en Ingeniería del Software y analizar futuros trabajos ampliatorios al presente trabajo. En el capítulo Referencias se presentan las referencias bibliográficas citadas a lo largo del documento de tesis. El Anexo A, tiene como objetivo explicar en qué consiste la Heterogeneidad. El Anexo B, tiene como objetivo explicar en qué consiste el Error Experimental El Anexo C, tiene como objetivo describir cómo se realizó el trabajo de búsqueda y selección de las técnicas de agregación alternativas a DMP. El Anexo D, tiene como objetivo describir cómo funcionan las técnicas de agregación alternativas a DMP. El Anexo E, tiene como objetivo presentar todas las publicaciones realizadas en el contexto de la presente tesis. TESIS DOCTORAL EN CIENCIAS INFORMATICAS 8 ENRIQUE FERNANDEZ

27 ESTADO DE LA CUESTION 2. ESTADO DE LA CUENTION Este capítulo tiene como objetivo describir como es el contexto de trabajo en cual se inserta esta tesis, permitiendo al lector adquirir los conocimientos necesarios para comprender la problemática de la misma, como así también el por qué de la solución adoptada. En el mismo se describe porque es necesarios agregar o Meta-Analizar los experimentos (sección 2.1), como ha sido el desarrollo histórico del Meta-Análisis (sección 2.2), se indica en qué consiste concretamente el Meta-Análisis y cuáles son las variantes para agregar experimentos en función de las características del contexto en el cual fueron generados (sección 2.3), se detallada como ha sido la aplicación del Meta-Análisis en IS (sección 2.4), y se presentan los trabajos de Meta-Análisis desarrollados hasta el momento en IS (sección 2.5) NECESIDAD DEL META-ANÁLISIS A continuación se presentan dos definiciones de dos autores diferentes respecto de por qué es necesario el Meta-Análisis: 1. Según [Chalmers I., Hedges L., Cooper H.; 2002] los experimentos aislados proporcionan únicamente resultados parciales y solamente la acumulación de resultados parciales (replicaciones del experimento y combinación de los resultados) permite obtener resultados fiables y generalizables. 2. Según [Borenstein, M., Hedges, L., Rothstein, H.; 2007] al realizar un Meta-Análisis, se busca hallar un resultado que sea resumen representativo de los resultados de los estudios individuales, y por tanto que signifique una mejora sobre las estimaciones individuales. TESIS DOCTORAL EN CIENCIAS INFORMATICAS 9 ENRIQUE FERNANDEZ

28 ESTADO DE LA CUESTION Idealmente, se debe partir de los estudios individuales -con sus virtudes y defectos- y obtener un resultado que sea más fiable que los resultados individuales de los que partíamos. En ambos casos los autores coinciden en señalar que el Meta-Análisis es una mejora a la calidad de los conocimientos de los estudios individuales, ya que de esta forma se logra generar conocimientos que posean realmente una visión general y se minimiza el impacto del error experimental en el cual puede caer un investigador a la hora de desarrollar un experimento. Al realizar un experimento comparando los niveles de un factor, se obtiene una respuesta precisa: o bien afirmar la hipótesis nula H 0, o bien afirmar la hipótesis alternativa H 1. Sin embargo, nada asegura que esta respuesta sea la verdadera, ya que los experimentos se aplican sobre una pequeña cantidad de sujetos experimentales y no sobre toda la población. En consecuencia, existen cuatro posibles resultados de un experimento en lo relativo a su veracidad, tal y como indica la Tabla 2.1. Dos de los cuatro posibles resultados son errores, conocidos como errores tipo I y II. Hipótesis que se verifica en la población Respuesta del experimento H 0 H 1 H 0 Resultado correcto Error tipo II (con probabilidad β) H 1 Error Tipo I (con probabilidad α) Resultado correcto Tabla 2.1: Tipos de Errores de un Test Estadístico El error tipo I ocurre cuando el experimento arroja que la hipótesis alternativa H 1 es verdadera, cuando en realidad es cierta la hipótesis nula H 0. Para un investigador, éste error es el más importante. La razón es muy sencilla: Todos nosotros intentamos desarrollar nuevos métodos y técnicas que hagan más eficiente el desarrollo de software, pero necesitamos demostrar que dichos métodos y técnicas son efectivamente mejores, razón por la cual acudimos a la realización de experimentos confiando que H 1 sea cierta. Si el experimento arroja que H 1 es cierto, deseamos que la probabilidad de cometer un error de tipo I sea la menor posible. Por otra parte, cometer un error de tipo II consiste en indicar que H 1 es cierto cuando en realidad en la población se corrobora lo contrario. TESIS DOCTORAL EN CIENCIAS INFORMATICAS 10 ENRIQUE FERNANDEZ

29 ESTADO DE LA CUESTION La probabilidad de cometer un error tipo I se denota como α. A la hora de aplicar test estadísticos a los datos experimentales, los investigadores son libres de determinar el valor de α, por lo tanto, el riesgo de cometer un error tipo I. Es habitual que el valor de α se fije en valores muy pequeños, tales como: 0,1; 0,05 o incluso 0,01 (10%, 5% y 1% respectivamente), pero pocas veces se define el nivel de β. Lamentablemente, nuestra capacidad para asignar un valor a α es limitada. Los test de hipótesis, se caracteriza por 5 factores [Cohen, J.; 1988]: α, β (del que hablaremos a continuación), la diferencia entre las medias d, el nivel de variación de la variable respuesta s (medido a través de la varianza o la desviación típica) y el número de sujetos experimentales n. La relación entre estos factores se muestra en la ecuación 2.1, donde z representa la distribución normal tipificada: n 2 1 β = d z1 α z (2.1) Estos 5 factores forman un sistema cerrado, haciendo que una disminución o incremento en cualquiera de los factores provoque incrementos o disminuciones en los demás. Por lo tanto, a medida que el investigador requiere valores más pequeños de α, tiende a aumentar el parámetro β (ya que tanto d como s son propios del contexto experimental y por lo tanto no pueden ser manipulados, mientras que n no puede incrementarse fácilmente en la práctica). β es la probabilidad del error tipo II. Este error, tal y como indica la Tabla 2.1, significa que el experimento determina que la hipótesis nula H 0 es cierta, cuando en la población se verifica realmente la hipótesis alternativa H 1. En otras palabras: Existe una probabilidad β de que el experimento arroje resultados no significativos erróneamente. Esto no debería ser un problema si no fuera porque β tiene habitualmente un valor muy alto. A este respecto, véase la Figura 2.1, donde se representa la relación entre β y n para α = 0,05 (la situación más común en experimentación) para unos valores d y s representativos de los experimentos en IS [Dieste, O; et al., 2010]. TESIS DOCTORAL EN CIENCIAS INFORMATICAS 11 ENRIQUE FERNANDEZ

30 ESTADO DE LA CUESTION β n Figura 1: Reducción del valor de β Puede apreciarse en la Figura 2.1 que un experimento con n = 40 (esto es, 40 sujetos experimentales) tiene un β 0,4. Esto implica que, en promedio, si realizamos 10 experimentos de este tipo, obtendremos 6 resultados significativos (60%) y 4 no significativos (40%, esto es, el parámetro β considerado como un porcentaje). En consecuencia, es habitual que un conjunto de experimentos relacionados (sean éstos replicaciones o no) arrojen resultados contradictorios (significativos y no significativos) por motivos puramente estadísticos [Hunter, J.; Schmidt, F.; 2004]. En IS, esto es además especialmente frecuente, ya que resulta difícil ensamblar cohortes de 40 sujetos, lo que provoca que el error β sea muy alto. La cuestión es, entonces, cómo determinar qué resultado, de entre todos los obtenidos en un conjunto de experimentos relacionados, es el correcto DESARROLLO HISTÓRICO DEL META-ANÁLISIS La primera síntesis de experimentos data de 1904 y fue realizada por K. Pearson [Cooper, H.; Hedges, L.; 1994]. Se trató de reconciliar 11 estudios acerca de la vacunación contra el tifus, para lo cual Pearson utilizó un enfoque completamente objetivo promediando los resultados. Por la década del 30 se realizaron varios intentos de Meta-Análisis. No obstante, no es hasta la década de los 80 que el Meta-Análisis se comenzó a aplicar de forma masiva en Medicina y a partir de los 90 es muy frecuente encontrar artículos de estas características en la mayoría de las ramas de la ciencia como son: las ciencias sociales [Petrosino, A.; et al; 2001], la psicología [Sanchez-Meca, J.; Botella, J.; TESIS DOCTORAL EN CIENCIAS INFORMATICAS 12 ENRIQUE FERNANDEZ

31 ESTADO DE LA CUESTION 2010], la psiquiatría [Navarro, F.; et al; 1999], la educación [Davies, P.; 1999] y la ecología [Miguez, E.; Bollero, G.; 2005] entre otras. Pero las técnicas no se desarrollaron en plenitud ni adquirieron gran difusión hasta fechas muy recientes. La persona clave en este proceso fue G.V. Glass, que en 1976 propuso el uso del tamaño del efecto y la diferencia de medias ponderada (DMP) para la combinación de experimentos en educación [Glass, G.; 1976]. Y lo que no es menos importante, también propuso el nombre por el que esta técnica, así como otras similares, se conocen hoy en día: Meta-Análisis [Hunt, M.; 1997]. Para comprender mejor la importancia de las aportaciones del trabajo de Glass, hay que considerar como era el contexto en el cual hace sus aportaciones. Durante la década del 60 se produce la explosión de la experimentación, sobre todo en ciencias sociales, [Chalmers I., Hedges L., Cooper H.; 2002]. Una década más tarde, el panorama en ciencias sociales era desalentador: Los experimentos realizados ofrecían resultados totalmente contradictorios, hasta el punto de cuestionar la idoneidad de la investigación experimental aplicada a las ciencias sociales, llevando a los organismos gubernamentales a plantearse la posibilidad de cortar los fondos para el desarrollo de este tipo de trabajos. Visto desde la perspectiva actual, las dudas suscitadas en aquel entonces parecen pueriles. Hoy sabemos que la probabilidad de error tipo II (β) de aquellos experimentos, desarrollados con pocos sujetos experimentales, era muy alta, lo que explica su carácter contradictorio. Sin embargo, en aquel entonces se sabía poco acerca del error de tipo II, ya que el desarrollo de la teoría estadística relacionada se produjo en 1962 y sólo fue popular a partir de 1977 [Cohen, J.; 1988]. La intuición superior de Glass consistió en entender que no había estudios correctos o incorrectos, sino que cada uno poseía en sí parte de la verdad [Glass, G.; 2000]. Y que la combinación objetiva era lo que iba a permitir obtener las evidencias necesarias para validar las teorías que la ciencia necesita para poder funcionar. TESIS DOCTORAL EN CIENCIAS INFORMATICAS 13 ENRIQUE FERNANDEZ

32 ESTADO DE LA CUESTION 2.3. CONCEPTO DE META-ANÁLISIS La agregación o síntesis cuantitativa de estudios experimentales o Meta-Análisis, consiste en la integración de los resultados de un conjunto de experimentos, previamente identificados, que analizan el desempeño de un par de tratamientos predefinidos con el fin de dar una estimación cuantitativa sintética de todos los estudios disponibles [Goodman, C.; 1996]. Existen métodos para el tratamiento de variables continuas y discretas [Hedges, L.; Olkin, I.; 1985], los primeros asociados a mediciones en las cuales es factible establecer un promedio, por ejemplo cantidad de promedio de fallas detectadas en un programa, cantidad promedio de líneas de código utilizadas, etc.; y los segundos a variables asociadas a alguna tasa o relación entre casos exitosos sobre casos totales, utilizada habitualmente en medicina para avaluar, por ejemplo, la cantidad de pacientes con sobre vida respecto de la cantidad total de pacientes evaluados que fueron expuestos a un tratamiento. Si bien ambos tipos de variables pueden ser utilizadas en IS, el campo de aplicación de las variables discretas se circunscribe a un campo de aplicación muy reducido, como podría ser el análisis de tráfico en redes, donde no existen inconvenientes a la hora de realizar una prueba de gran volumen. Por ello, la presente tesis solo se centrará en los métodos aplicables a variables continuas que son los que más inconvenientes tienen a lo hora de ser aplicado en el actual contexto de IS. Hay que tener en cuenta que si todos los estudios incluidos en el proceso de agregación fueran igualmente precisos, bastaría con promediar los resultados de cada uno de ellos para obtener así una conclusión final. Sin embargo, en la práctica no todos los estudios tienen la misma precisión, por ello cuando se los combine se debe asignar un mayor peso a los estudios que permiten obtener información más fiable. Esto se logra combinando los resultados mediante un promedio ponderado [Borenstein, M.; Hedges, L.; Rothstein, H.; 2007], donde cada experimento es calificado en base a alguna propiedad, generalmente la inversa de su varianza. Para poder lograr realizar este promedio ponderado, los experimentos individuales deben brindar un resultado cuantitativo que además permita compatibilizar diferencias de escalas entre los experimentos, ya que los resultados de los diferentes estudios pueden medirse en diferentes escalas de la variable respuesta [Cochrane; 2011]. TESIS DOCTORAL EN CIENCIAS INFORMATICAS 14 ENRIQUE FERNANDEZ

33 ESTADO DE LA CUESTION Por lo tanto, la variable dependiente en un Meta-Análisis debe poder compatibilizar estos aspectos, lo cual se logra mediante la estimación de un tamaño de efecto (o mejora), el cual consiste en un estimador estandarizado no escalar de la relación entre una exposición y un efecto. En sentido general, este término se aplica a cualquier medida de la diferencia en el resultado entre los grupos de estudio [Borenstein, M.; Hedges, L.; Rothstein, H.; 2007]. Existen dos estrategias bien diferenciadas a la hora de agregar un conjunto de experimentos. La primera de ellas parte del supuesto de que las diferencias en los resultados de un experimento a otro obedecen a un error aleatorio propio de la experimentación y de que existe un único resultado o tamaño de efecto que es compartido por toda la población. La segunda estrategia parte del supuesto de que no existe un único tamaño de efecto representativo de toda la población, sino que dependiendo del origen o momento en que se realicen los experimentos los resultados van a modificarse debido a la influencia de variables no controladas, a pesar de esto puede obtenerse un promedio de los distintos resultados para una conclusión general. A la primera de las estrategias se la denominada modelo de efecto fijo y a la segunda se la denominada modelo de efectos aleatorios [Borenstein, M.; Hedges, L.; Rothstein, H.; 2007]. Las figura 2.2 y 2.3 ilustran lo dicho anteriormente, mostrando en la figura 2.2 un único tamaño de efecto poblacional, donde la diferencia entre el tamaño de efecto poblacional y de los experimentos se debe únicamente a un problema experimental. Por su parte, la figura 2.3 muestra varios tamaños de efecto, todos reales para el contexto en el cual fueron realizados los experimentos, lo que los hace heterogéneos entre si y resalta la existencia de variables no controladas que afectan al comportamiento del fenómeno (para mayores respecto de la heterogeneidad dirigirse al anexo B). En estas condiciones lo que se puede obtener a nivel general es un promedio de los tamaños de efecto [Schmidt, F.; Hunter, J.; 2003]. TESIS DOCTORAL EN CIENCIAS INFORMATICAS 15 ENRIQUE FERNANDEZ

34 ESTADO DE LA CUESTION Figura 2.2: Supuestos del Modelo de Efecto Fijo Figura 2.3: Supuestos del Modelo de Efectos Aleatorios En las siguientes subsecciones se explica con mas detalla en qué consiste cada una de las estrategias MODELO DE EFECTO FIJO Como ya se mencionó, para el modelo de efecto fijo existe un único tamaño de efecto al cual pertenecen todos los experimentos que van a ser agregados. Por ende cualquier diferencia en los resultados obedece únicamente a un error experimental aleatorio propio de la experimentación [Borenstein, M.; Hedges, L.; Rothstein, H.; 2007]. Por ello dentro de este enfoque la ponderación de los experimentos se realiza únicamente en base a la inversa de su varianza, asumiendo que cuanto menor sea la varianza más preciso es el experimento. Dado que, en general, la varianza es TESIS DOCTORAL EN CIENCIAS INFORMATICAS 16 ENRIQUE FERNANDEZ

35 ESTADO DE LA CUESTION inversamente proporcional al tamaño del experimento (cantidad de sujetos que posee) tendremos que los experimentos de mayor tamaño tendrán una mayor representatividad en la conclusión que los pequeños, por ejemplo un experimento con sujetos experimentales tendrá una ponderación 10 veces mayor que la que tiene una de 100 sujetos experimentales [Borenstein, M.; Hedges, L.; Rothstein, H.; 2007]. Esto produce que la conclusión general se vuelque hacia el resultado particular de un estudio cuando este es mucho más grande que los demás. La técnica de modelo de efecto fijo aplicada en IS es la DMP, cuyo cálculo consta de dos pasos, primeramente se debe estimar el tamaño de efecto de cada uno de los experimentos, y una vez estimados los mismos, podrá estimarse el tamaño de efecto global. A continuación se presenta la función de estimación del tamaño de efecto para un experimento (o efecto individual) [Hedges, L.; Olkin, I.; 1985], mediante la ecuación 2.2: Y d = J E Y S P C 3 J = 1 4N 9 d representa el tamaño de efecto J representa el factor de corrección Y s representa a las medias del grupo experimental (E) y de control (C) S p representa el desvió estándar conjunto N representa el total de sujetos experimentales incluidos en el experimento (2.2) Luego de estimar el tamaño de efecto, se estima el error típico, y en base a este se establece el intervalo de confianza asociado al efecto para el nivel de fiabilidad deseado, generalmente del 95%, lo que equivale a un error de tipo I del 5% (α = 0,05), mediante la ecuación 2.3: 2 ñ + d v = E 2( n + n n ñ = n E E + n * n C C C ) v representa el error típico d representa el tamaño de efecto n s representa la cantidad de sujetos experimentales del grupo experimental (E) y de control (C) Z representa la cantidad de desvíos estándar que separan, al nivel de significancia dado, la media del límite. En general (2.3) TESIS DOCTORAL EN CIENCIAS INFORMATICAS 17 ENRIQUE FERNANDEZ

36 ESTADO DE LA CUESTION d 2 Zα / 2 v λ d + Zα / v es 1,96 (α = 0,05) Una vez estimados los tamaños de efectos de los estudios individuales se puede estimar el tamaño de efecto global mediante la ecuación 2.4: 2 d i / σ i ( d) d* = 2 1/ σ i ( d) 2 v = (1/ 1/ σ i ( d ) ) d* representa el tamaño de efecto global 2 d i / σ i ( d ) es la sumatoria de los efectos individuales 2 1/ σ i ( d ) es la sumatoria de la inversa varianza v representa el error típico (2.4) Una vez estimado el tamaño de efecto global, se estima el intervalo de confianza asociado al mismo, mediante la ecuación 2.5: d * α 2 Zα / 2 v λ d * + Z / v d* representa el tamaño de efecto global Z representa la cantidad de desvíos estándar que separan, al nivel de significancia dado, la media del límite. En general es 1,96 (α = 0,05) v representa el error típico (2.5) MODELO DE EFECTOS ALEATORIOS A diferencia del modelo de efecto fijo, para el modelo de efectos aleatorios existe más de un tamaño de efecto, debido a que los experimentos no son homogéneos, es decir, los resultados de cada experimentos están condicionados por un conjunto de variables no controladas, por ende existen dos tipos de errores, el error propio de cada uno de los experimentos producto de la experimentación (como sucede con el modelo de efectos fijo) y el error producido por la combinación de estudios provenientes de distintos contextos que poseen diferentes tamaños de efecto [Borenstein, M.; Hedges, L.; Rothstein, H.; 2007]. Este se traduce en la estimación de dos tipos de varianzas, la varianza interna de los estudios y la varianza entre estudios. De esta forma los TESIS DOCTORAL EN CIENCIAS INFORMATICAS 18 ENRIQUE FERNANDEZ