PRACTICAS DE TAMAÑO DE EFECTO Y POTENCIA

Transcripción

1 PRACTICAS DE TAMAÑO DE EFECTO Y POTENCIA 1.- Introducción Comparación de una media observada y otra teórica Comparación de dos medias observadas en grupos independientes Comparación de dos medias observadas en grupos relacionados Análisis de la varianza para grupos independientes Carlos Camacho Universidad de Sevilla

2 1.- Introducción Este tema es complementario del anterior realizado sobre tamaño de efecto, donde las cuestiones se planteaban desde una perspectiva teórica. A efectos de simplicidad planteamos ahora la resolución prácticas de los tamaños de efectos más comunes. Los cálculos sencillo los haremos a mano y los más complejos mediante G*Power. También algunas aplicaciones online que resuelven algunos cálculos, pero no muchos. 2.- Comparación de una media observada y otra teórica Para el caso del tamaño de efectos de una media observada y otra teórica, la fórmula utilizada es: d = X μ σ En el denominado se coloca la desviación tipo poblacional, si se conoce, y en caso contrario, la de la muestra, como estimadora de la poblacional. Supongamos el caso ya expuesto anteriormente. Tengamos la metodología tradicional en la enseñanza de las matemáticas que proporciona, según el test X, una media de 30 puntos y una desviación tipo de 5.5 en la población de estudiantes de 4º curso de primaria. Y tengamos igualmente una muestra de 250 estudiantes a los que aplicamos una metodología nueva en el aprendizaje de las matemáticas. Aquí la media conseguida es de 31 puntos. Nos preguntamos por la efectividad de este nuevo método. En este caso, el tamaño de efecto será: d = X µ = = σ 5.5 De acuerdo con Cohen: d d d = 0.2 = 0.5 = 0.8 Efecto pequeño Efecto medio Efecto grande Por tanto consideraremos que el tamaño de efecto es pequeño. Si recurrimos al G*Power: 2

3 Completamos el recuadro correspondiente. Hacemos clic en proporciona el tamaño de efecto: y nos Además, si posicionamos el cursor sobre el valor del tamaño de efecto, nos indica los valores mínimo, medio y grande. A continuación, clic en, y el resultado: 3

4 La potencia presenta un valor de 0.89, mayor que la propuesta por Cohen, de 0.8, lo que no nos debe llevar a pensar que la cosa ha ido bien porque la potencia ha sido alta. Hemos de conseguir las dos cosas, que la diferencia de medias sea sustancial (efecto suficiente) y que además la probabilidad de aceptar la Hipótesis alternativa sea alta (potencia). Cómo han de hacerse las cosas? Pues en realidad lo aconsejable es preparar las cosas con antelación y no lanzarse a la aventura de que cuanto más grande mejor, y aquí nos referimos a las muestras. Hemos de planificar nuestra investigación estableciendo a priori el tamaño mínimo de efecto que estamos dispuestos a admitir, y a continuación seleccionar la muestra que sea suficiente para ese tamaño de efecto. Ni más ni menos, porque con menos nos quedamos cortos de potencia y no podemos confirmar nuestra Hipótesis alternativa, y con más porque estamos desperdiciando esfuerzo, tiempo y dinero, y no vamos a ninguna parte, excepto hacer significativo lo insignificante. Antes de realizar nuestra investigación hemos de decidir lo que queremos y cómo. Lo primero, qué tamaño de efecto deseamos, y a continuación, ya que nos gustaría rechazar la Hipótesis nula, pues conseguir un valor de α lo más pequeño posible y como también deseamos confirmar la Hipótesis alternativa, pues lograr un valor 1 β lo más grande posible, y así minimizamos lo que no queremos y maximizamos lo que deseamos. Vamos entonces a nuestro nuevo método de enseñanza de las matemáticas y decidamos que no queremos un tamaño de efecto menor de 0.5, que nuestro riesgo α no va ser menor de 0.05 y que 4

5 nuestra potencia 1 β la queremos como mínima de 0.9. Decididas así las cosas, elegimos la opción a priori del G*Power: Estableciendo estas condiciones, con una muestra de 36 sujetos es suficiente. No hacen falta 250 individuos. 3.- Comparación de dos medias observadas en grupos independientes Tengamos los datos en los que estudiábamos la relación entre el número de horas semanales dedicadas al ejercicio físico y el sexo en una muestra de 14 sujetos adolescentes. Tengamos los siguientes descriptivos: Calculemos el tamaño de efecto y la potencia asociada. De acuerdo con Cohen tomaremos como tamaño de efecto la distancia entre las dos medias medida en desviaciones típicas (su distancia estandarizada): 5

6 d = X 1 X 2 S Donde el valor S es la media de las desviaciones típica de las dos muestras: Para el caso que nos concierne: S = (n 1 1)S (n 2 1)S 2 n 1 + n 2 S = (n 1 1)S (n 2 1)S 2 = 7 3, , n 1 + n 2 14 = 2.9 Por tanto: d = X 1 X 2 S = = Según Cohen, un efecto pequeño situaría d en torno a 0.2, en torno a 0.5 para un tamaño mediano y 0.8 o superior para un efecto grande. En este caso, como > 0.8 consideramos el efecto grande. Si recurrimos a G*Power: 6

7 Aunque el tamaño de efecto es grande, no lo es la potencia, que está por debajo del valor de 0.8 propuesto por Cohen, y que hace referencia a la probabilidad de que se cumpla la Hipótesis alternativa, o lo que es lo mismo, que a nivel poblacional se contemple la diferencia de medias obtenida. Se observa que hemos tenido que darle la desviación ponderada, por lo que en relación al tamaño de efecto poco hace este programa, aunque hay que decir que sí hace otros muchos cálculos. Hemos colocado el valor que hicimos a mano, pero tenemos otras alternativas más sencillas para calcular el tamaño de efecto: d = t n 1 + n 2 n 1 n 2 n 1 + n 2 n 1 + n 2 2 Para ello, hemos de calcular primeramente el valor de la t de Student: Hacemos cálculos: d = = En Internet lo hacen por nosotros en la siguiente dirección: 7

8 4.- Comparación de dos medias observadas en grupos relacionados En este caso, lo más sencillo es calcular la variable diferencia y aplicar el tamaño de efecto de la prueba de comparación de una media observada y otra teórica: d = X μ σ Por ejemplo, vayamos a la sexta pregunta del trabajo 2. Como se sabe, se preguntaba si podía afirmarse que los sujetos respondían igual ante estímulos visuales que auditivos, y que se hiciera con la diferencia entre ambas puntuaciones. La salida del SPSS, después de calcular la diferencia entre tiempo de reacción visual y auditivo era la siguiente: 8

9 En este caso: d = X μ σ = = Si lo hacemos con G*Power: Muy buen tamaño de efecto y muy buena potencia. Pero también podemos hacerlo como se plantea en este trabajo 2, pero en la segunda pregunta. Como se recuerda, la salida del ordenador era: 9

10 En este caso trabajamos con los datos proporcionados por la salida anterior: 10

11 5.- Análisis de la varianza para grupos independientes Vayamos al ejemplo de los tres grupos de estudiantes de matemáticas a los que habíamos aplicado tres métodos de enseñanza distintos: A, B y C: A B C Analizando los datos en SPSS obteníamos la siguiente tabla del ANOVA: Aquí hay dos procedimientos para calcular el tamaño de efecto. Uno intuitivo, que ya per se, nos indica la cuantía de lo que está ocurriendo, y es la proporción de variación explicada por el modelo, que se expresa como eee 2 y que ya se verá que equivale a la R 2 de los modelos de regresión. Este valor es: eee 2 = S. C. eeeeeeeee S. C. ttttt = X j X ttttt 2 X ii X ttttt 2 = = Ya sabemos que el modelo explica un 41.45% de la realidad. Este valor es ya el tamaño de efecto, y tan sólo tendremos que compararlo con los valores de referencia, donde 0.01 es un efecto bajo, 0.09 es un efecto medio y 0.25 es un efecto alto. Como en nuestro caso > 0.25, concluimos que es un efecto alto. El otro procedimiento es el establecido por Cohen, que se indica en la siguiente tabla: 11

12 Aquí: f = eee2 1 eee 2 = = Para establecer su cuantía tenemos, de acuerdo con Cohen, un valor de 0.1 para un tamaño pequeño, un valor de 0.25 para un tamaño medio y un valor de 0.40 para un tamaño grande. El valor obtenido es superior a 0.40, luego efecto grande. Mediante G*Power podemos hacerlo de varias maneras. En una de ellas hemos de indicarle las medias y tamaños de las muestras y también la desviación tipo ponderada de los 3 grupos. Como Cohen trabaja a nivel descriptivo, no hay en el denominador grados de libertad sino el total de los sujetos. Por tanto: S. C. IIIII σ = N = =

13 También proporcionando el valor de eee 2 : 13

14 También proporcionando las varianzas inter e intragrupo: 14

15 En este caso, como trabajamos, de acuerdo con Cohen, con estadísticos descriptivos. Las varianzas respectivas serán: S. C. IIIII 2 S iiiii = = 13 N 24 = S. C. IIIII 2 S iiiii = = = N 24 15