Sesión VII Muestreo y Poder Christel Vermeersch Noviembre 2006
Introducción Objetivo: evaluar programas y/o intervenciones ( Tiene efecto o no?) Necesitamos suficientes datos para detectar cambios debidos a la intervención: parte 1: discusión sobre poder Necesitamos datos representativos: parte 2: discusión sobre muestreo 2
PARTE 1: Evaluar el efecto Evaluar una intervención es una prueba de significancia Ejemplo: y es el resultado de una prueba de logro. Estimamos el efecto de doblar el presupuesto de la escuela en el resultado promedio de la prueba de logro. H 0 : E(y Tratamiento) = E(y Control) H 1 : E(y Tratamiento) > E(y Control) Intervención tiene efecto (en realidad) No Si Prueba estadística Rechazamos H 0 No rechazamos H 0 Error tipo I OK OK Error tipo II 3
Error de tipo I 4
Error de tipo II y poder 5
Errores tipo I y tipo II Error tipo I = a probabilidad de rechazar la hipótesis nula cuando ésta es verdadera probabilidad de concluir que la intervención tiene efecto si no tiene efecto Valores típicos: 0.01, 0.05, 0.1 Error tipo II = b probabilidad de no rechazar la hipótesis nula cuando estáfalsa Poder = 1 - b probabilidad de rechazar la hipótesis nula cuando una hipótesis alternativa es verdadera probabilidad de concluir que la intervención tiene efecto si realmente tiene efecto Queremos maximizar el poder de la muestra, dado el nivel a 6
Qué afecta el poder de una prueba? El poder de la prueba aumenta cuando Aumenta a (el error de tipo I) Aumenta el tamaño del efecto esperado Disminuye la varianza del indicador como??? La varianza del promedio es proporcional a 1/n, donde n es el tamaño de la muestra aumentar el tamaño de la muestra? Para detectar un cambio de indicador dado con un error de tipo a dado, hay que aumentar el tamaño de la muestra.? En la practica, se calcula el tamaño de muestra necesario para detectar un cambio X en el indicador, con un alpha de 5 % y un poder de 80/90 %. 7
Algunas simulaciones en Stata *computar el tamaño de la muestra; sampsi 130 135, alpha (0.05) power(0.8) sd1(15) sd2(18) onesided; *aumentamos el efecto esperado del programa==> se necesita una muestra mas pequeña; sampsi 130 145, alpha(0.05) power(0.8) sd1(15) sd2(18) onesided; *aumentamos el poder requerido ==> se necesita una muestra mas grande; sampsi 130 135, alpha (0.05) power(0.9) sd1(15) sd2(18) onesided; 8
Algunas simulaciones en Stata *computar el poder de una prueba; sampsi 130 135, alpha (0.05) sd1(15) sd2(18) n1(100) n2(100) onesided; *aumentamos el efecto esperado del programa==> poder aumenta; sampsi 130 145, alpha (0.05) sd1(15) sd2(18) n1(100) n2(100) onesided; *aumentamos el tamaño de la muestra => poder aumenta; sampsi 130 135, alpha (0.05) sd1(15) sd2(18) n1(200) n2(200) onesided; 9
Parte 2: Muestreo (? Datos representativos) Encuestas representativas Meta: aprender acerca de la población (p.ej. ENCOVI: encuesta nacional) Muestra: representativa de toda la población Evaluación de impacto Meta: medir los cambios de indicadores claves en la población objetiva/ grupo de interés En la práctica: medir la diferencia entre los grupos de tratamiento y de control Concentrar estratégicamente la muestra Importancia del presupuesto 10
Definiciones Unidad de análisis: El tipo de entidad para la cual buscamos datos (personas, sitios, escuelas, ) Población: El conjunto de todas las unidades de análisis sobre las cuales queremos inferir conclusiones Marco muestral: El listado de unidades de análisis utilizado para sacar la muestra (?Cual es la situación ideal?) Muestra: las unidades de análisis sacadas del marco muestral, para las cuales intentamos recollectar datos Encuestados: las unidades de análisis de la muestra para las cuales conseguimos datos. Fracción muestral: proporción de casos del marco muestral seleccionada para la muestra (n/n) Tasa de respuesta: proporción de unidades de análisis de la muestra para las cuales recollectamos datos. 11
Gráficamente Población Marco muestral Muestra Encuestados 12
Validez interna del experimento i.e. dentro del experimento Pregunta:?El grupo control es válido? No hay diferencia sistemática entre el grupo control y el grupo tratamiento en ausencia de la intervención. 13
Validez externa del experimento?se pueden generalizar los resultados del experimento a beneficiarios fuera del experimento? Eso depende del marco muestral del experimento y del método de muestreo Necesitamos representatividad al nivel de la población meta Si no vamos a implementar la intervención nunca para personas de tipo X, no tiene sentido incluirlas en el marco muestral del experimento. Representatividad para una población más diversa implica que necesitamos una muestra más grande Por qué? La inclusión de población menos sensible a la intervención diluye el efecto de la intervención Ejemplo: efecto de intervenciones de salud en diarrhea concentrar la muestra en los hogares con niños de menos de 5 años. El presupuesto limita el tamaño de la muestra. Nunca arriesga su hipótesis central Balance entre el poder dentro de la población de interés y la representación de la población. 14
Métodos de muestreo Muestreo aleatorio Simple: cada unidad en el marco muestral tiene la misma probabilidad de ser seleccionada Estratificado: el marco muestral se divide en dos o mas estratas, en dónde se hace un muestreo simple de conglomerados ( clusters ): se muestrean conglomerados de unidades, ej. pueblos Multi-etapa combina dos o más de los métodos anteriores, ej. muestro aleatorio (estratificado o simple) de pueblos, y muestreo aleatorio simple de personas dentro de cada pueblo Muestreo sistemático Ej. Estudio de caso típico no es correcto hacer análisis estadistico sobre este típo de muestra!!! 15
El muestreo multi-etapa cambia la varianza del indicador Los individuos en un cluster tienden a ser más parecidos entre ellos que con los de otros clusters: 10 hogares del mismo cluster nos dan menos información que 10 hogares de clusters diferentes Consecuencia: errores estándar mayores que con un muestreo aleatorio simple (MAS) Var = Var *(1 + ρ *( k 1 MAS 14 2443 deff ConCluster )) ρ es una medida del grado de homogeneidad entre los sujetos del cluster para la medida de interés k=numero de observaciones dentro de cada cluster deff puede ser estimado tanto para medidas de asociación como para medidas de prevalencia (o medias) 16
Ajuste de la muestra para compensar el efecto de diseño Varianza mas grande poder de la prueba menor para un tamaño de muestra fijo!!! La pérdida de poder debida al efecto de diseño puede ser compensada por incrementar el tamaño de muestra Por cuanto tenemos que aumentar el tamaño de la muestra cuando hay conglomerados en la muestra? 17
Tamaño de muestra con efecto de diseño Utilizamos métodos estándares para determinar el tamaño de muestra necesario bajo el método de muestreo aleatorio simple,. n MAS Calculamos el tamaño de muestra necesaria para el muestreo multi-etapas, con la formula siguiente: n ConCluster = n * efdi = n *(1 + ρ *( k 1)) MAS MAS Se necesita el tamaño estimado del cluster y un valor de ρ - que es una característica de la población estudiada Utilizar Stata! 18
Después de que tengamos la muestra Marco muestral Población Muestra Encuestados 19
La tasa de respuesta Idealmente es 100 por ciento Cuando es baja, hay un riesgo de sesgo debido a la selección de los encuestados, p.ej. cuando los control no quieren participar en la encuesta de seguimiento. Debe de ser más de 70 por ciento en ambos grupos (control y tratamiento) No puede ser significativamente diferente entre grupos control y tratamiento?que hacemos cuando la tasa de respuesta es baja? Mala solución: aumentar el tamaño de muestra para compensar Buenas soluciones: hacer esfuerzos suplementarios para recolectar información sobre los non-respondientes. Sub-muestrar los non-respondientes para investigar si son diferentes de los respondientes. Comparar las características línea base de los respondientes y nonrespondientes. Es imperativo informar sobre la tasa de respuesta en el informe de evaluación 20