CONSEJO NACIONAL DE POBLACION SECRETARIA GENERAL ENCUESTA PARA MEDIR EL IMPACTO EN SALUD REPRODUCTIVA DEL PROGRAMA OPORTUNIDADES 2003 DISEÑO MUESTRAL

Transcripción

1 CONSEJO NACIONAL DE POBLACION SECRETARIA GENERAL ENCUESTA PARA MEDIR EL IMPACTO EN SALUD REPRODUCTIVA DEL PROGRAMA OPORTUNIDADES 003 DISEÑO MUESTRAL Febrero del 00

2 Introducción La evaluación del impacto de programas sociales requiere considerar un conjunto de etapas. En primer lugar, es necesario definir una metodología que permita garantizar que los cambios observados sean en realidad consecuencia de las estrategias y las acciones del programa que se evalúa. Un segundo elemento que debe ser considerado al definir el diseño de la evaluación es el referido al tamaño de la muestra que será utilizada. Esto se debe a que si se realiza la evaluación con base en una muestra cuyo tamaño es inadecuado para cuantificar con suficiente precisión las variaciones en las variables prioritarias del programa, se puede incurrir en errores al momento de derivar las conclusiones del estudio. Un tercer elemento importante que debe ser contemplado, consiste en la selección apropiada de los elementos de la población objeto de estudio, es decir, aquella en la que se desea medir el impacto del programa. Este documento tiene como objetivo describir el proceso que llevó a cabo el Consejo Nacional de Población para definir el diseño muestral de la Encuesta para medir el impacto del Programa Oportunidades (PO) sobre la salud reproductiva de la población beneficiaria del Programa. Esta encuesta será levantada durante el segundo semestre de 003 por personal de campo capacitado y supervisado por el PO, como parte de un esfuerzo integral de evaluación del impacto de las acciones que realiza con la finalidad de mejorar las condiciones de vida de la población más pobre y marginada. El documento está estructurado en dos partes. En la primera, se describe brevemente el objetivo de la encuesta, el diseño metodológico de la investigación y las poblaciones de estudio de la encuesta. En la segunda parte se aborda la determinación del tamaño de la muestra, el esquema de muestreo, el proceso de estratificación que se siguió, y los criterios que se utilizaron para seleccionar las localidades y los hogares de la muestra.

3 Diseño de la investigación El Programa Oportunidades realizará un estudio de evaluación del impacto de su programa sobre algunas dimensiones fundamentales de la salud, la educación y la alimentación de la población beneficiaria. Para ello, realizará un censo de hogares en un conjunto de localidades de las siguientes siete entidades federativas: Guerrero, Hidalgo, Michoacán, Puebla, Querétaro, San Luis Potosí y Veracruz. En este censo se recabará información acerca de la estructura de los hogares, su condición socioeconómica y de un conjunto detallado de elementos vinculados con las estrategias de mejoramiento de la salud, la educación y la alimentación que favorece el programa. Tanto el Programa Oportunidades como el Consejo Nacional de Población manifestaron su interés por incorporar a la evaluación integral del Programa la valoración del impacto del PO sobre la salud reproductiva de la población residente en las localidades donde se realizará el censo de hogares. Con esta finalidad, el PO y el CONAPO establecieron un acuerdo de colaboración para realizar una encuesta de fecundidad y salud reproductiva. Esta encuesta tiene como objetivo recabar información acerca de diversos componentes de la fecundidad, de la salud reproductiva, del uso y las necesidades no satisfechas de métodos anticonceptivos y la atención del embarazo, el parto y el puerperio, entre otros. Para diseñar la encuesta de evaluación del impacto del programa sobre la salud reproductiva se definió una investigación de tipo observacional o cuasiexperimental. Este diseño se basa en la elección de una muestra probabilística de mujeres en edad reproductiva en tres poblaciones distintas. La primera de ellas comprende a las mujeres en edad reproductiva que residen en las localidades que fueron incorporadas al Programa (en aquel entonces Progresa) desde Estas localidades definen el grupo tratamiento tipo A, pues en ellas ha operado el Programa desde su inicio. La segunda población está constituida por las localidades que empezaron a recibir los beneficios del Programa a partir 3

4 del año 000. Estas localidades forman el grupo tratamiento tipo B. La hipótesis de la investigación es que la operación del Programa ha mejorado las condiciones de salud reproductiva, y que éste ha sido más acentuado en las localidades donde el Programa ha operado desde el inicio. Para poder contar con una evaluación más eficiente de los impactos, es necesario definir un grupo de localidades que constituyen la tercer población. Se trata de un conjunto de localidades que hasta el año de 003 no habían sido incorporadas al Programa Oportunidades. Este grupo de localidades forman el grupo control. Cabe señalar que esta categorización de las localidades en tres grupos corresponde cabalmente con la evaluación integral del PO. La investigación se sustentará en la comparación de los perfiles y los cambios de los dos grupos tratamiento (las poblaciones donde ha operado el Programa) y los de una población de mujeres en edad fértil que residan actualmente en localidades similares a los grupos tratamiento pero que no están recibiendo los beneficios del programa. Mediante este diseño de investigación, se incrementa la probabilidad de que las diferencias observadas en los indicadores de salud reproductiva de interés, efectivamente se deban al efecto del Programa (Cochran, 1983). Dado que las poblaciones de interés (tratamientos y control) son grandes, al igual que por cuestiones logísticas y financieras, se propone hacer la medición a través de una encuesta por muestreo tanto en los dos grupos tratamiento como en el grupo control. Diseño de la muestra En esta sección se describen los criterios técnicos y los procedimientos utilizados para determinar el tamaño de la muestra en cada uno de los tres grupos y para seleccionar las localidades, los hogares y las mujeres que serían incluidos como parte de la muestra. Por lo que respecta a la determinación del tamaño de la muestra, cabe señalar que cuando se tienen dos o más grupos de mujeres en edad fértil y una variable respuesta de interés X (v. gr. número de hijos, número

5 de consultas prenatales, etcétera), cuyas medias poblacionales se desean comparar, es necesario calcular el tamaño de muestra que se requiere en cada grupo. Esto se hace con el fin de contar con una alta probabilidad de detectar diferencias de importancia práctica 1 entre las medias de los grupos, en este caso, un impacto significativo del PO. Tamaño de la muestra En la teoría de la probabilidad se han desarrollado fórmulas que se pueden utilizar como una guía para el cálculo de estos tamaños de muestra. Las fórmulas dependen del nivel de significancia (α) y de la potencia de la prueba (1-β), así como de la varianza de la variable respuesta y de la diferencia de importancia práctica de la media o porcentaje de interés que se espera produzca el Programa 3. La siguiente fórmula permite calcular tamaños de muestra para detectar diferencias positivas en las medias de dos grupos. donde: ( Zα + Z1 β ) σ n =, (1) δ Z α y Z 1-β son valores de la variable aleatoria normal estándar asociados con las probabilidades α y 1-β respectivamente. σ es la varianza de la variable respuesta de interés X en ambos grupos. δ es la diferencia poblacional de importancia práctica que se desea detectar, y 1 Cochran op. cit, define a esta probabilidad como la potencia de la prueba. El nivel de significancia es la probabilidad de conluir que el Programa Oportunidades tuvo efecto en la variable de interés, cuando en realidad no lo tuvo. 3 También es importante considerar si el programa producirá solo diferencias positivas o negativas o de ambos tipos (Ibid, p. 1) Para detectar difrencias positivas y negativas en la fórmula (1) se cambia Z α por Z α/

6 n es el tamaño de muestra que se requiere en cada grupo. Ahora bien, como desde el punto de vista estadístico la tasa de fecundidad general es la media del número de hijos que tienen las mujeres de las poblaciones de estudio en un año determinado, entonces se puede aplicar la fórmula (1). Como se puede observar en dicha fórmula, el cálculo del tamaño de muestra precisa conocer la varianza de la tasa de fecundidad general de ambos grupos. Cuando se desconoce la varianza se puede utilizar una cota superior de la misma. Para el cálculo de esta cota, es importante tener claro que, los posibles valores que se pueden observar en la variable número de hijos que tiene una mujer en un año son 0, 1 y hijos. De esta forma, se puede considerar que se está trabajando con la suma de dos variables aleatorias que tienen una distribución de probabilidad Bernoulli, la cual tiene como cota máxima para la varianza el valor de 0.=(0.) (0.). Si se utiliza esta cota, un nivel de significancia de cinco por ciento, una potencia de la prueba de 80 por ciento, si se hace variar la diferencia en la media de los hijos esperada por efecto de la operación del programa y en función del número de años de observación para el cálculo de la tasa de fecundidad general, se obtienen los siguientes tamaños de muestra. CUADRO 1 TAMAÑO DE MUESTRA PARA MEDIR EL IMPACTO DEL PROGRAMA OPORTUNIDADES EN LA TASA DE FECUNDIDAD GENERAL SEGÚN AÑOS DE OBSERVACIÓN Y DIFERENCIA DE HIJOS, 003 AÑOS DE OBSERVACION DIFERENCIA EN HIJOS La suma de dos variables aleatorias Bernoulli independientes se distribuye como una Binomial, con varianza PQ. El valor máximo para la varianza se alcanza cuando P=0.0 (Torres-Garduño, 001). 6

7 De esta manera se estima que para detectar una diferencia de 0. hijos debida al programa, en la tasa de fecundidad general, con un año como período de observación, se requieren 6 mujeres en cada grupo. En tanto que, para poder detectar una diferencia de 0.1 hijos tomando un período de observación de tres años, se requieren entrevistar a,90 mujeres en cada uno de los grupos. Ahora bien, en un esquema de evaluación como el del Programa Oportunidades, es importante determinar si los cambios observados en las diversas formas de intervención del programa en materia de salud reproductiva, son atribuibles al mismo (Secretaría de Desarrollo Social, 000, p. ). En este contexto, es necesario aislar los efectos de los factores de confusión 6 que pueden producir sesgos en las mediciones de los indicadores que se desean evaluar. Pero también es necesario ajustar el tamaño de muestra calculado anteriormente para garantizar la detección de la importancia práctica debida al programa y para mantener la significancia y la potencia de la prueba. Una de las variables que afecta la salud reproductiva de las mujeres y en particular al número de hijos es la escolaridad. Por lo tanto, se puede considerar como un factor de confusión potencial. Para que el tamaño de muestra del estudio refleje adecuadamente este factor es necesario definir los niveles de esta variable. Dado que las localidades de intervención del Programa Oportunidades son de tipo rural, la variable escolaridad se puede categorizar en cuatro niveles: sin escuela, primaria incompleta, primaria completa y secundaria y más. Otro factor de confusión potencial es la edad de la mujer; las categorías que interesan para el análisis de esta variable son los grupos quinquenales de edad: 1-19, 0-, -9, 30-3 y 3 años o más. De esta forma, si se multiplican los tamaños de muestra del cuadro (1) por cinco, que son las categorías de la variable edad, el tamaño de muestra se ajusta apropiadamente para poder analizar tanto el efecto del programa controlando la edad como la escolaridad, ya que las categorías de la escolaridad son solamente cuatro. En el cuadro se presentan los tamaños de muestra ajustados de acuerdo con este procedimiento. 6 Una variable es un factor de confusión, si se distribuye de manera diferente en los grupos a comparar y si afecta a la variable respuesta de interés (Anderson et al., 1980, p. 7) 7

8 CUADRO TAMAÑO DE MUESTRA AJUSTADO PARA MEDIR EL IMPACTO DEL PROGRAMA OPORTUNIDADES EN LA TASA DE FECUNDIDAD GENERAL SEGÚN AÑOS DE OBSERVACIÓN Y DIFERENCIA DE HIJOS, 003 AÑOS DE OBSERVACION DIFERENCIA EN HIJOS Según los datos de este cuadro, se requieren aproximadamente 00 mujeres en edad fértil en cada uno de los grupos, con el fin de detectar diferencias del orden de 0.0 hijos en la tasa de fecundidad general asumiendo un año como período de referencia, con un nivel de significancia de cinco por ciento y una potencia de la prueba de 80 por ciento. Este tamaño de muestra permitirá, además, controlar el efecto de variables de confusión que tengan un desglose máximo en cinco categorías. Ahora bien, considerando que la selección de la muestra será en dos etapas, el tamaño de la muestra se ajustó considerando un efecto de diseño (DEFT) 7 igual a.6, por lo que el tamaño de muestra resultante en cada grupo es de 1,300 mujeres en cada grupo. Por otro lado, datos preliminares de seguimiento del panel (en el grupo tratamiento A), indican que aproximadamente 33 por ciento de las mujeres se han perdido durante el transcurso del estudio. Suponiendo que este mismo porcentaje se mantendrá en el grupo tratamiento B, y para garantizar que el potencial problema de selectividad asociado a la pérdida de seguimiento no afecte el nivel de significancia, la potencia de la prueba, la diferencia debida al programa ni el 7 El efecto del diseño es un número que relaciona la varianza de un muestreo aleatorio simple, con la varianza del diseño muestral real (Cochran, 1980). Generalmente se estima con base en diseños muestrales similares, sin embargo como no existen datos de este tipo disponibles se hizo un supuesto con base en el presupuesto disponible de la encuesta. 8

9 control de factores de confusión, se decidió incluir 700 mujeres más en cada uno de los grupos, por lo que el tamaño de muestra en cada grupo se calculó en,000 mujeres en edad fértil. Finalmente, considerando un nivel de no respuesta de doce por ciento se ajustó nuevamente el tamaño de muestra en cada uno de los grupos. Este proceso dio como resultado un total de,800 mujeres para el grupo A y para el grupo B. Para el grupo control se calcularon,300 mujeres, por lo que el tamaño de muestra total final para la encuesta se estimó en diez mil mujeres en edad reproductiva. Definición de estratos Para reducir la variabilidad en las mediciones y hacer más eficiente el esquema de muestreo, los grupos tratamiento A y B, y el grupo control se dividieron en siete estratos, que corresponden a cada uno de los estados de la República en los que actualmente se está instrumentado el programa: Guerrero, Hidalgo, Michoacán, Puebla, Querétaro, San Luis Potosí y Veracruz. En el cuadro 3 se puede observar la distribución del número de mujeres en edad fértil, según los grupos tratamiento A y B, y el grupo control para cada uno de los estratos. CUADRO 3 DISTRIBUCIÓN DEL TOTAL DE MUJERES EN EDAD FERTIL SEGÚN ESTRATO Y TIPO DE GRUPO, 003 ESTRATO GRUPO A % GRUPO B % GRUPO Guerrero Hidalgo Michoacán Puebla Querétaro San Luis Potosí Veracruz CONTROL 1 % TOTAL NOTA: 1) En este grupo se consideró el promedio de mujeres de los grupos A y B, dado que no se tienen datos Para este grupo Fuente: Información proporcionada por el Programa Oportunidades 9

10 Esquema de muestreo La muestra de mujeres en edad fértil en cada uno de los grupos, se seleccionó mediante un muestreo aleatorio estratificado en dos etapas. Esto implica que en cada estrato (entidades federativas), el proceso de selección de la mujer en edad fértil se realizó en dos etapas. En la primer etapa se seleccionaron aleatoriamente localidades y en la segunda etapa, se hizo una subselección de un determinado número de hogares, también de manera aleatoria, en cada una de las localidades seleccionadas. En los hogares no se hizo una selección adicional, ya que se decidió entrevistar a todas las mujeres en edad fértil del hogar. Selección de localidades Con el fin de garantizar la representatividad de los estratos en la muestra de mujeres en edad fértil, el tamaño muestral total de cada uno de los tres grupos (Tratamiento A, Tratamiento B y Control) se dividió con base en la distribución porcentual del número de mujeres por estado. De esta manera, los tamaños de muestra de mujeres para cada estado se obtuvieron aplicando los porcentajes por estrato (columnas 3, y 7 del cuadro 3) al tamaño de la muestra total. En los estados de San Luis Potosí, Puebla y Veracruz el número de localidades que serán visitadas en cada uno de los grupos: tratamiento A y B, y el grupo Control, se calculó con base en el número promedio de mujeres en edad fértil por localidad en el estado y el tamaño de muestra de mujeres requerido en el estado respectivo. Por ejemplo, en el estado de Puebla, para el grupo tratamiento A, el número de mujeres por localidad se estimó en 16. Dado que el número de mujeres en muestra en este estado, calculado mediante el procedimiento descrito anteriormente, es de 88, se determinó, mediante el cálculo de la relación por cociente respectiva, que se debían visitar cuatro localidades del Grupo A en el estado de Puebla (cuadro ). 10

11 En el cuadro se pueden observar los resultados obtenidos del número de localidades por visitar para estas tres entidades federativas y cada uno de los tres grupos del estudio. CUADRO DISTRIBUCIÓN DE LA MUESTRA DE LOCALIDADES SEGÚN ESTRATO Y TIPO DE GRUPO, 003 GRUPÒ A GRUPO B GRUPO CONTROL ESTRATO PROMEDIO 1 NUMERO PROMEDIO 1 NUMERO PROMEDIO 1 NUMERO Guerrero Hidalgo Michoacán Puebla Querétaro San Luis Potosí Veracruz TOTAL NOTAS: 1) Se refiere al número promedio de mujeres en edad fértil por localidad ) Se refiere al número de localidades a visitar Para las cuatro entidades federativas restantes: Guerrero, Hidalgo, Michoacán y Querétaro, el número de localidades por visitar se calculó de manera análoga al caso anterior, pero el resultado se multiplicó por tres o por dos, con el fin de visitar un mayor número de localidades, pero sin que ello implicara visitar casi la totalidad de ellas. Este procedimiento permitirá hacer comparaciones de las precisiones de los estimadores en los dos conjuntos de entidades: a) San Luis Potosí, Puebla y Veracruz y b) Guerrero, Hidalgo, Michoacán y Querétaro y, por lo tanto, evaluar la eficiencia estadística que se obtiene en la precisión de los indicadores básicos de fecundidad y salud reproductiva cuando se incluye en la muestra un mayor número de localidades. Una vez determinado el número de localidades por visitar en cada estrato y en cada grupo, la selección de las localidades se realizó mediante un muestreo con probabilidad proporcional al número de mujeres en edad fértil de la localidad. El cuadro muestra las localidades seleccionadas para el Estado de Puebla en cada uno de los grupos. 11

12 CUADRO DISTRIBUCIÓN DE MUJERES SEGÚN LOCALIDAD SELECCIONADA Y TIPO DE GRUPO PUEBLA, 003 GRUPO A GRUPO B GRUPO CONTROL MUNICIPIO LOCALIDAD % MUNICIPIO LOCALIDAD % MUNICIPIO LOCALIDAD % Selección de hogares Para distribuir el número de mujeres en las localidades seleccionadas, se consideró la distribución porcentual del total de mujeres en cada una de las localidades seleccionadas 8 y se aplicó el porcentaje respectivo a los tamaños de muestra del grupo respectivo. Este mismo procedimiento se llevó a cabo en cada una de las siete entidades federativas. Los resultados obtenidos para el estado de Puebla se presentan en el cuadro 6. CUADRO 6 DISTRIBUCIÓN DE LA MUESTRA DE MUJERES SEGÚN LOCALIDAD SELECCIONADA Y TIPO DE GRUPO PUEBLA, 003 GRUPO A GRUPO B GRUPO CONTROL MUNICIPIO LOCALIDAD MUESTRA MUNICIPIO LOCALIDAD MUESTRA MUNICIPIO LOCALIDAD MUESTRA TOTAL Tercera columna del cuadro para cada grupo. 1

13 El cálculo del número de hogares a visitar en cada localidad se hizo con base en el promedio de mujeres por hogar en cada localidad y la muestra de mujeres en cada localidad (terceras columnas del cuadro 6). Los resultados se integran en el cuadro 7. CUADRO 7 DISTRIBUCIÓN DE LA MUESTRA DE HOGARES SEGÚN LOCALIDAD SELECCIONADA Y TIPO DE GRUPO PUEBLA, 003 GRUPO A GRUPO B GRUPO CONTROL LOC. SELEC MUESTRA DE HOGARES LOC. SELEC MUESTRA DE HOGARES LOC. SELEC MUESTRA DE HOGARES TOTAL Una vez determinado el número de hogares que se debía visitar en las localidades de cada uno de los tres grupos, la selección de los hogares se realizó mediante un muestreo con probabilidad proporcional al número de mujeres en edad fértil del hogar. La distribución de la muestra en los grupos A y B no se realizó diferenciando los hogares que se incluirían en el panel y los que no. Esta decisión se basó en una prueba cuyos resultados mostraron que la selección aleatoria sin tomar en cuenta los hogares del panel garantiza que más de la mitad de los casos seleccionados pertenecen al panel. Por ejemplo, en el estado de Puebla los resultados de esta prueba indicaron que, del total de hogares seleccionados aleatoriamente, 60 por ciento eran tipo panel y 0 por ciento no eran panel. Como la selección de los hogares es probabilística en todos los estados y grupos, puede asumirse que la distribución 13

14 de la muestra de mujeres en panel y no panel en cada grupo, se distribuirá aproximadamente de acuerdo con estos porcentajes y no afectará la confiabilidad de los resultados. Referencias bibliográficas Anderson S., Auquier A., Oakes D., Vandaele W. and Weisberg H., (1980), Statistical Methods for Comparative Studies: Techniques for Bias Reduction. Printed in the United States of America, Wiley series in Probability and Mathematical statistics, ed. John Wiley & Sons, New York, Chichester, Brisbane, Toronto, Singapure. Cochran W., (1983), Planning and Analysis of Observational Studies, editado por Moses L. y Mosteller F., Printed in the United States of America, Wiley series in probability and mathematical statistics, ed. John Wiley & Sons, New York, Chichester, Brisbane, Toronto, Singapure. Secretaría de Desarrollo Social, (000) Más oportunidades para la familias pobres, Evaluación de Resultados del Programa de Educación, Salud y Alimentación, Metodología de la Evaluación de PROGRESA, Impreso en México. Torres-Garduño A., (001), Aplicaciones de probabilidad y estadística para problemas sociales, Universidad Nacional Autónoma de México, Facultad de Ciencias, Tesis de Licenciatura. 1