Instituto Nacional de Salud Pública

Transcripción

1

2

3 Instituto Nacional de Salud Pública

4 Evaluación externa de impacto del Programa Oportunidades 2004 Nota: los puntos de vista expresados por los autores de este documento no reflejan la postura institucional del Instituto Nacional de Salud Pública. Agradecemos la colaboración del grupo evaluador de Oportunidades para la recolección de información y definición de estrategias de análisis. Evaluación externa de impacto del Programa Oportunidades Educación Primera Edición, 2005 D.R. Instituto Nacional de Salud Pública Av. Universidad 655 Sta. Ma. Ahuacatitlán Cuernavaca, Morelos, México Impreso y hecho en México Printed and made in Mexico ISBN

5 Evaluación externa de impacto del Programa Oportunidades 2004 Bernardo Hernández Prado Mauricio Hernández Ávila EDITORES Tomo I Educación

6

7 Tomo I Educación Contenido Presentación 11 Introducción General 13 Capítulo I Impacto de mediano plazo del Programa Oportunidades sobre la educación y el trabajo de jóvenes del medio rural que tenían de 9 a 15 años de edad en 1997 Resumen ejecutivo 17 I. Introducción 21 II. Antecedentes del Programa 25 III. Diseño y pérdida de la muestra 27 Diseño de la muestra 27 Pérdida de la muestra de jóvenes en los hogares originales de los grupos T1998 y T Temas de la muestra relacionados con los jóvenes a los que se aplicaron pruebas de aprovechamiento Woodcock Johnson 31 IV. Estimaciones de impacto de la exposición diferencial al Programa: T1998 contra T Educación 36 Trabajo 46 Matrimonio 53 Migración 55 Impacto de características escolares seleccionadas sobre un resultado educacional clave 56 V. Estimaciones pareadas entre T1998 y el grupo de comparación pareado C Educación 67 Trabajo 71 VI.Conclusiones y recomendaciones 75 Anexos 79 Anexo A. Construcción de variables 79 Anexo B. Análisis de la pérdida de la muestra en T1998 y T Anexo C. Estimaciones por diferencias en diferencias simples para el impacto de la exposición diferencial 88

8 Anexo D. Comparación entre los grupos T1998 y C2003 en Anexo E. Pruebas de aprovechamiento Woodcock Johnson 92 Anexo F. Anexo técnico sobre el estimador de pareamiento utilizado en el análisis 96 Referencias 101 Capítulo II Impacto de mediano plazo del paquete de Oportunidades, incluyendo el aspecto nutricional, sobre la educación de niños rurales que tenían entre 0 y 8 años de edad en 1997 Resumen ejecutivo 105 I. Introducción 109 II. Antecedentes del Programa 113 Transferencias monetarias en efectivo a las madres de los hogares de tratamiento 113 Participación en las prácticas 113 Suplemento nutricional o papilla 114 Monitoreo del crecimiento 114 Componente educativo directo del Programa 114 III. Información básica, pérdida de muestra en los grupos T1998 y T2000, y algunos aspectos del grupo C Diseño de la muestra 117 Pérdida de muestra de niños de los hogares de los grupos T1998 y T Características de la muestra de grupo C2003 usada para las estimaciones pareadas con el grupo T IV. Estimaciones de impacto del Programa en la educación de niños de cero a ocho años de edad en Dos enfoques para la estimación de impactos del Programa 123 Impactos estimados en los indicadores educativos para niños que tenían de cero a ocho años de edad en V. Resumen y conclusiones 143 Anexos 147 Anexo A. Construcción de variables 147 Anexo B. Análisis de las pérdidas de muestra en T1998 y T Anexo C. Detalles técnicos del estimador de pareamiento utilizado en el análisis 154

9 Anexo D. Comparación de las diferencias entre el grupo T1998 y C2003 en resultados educativos para Anexo E. Estimadores alternativos de pareamiento por diferencias en diferencias para el grupo T1998 contra el grupo C Referencias 161 Capítulo III Impacto de Oportunidades sobre la educación de niños y jóvenes de áreas urbanas después de un año de participación en el Programa Resumen ejecutivo 167 I. Introducción 171 II. Estimadores de pareamiento utilizados 175 Submuestras de datos alternativos 175 Estrategia de pareamiento de puntaje de propensión para evaluar el impacto de la participación en el Programa contra la no participación 176 III. Datos y medias básicas de las variables principales 177 IV. Estimación del modelo de puntaje de propensión 187 V. Estimaciones de impacto del Programa 191 Educación 191 Trabajo: empleo e ingresos 200 VI. Resumen y conclusiones 209 Anexos 211 Anexo A. Construcción de variables 211 Anexo B. Estimación del modelo de puntaje de propensión 213 Anexo C. Apéndice técnico del estimador de pareamiento utilizado en el análisis 223 Referencias 227

10

11 Presentación El Programa de Desarrollo Humano Oportunidades es una iniciativa del Ejecutivo Federal que tiene como objetivo contribuir a que las familias en situación de extrema pobreza salgan de esa condición. Para ello, ha dirigido sus acciones a impulsar y fortalecer el desarrollo de las capacidades individuales y colectivas de la población beneficiada, al igual que favorecer la vinculación de ésta con nuevos programas de desarrollo que propicien la mejoría de sus condiciones socioeconómicas y de calidad de vida. Mediante transferencias de ingreso y la inversión en salud, nutrición y educación, el Programa busca, como fin último, romper el círculo intergeneracional de la pobreza. Oportunidades representa una de las iniciativas más importantes, si no es que la principal, que se haya puesto en marcha en México para el combate a la pobreza, con un presupuesto, en 2004, de más de millones de pesos y una cobertura de 5 millones de familias, las que a su vez representan alrededor de 25 millones de beneficiarios. Desde su inicio, el Programa consideró la necesidad de contar con un componente de evaluación que permitiera, por un lado, mejorar la implementación de sus estrategias y acciones y, por otro, documentar los efectos que produce en la población beneficiaria. Actualmente y de acuerdo con lo que establecen el Presupuesto de Egresos de la Federación y las Reglas de Operación del propio Programa, Oportunidades debe ser evaluado por instituciones externas; por tal motivo éste ha resuelto encomendar al Instituto Nacional de Salud Pública (INSP) y al Centro de Investigación y Estudios Superiores en Antropología Social (CIESAS) la coordinación de la evaluación de impacto * de sus diversos componentes, la cual involucra el desarrollo de estudios basados, tanto en metodologías cuantitativas (y que fueron coordinadas por el INSP), como en abordajes cualitativos (coordinados en su mayoría por el CIESAS). Por parte del INSP han tenido un trabajo importante en dicha evaluación Bernardo Hernández, Lynnette Neufeld, Juan Rivera, Stefano Bertozzi, Gustavo Oláiz, Juan Pablo Gutiérrez, Fernando Meneses, José Urquieta, Juan Eugenio Hernández, Javier Carlos, Carlos Oropeza y Manuel Castro, con sus respectivos equipos de trabajo; y por parte del CIESAS, Agustín Escobar y Mercedes González de la Rocha, junto con su equipo de investigación. A su vez ambas instituciones han trabajado en la evaluación apoyándose en grupos asesores, constituidos por expertos en diferentes áreas, con reconocimiento nacional e internacional, como: Susan Parker y Luis Rubalcava, ambos del Centro de Investigación y Docencia Económicas (CIDE); Graciela Teruel, de la Universidad Iberoamericana; Fernando Cortés, de El Colegio de México; Enrique Valencia, de la Universidad de Guadalajara; Catalina Denman, de El Colegio de Sonora; Paul Gertler y Lia Fernald, de la Universidad de California, en Berkeley; * En el contexto de esta evaluación, el término impacto se utiliza como sinónimo de efecto, para guardar consistencia con la anotación empleada por Oportunidades en sus Reglas de Operación.

12 Petra Todd y Jere Behrman, de la Universidad de Pennsylvania; Orazio Attanasio, del University College de Londres, y Bryan Roberts, de la Universidad de Austin. Asimismo, es importante reconocer el apoyo de Oportunidades para la conducción de las actividades de evaluación en sus distintas etapas, en especial el de Concepción Steta, Mónica Orozco e Iliana Yaschine, así como el de sus equipos de trabajo. La colaboración de los distintos sectores involucrados en la operación de Oportunidades, especialmente de la Secretaría de Salud, el Instituto Mexicano del Seguro Social y la Secretaría de Educación Pública, ha sido fundamental en la conducción de la presente evaluación; esta última también se ha visto beneficiada de la interacción con el grupo de trabajo de Carola Álvarez, del Banco Interamericano de Desarrollo. El presente documento forma parte de una serie de trabajos que conforman la evaluación de los efectos de Oportunidades en el mediano plazo para zonas rurales y en el corto plazo para zonas urbanas. En ellos se describen los diferentes impactos del Programa en las áreas de interés principal: salud, educación, alimentación, vulnerabilidad y bienestar, entre otros temas. Los documentos relacionados con el impacto del Programa utilizan como insumo información derivada del trabajo cualitativo (muy especialmente de numerosos estudios de caso hechos entre hogares de comunidades seleccionadas, para representar la diversidad nacional), así como de distintas encuestas panel, diseñadas específicamente para la evaluación del Programa. Tales encuestas se aplicaron tanto en áreas rurales como en zonas urbanas, y se sustentaron en diseños metodológicos cuasiexperimentales y experimentales; asimismo, contaron con la participación de más de familias, a las cuales damos nuestro más sincero agradecimiento por habernos permitido visitar sus hogares y por haber respondido de manera desinteresada nuestros cuestionarios. Las bases de datos generadas como parte de esta tarea constituyen, sin duda, una rica fuente de información que hará posible mantener el ejercicio de evaluación. Considerada como un proceso continuo, como una práctica sistemática, la evaluación de impacto permitirá entender cada vez con mayor profundidad los factores multidimensionales que intervienen en la pobreza de numerosas familias mexicanas, así como identificar las acciones que, de manera más efectiva, contribuyen a remontar esa situación. Los investigadores participantes expresan que los resultados plasmados en este documento son producto de su trabajo profesional y académico, y que no reflejan una postura institucional. Este documento proporciona información relevante sobre la operación o el impacto de Oportunidades hasta el presente. Los resultados encontrados son alentadores. No obstante, dado que se refieren a evaluaciones de corto y mediano plazo, en el futuro será necesario continuar con las actividades de investigación, para determinar si Oportunidades logra su cometido de romper el ciclo intergeneracional de la pobreza. Sin duda, la importancia de este programa en el contexto de la lucha que se da en México para superar la pobreza, permitirá contar con el fundamental apoyo de diversos sectores, de tal manera que sea posible continuar con esta importante tarea. Dr. Mauricio Hernández Avila Director General del INSP Dr. Agustín Escobar Latapí Investigador CIESAS

13 Introducción general Es común que exista una asociación entre el grado de pobreza y el de alfabetismo o escolaridad en una población. Los niños de familias pobres tienden a alcanzar un menor nivel educativo y a tener menos posibilidades de capacitarse cuando son adultos; igualmente, suelen contar con menos oportunidades en general debido a que muchas veces no pueden asistir a la escuela, ya sea por problemas estructurales, familiares, falta de apoyo o porque se insertan más tempranamente en actividades laborales para ayudar a su familia. Todo lo anterior actúa perpetuando el ciclo intergeneracional de la pobreza, ya que los hijos de familias pobres llegan a la vida adulta sin las habilidades o conocimientos que les permitan adquirir mejores trabajos y remuneraciones. Por otro lado, también existe una relación entre las condiciones de salud y de educación. Las familias con un mayor nivel educativo tienen más acceso a los servicios de salud, pueden buscar una mejor atención para resolver sus problemas y entienden más claramente los mensajes de salud, preventivos o curativos. Las familias con mayor escolaridad se enferman menos y, por lo tanto, tienen menos gastos catastróficos en salud. La educación incide en las condiciones de pobreza y salud de manera directa, si bien existen muchas otras características de las familias que se relacionan con el acceso a los programas sociales. El Programa de Desarrollo Humano Oportunidades busca romper el ciclo intergeneracional de la pobreza, e incidir en las capacidades de los niños y jóvenes, propiciando condiciones que les permitan tener una mejor formación, una mejor inserción laboral y un mejor funcionamiento social, al igual que aprovechar mejor las oportunidades que se ofrecen a través de los diferentes programas sociales. Uno de los ejes programáticos de Oportunidades es el componente de educación, además de los correspondientes a alimentación y salud. En la actualidad, una de las líneas de acción dentro del componente educativo consiste en otorgar becas a los menores de los hogares incorporados al Programa, que estén cursando entre el tercer grado de primaria y el tercero de preparatoria, con la condición de que asistan regularmente a la escuela. Dada la importancia que tiene el componente de educación dentro de Oportunidades, resulta de especial relevancia evaluar el efecto del Programa en esta área. El presente volumen incluye tres evaluaciones de impacto del Programa relacionadas con la educación de los menores beneficiados en localidades rurales y urbanas. En el primer capítulo se presenta el trabajo Impacto de mediano plazo del Programa Oportunidades sobre la educación y el trabajo de jóvenes del medio rural que tenían de 9 a 15 años de edad en 1997,

14 desarrollado por Susan Parker, Jere R. Behrman y Petra E. Todd. Esta evaluación presenta estimaciones de los impactos a mediano plazo que Oportunidades ha tenido sobre variables como el aprovechamiento escolar, la inserción en el mercado laboral, el matrimonio y la migración entre dichos jóvenes. A continuación, se presenta el trabajo Impacto de mediano plazo del paquete de Oportunidades, incluyendo el aspecto nutricional, sobre la educación de niños rurales que tenían entre 0 y 8 años de edad en 1997, elaborado por Jere R. Behrman, Susan W. Parker y Petra E. Todd. Este trabajo, al igual que el anterior, busca explorar el impacto del Programa en la educación de los niños y niñas de áreas rurales, pero específicamente de aquellos que en 1997, antes de que empezara a operar este último, tenían de 0 a 8 años de vida. Debido a la edad que tenían una vez que Oportunidades fue puesto en marcha, estos menores únicamente se beneficiaron de los suplementos nutricionales que se otorgan y no de las becas educativas. Así, este trabajo complementa al presentado en el capítulo I, el cual evalúa el impacto del Programa entre niños que, por su edad, sí se beneficiaron de dichas becas desde su incorporación a Oportunidades. Finalmente, en el tercer capítulo se incluye el trabajo Impacto de Oportunidades sobre la educación de niños y jóvenes de áreas urbanas después de un año de participación en el Programa, desarrollado por Petra E. Todd, Jorge Gallardo-García, Jere R.Behrman, y Susan W. Parker. A diferencia de los trabajos anteriores, éste evalúa el impacto del Programa entre menores y jóvenes que tenían de 6 a 20 años de edad en 2002, residentes de áreas urbanas. Específicamente, el estudio explora el efecto de corto plazo de Oportunidades sobre el logro educativo, las tasas de inscripción escolar, los índices de deserción escolar, los patrones de acumulación de grados, el tiempo dedicado a hacer tareas escolares, así como los índices de empleo y salarios mensuales. Las tres evaluaciones se suman a otras realizadas anteriormente por los mismos autores, en un esfuerzo por documentar el impacto de Oportunidades en la educación de los menores y jóvenes de las familias beneficiarias. Esperamos que estos trabajos contribuyan a una mejor comprensión de ello y, en su caso, a la elaboración de recomendaciones que permitan mejorar el Programa.

15 Capítulo I Impacto de mediano plazo del Programa Oportunidades sobre la educación y el trabajo de jóvenes del medio rural que tenían de 9 a 15 años de edad en 1997 Susan W. Parker, * Jere R. Behrman, Petra E. Todd. * Profesora investigadora de la División de Economía del Centro de Investigación y Docencia Económicas; investigadora visitante del Mellon Foundation/Population Studies Center de la Universidad de Pennsylvania. Director del Mellon Foundation/Population Studies Center y titular de la cátedra WR Kenan Jr. del Departamento de Economía, Universidad de Pennsylvania. Profesora del Departamento de Economía e investigadora del Mellon Foundation/Population Studies Center, Universidad de Pennsylvania. Los autores son, además, consultores del Instituto Nacional de Salud Pública para la evaluación del Programa Oportunidades 2004, con el apoyo adicional de la Mellon Foundation/Population Studies Center de la Universidad de Pennsylvania. Agradecimientos Los autores desean expresar su agradecimiento a cuatro árbitros anónimos por sus valiosos comentarios y a Bernardo Hernández e Iliana Yaschine por sus útiles observaciones a los borradores de este trabajo.

16

17 17 Resumen Ejecutivo E l Programa de Desarrollo Humano Oportunidades (antes Progresa) ha estado en operación desde 1997, entregando subsidios en efectivo a las familias a cambio de la asistencia regular de niños y jóvenes a la escuela, aunada a la asistencia regular a la clínica de salud. Este documento ofrece estimaciones de los impactos a mediano plazo sobre jóvenes de áreas rurales que tenían de 9 a 15 años de edad en 1997 (15 a 21 años en 2003), justo antes de la intervención de Oportunidades, en variables como aprovechamiento escolar, resultados en el mercado laboral, matrimonio y migración. Los resultados de este trabajo son una extensión de evaluaciones previas realizadas entre 1998 y 2000 con datos de la Encuesta de Evaluación Rural (Encel). El análisis se basa en nueva información obtenida de la Encuesta de Evaluación Rural de 2003 (Encel 2003), que está ligada a datos anteriores, en particular de la Encuesta de Características Socioeconómicas de los Hogares (Encaseh) de La Encel 2003 brinda un nuevo conjunto de información sobre los hogares originales de tratamiento y control que empezaron a recibir los beneficios de Oportunidades en 1998 y 2000, respectivamente. La evaluación original del Programa se caracterizó por un experimento aleatorio con hogares de 320 comunidades asignadas para la recepción de beneficios (el grupo inicial de tratamiento ) y hogares de otras 186 comunidades que debían recibir los beneficios aproximadamente 18 meses más tarde (grupo inicial de control o de tratamiento retardado ). Como resultado de la incorporación del grupo original de control que recibiría los beneficios, los datos de la Encel 2003 también se aplicaron a un nuevo grupo de comparación, construido a partir del pareamiento de comunidades en las que el Programa todavía no estaba disponible en la evaluación Encel original. La estrategia de análisis incluye la comprobación directa de los impactos mediante el uso de dos aproximaciones distintas. Primero se calcula el efecto de las estimaciones de tratamiento por diferencias en diferencias, utilizando los grupos originales de tratamiento y control para niños en diferentes rangos de edad en Estas estimaciones recibieron el nombre de impactos de exposición diferencial, ya que comparan a individuos en el grupo inicial de tratamiento que han recibido beneficios por cerca de cinco años y medio con individuos en el grupo de control original que, para 2003, habían recibido beneficios durante aproximadamente cuatro años. Por lo tanto, estas estimaciones se refieren al impacto de una exposición diferencial de aproximadamente año y medio. El segundo grupo de estimaciones se basa en la estimación pareada entre quienes obtuvieron tratamiento en 1998 y el grupo de comparación pareado de 2003, que no había recibido los beneficios del Programa en el momento de la encuesta, de modo que los estimadores pareados ofrecen estimaciones de impacto del Programa luego de cinco años y medio de tratamiento. Los dos grupos de resultados sugieren importantes impactos de Oportunidades en cuanto a grados de escolaridad completados. En relación con las edades más jóvenes (es decir, 9 a 12 años en 1997, 15 a 18 en 2003), los resultados basados en estimaciones de pareamiento sugieren en términos generales impactos en el aprovechamiento escolar de aproximadamente un grado. Por lo que toca al nivel educativo de los individuos que nunca recibieron los beneficios de Oportunidades, en comparación con los que sí los recibieron desde 1998, las estimaciones implican un impacto estimado de 14%. Los impactos parecen ser ligeramente más importantes para niños que para niñas. Por ejemplo, los niños de 10 años en 1997 (16 en 2003) alcanzan 1.14 grados más de escolaridad frente al grupo de comparación, en tanto que las niñas de la misma edad sólo obtienen 0.94 grados. En el caso de los niños mayores (es decir, de 14 a 15 años en a 21 en 2003 ), se encontraron pocos efectos significativos en Resumen Ejecutivo

18 18 Impacto sobre la educación y el trabajo de jóvenes del medio rural cuanto a grados de escolaridad completados, lo cual no resulta inesperado, ya que esos jóvenes hubieran estado en el límite superior de edad de elegibilidad para Oportunidades, y es probable que hubieran abandonado la escuela años atrás. Los resultados de la exposición diferencial también demuestran impactos positivos y significativos en grados de escolaridad completados. En comparación con el grupo de control original (que recibió tratamiento desde 2000), los jóvenes en el grupo original de tratamiento que han recibido en promedio 1.5 años de beneficios adicionales, tienen aproximadamente 0.2 grados más de escolaridad, tanto entre niños como entre niñas, lo cual corresponde a un aumento de 2.5 por ciento. Los resultados en educación también sugieren que los niños expuestos al Programa están progresando más rápidamente en la escuela. Al medir la proporción de niños que avanzan de grado oportunamente (es decir, los que en el intervalo de seis años entre 1997 y 2003 completaron al menos cinco grados de escolaridad) y usando estimadores de pareamiento, los resultados muestran importantes efectos positivos para niños de 9 a 12 años en 1997 (15 a 19 en 2003) y niñas de 9 y 10 años en 1997 (15 a 16 en 2003). Para los niños, estos impactos significativos implican incrementos en la proporción de los que avanzan oportunamente de 38% a 64%, contra 30% a 39% para las niñas, sin olvidar que los rangos reflejan estimaciones para edades diferentes. Los resultados de la exposición diferencial muestran pequeños incrementos, únicamente significativos para niños de 9 a 15 años en 1997 (15 a 21 en 2003), con un impacto promedio de 7.4 por ciento. Otra área de impactos en educación es la relacionada con las pruebas de aprovechamiento Woodcock Johnson, que se aplicaron para medir habilidades de lectura, matemáticas y lenguaje escrito en adolescentes de 15 a 21 años en En este caso, los resultados son menos concluyentes en comparación con otros indicadores de educación, aunque el análisis está limitado por una muestra más pequeña y selecta, lo mismo que por falta de datos de un punto de partida inicial en pruebas de aprovechamiento anteriores al Programa. Sólo los resultados que se basan en el pareamiento muestran algunos impactos significativos, particularmente para niños más jóvenes (10 años en 1997 y 16 en 2003) que se encontraban entre aquellos que alcanzaron mayores impactos en grados de escolaridad. Por ejemplo, los niños que tenían 10 años en 1997 alcanzaron un incremento de 7.0% en sus calificaciones globales en matemáticas, de 8.1% en lectura y de 10.4% en escritura, lo que se puede comparar con los incrementos observados en grados de escolaridad. Los coeficientes significativos para niñas son más escasos, excepto en las que tenían 12 años en 1997 (18 en 2003), quienes mostraron un incremento de 7.6% en escritura. En cuanto a los resultados sobre el trabajo, el efecto teórico de Oportunidades en la actividad laboral es ambiguo. Por un lado, como se mostró en evaluaciones anteriores, el Programa tal vez reduzca el trabajo de niños que pasan más tiempo en la escuela; por el otro, en el caso de los jóvenes que han abandonado la escuela pero tienen más educación como resultado del Programa, se podría esperar un efecto positivo en el trabajo. Hasta aquí, parece que el primer efecto domina al segundo en el caso de los niños, ya que ambos conjuntos de resultados muestran efectos generales negativos de Oportunidades sobre el empleo de niños y efectos insignificantes para niñas. En el caso de los niños, las estimaciones pareadas para efectos de mediano plazo (5.5 años de exposición al Programa) implican una reducción en la probabilidad de trabajar para aquellos que tenían 10 y 14 años en 1997 (16 y 20 en 2003) de alrededor de 35% y 29%, respectivamente. En cambio, se encuentran reducciones más pequeñas, de alrededor de 4%, en el grupo de niños de 9 a 15 años en 1997 (15 a 21 en 2003) con base en los resultados de la exposición diferencial. También se encontraron efectos generales negativos y significativos en la probabilidad de participación de los niños en el trabajo agrícola. En el caso de las niñas, que antes de Oportunidades tendían a participar en tasas mucho menores dentro del mercado laboral, se observaron pocos efectos significativos del Programa en cuanto al trabajo. Esto es congruente con

19 19 Resumen Ejecutivo evaluaciones previas que encontraron poco efecto sobre el trabajo en el caso de las niñas, excepto en lo referente al trabajo doméstico. Finalmente, los resultados de la exposición diferencial sugieren algunos pequeños impactos en el matrimonio y la migración. a A nivel individual, tanto los jóvenes como las jovencitas dentro del grupo original de tratamiento muestran una probabilidad significativamente más baja de dejar el hogar en comparación con los jóvenes del grupo original de control. Los varones de 9 a 15 años de edad en 1997 (15 a 21 en 2003) tienen una probabilidad aproximadamente 6% menor de emigrar del hogar en comparación con los del grupo original de control, mientras que los efectos para las muchachas son negativos pero escasamente significativos. Por lo que toca al matrimonio, las niñas del grupo original de tratamiento parecen tener una probabilidad ligeramente más baja de haberse casado en 2003; sin embargo, los efectos no son significativos si se toman en cuenta las variables de control. En cambio, los varones sí muestran reducciones significativas en la proporción en que han contraído matrimonio; para aquellos con cuatro años completos de escolaridad en 1997, el Programa reduce la probabilidad de haber contraído matrimonio en 2003 en 2.7%, lo que equivale a un decremento del 13 por ciento. a Debido a cuestiones relacionadas con el manejo de datos que se describen en el texto, fue imposible realizar estimaciones de pareamiento sobre el impacto en la migración y el matrimonio.

20

21 Oportunidades (antes Progresa) ha estado operando por más de seis años en pequeñas comunidades rurales de México. Su objetivo central de condicionar transferencias monetarias a inversiones en capital humano de niños pobres y miembros de sus familias, ha sido adoptado en varios países de América Latina. Al inicio del Programa se implementó una evaluación externa rigurosa (cubriendo el periodo ), que incluyó varias rondas de datos de panel en un diseño experimental, lo mismo que otras aproximaciones al análisis (como diseño de discontinuidad y estructural). Los resultados de la evaluación mostraron impactos significativos en la reducción del trabajo infantil, el mejoramiento de los resultados en salud y el incremento de la matrícula escolar, por mencionar algunos de corto plazo. 1-4 Diversos estudios de la evaluación inicial también han generado estimaciones de efectos de más largo plazo condicionadas a supuestos tales como estabilidad en las matrices de transición escolar o las relaciones estructurales que subyacen al comportamiento familiar. 5-7 Gracias a la disponibilidad de la continuación de la Encuesta de Evaluación Rural 2003 (Encel 2003), ahora es posible comprobar de manera directa algunos efectos importantes de largo plazo del programa en general y del componente de becas en particular. El presente estudio examina los impactos de Oportunidades en jóvenes de las zonas rurales en el mediano plazo en 2003, es decir, más de cinco años después de que los hogares en el grupo original de tratamiento empezaran a recibir los beneficios. Se estudian los impactos en el aprovechamiento escolar, en los resultados dentro del mercado laboral, en el I. Introducción matrimonio y la migración. Se consideró el grupo de jóvenes de 9 a 15 años en 1997 (15 a 21 años en 2003), justo antes de la intervención del Programa, b, 5-6, 10 ya que los miembros de este grupo representan a quienes se encontraban en la transición (o cerca de ella) entre la escuela primaria y la secundaria previo a la intervención. Antes de Oportunidades, la decisión de continuar a la secundaria por parte de los graduados de primaria que ocurría para la mayoría de los niños en el umbral de la adolescencia era un momento crucial en la trayectoria escolar dentro de las comunidades rurales pobres de México (véanse las figuras 1 y 2, que muestran la relación inversa de participación en el mercado de trabajo e inscripción en la escuela, especialmente para niños). Por lo tanto, los jóvenes adolescentes con cuatro a seis años de escolaridad completados dentro de los hogares elegibles en 1997 enfrentaron incentivos considerablemente diferentes para seguir en la escuela de acuerdo con su pertenencia a los pueblos originales de tratamiento o de control, incluso si se considera que las poblaciones originales de control fueron incluidas gradualmente en el Programa, pues era probable que para entonces aquellos muchachos y muchachas estuvieran más allá de la edad para inscribirse a la escuela secundaria. c, d b c d Este reporte complementa otros que son parte de la evaluación 2004 de Oportunidades del Instituto Nacional de Salud Pública, especialmente en cuanto a impactos de mediano plazo sobre la educación en áreas rurales para niños de 0 a 8 años de edad en 1997, 8 y a impactos de corto plazo sobre la educación en áreas urbanas, 9 pero también informes sobre otros temas como la definición de la población objetivo. Asimismo, complementa estudios previos sobre educación (referencias 5-6,10). Algunas evaluaciones previas han demostrado que los efectos más importantes del Programa ocurrieron precisamente en esa transición entre la escuela primaria y la secundaria. 5-7 Los cambios en el Programa también permiten otra comparación entre las cohortes de quienes completaron la escuela secundaria en años diferentes en las áreas de tratamiento. El programa de becas inicialmente cubría del tercer grado de primaria al tercero de secundaria, pero en 2001 fue modificado para incluir hasta el tercer grado de preparatoria. Esto significa que los niños en áreas de tratamiento que completaron el tercer grado de secundaria antes de 2001, comparados con los de áreas de tratamiento que lo terminaron luego de este cambio, se encontraron con incentivos diferenciales para realizar la transición de la secundaria a la preparatoria. Sin embargo, este estudio no se enfoca a dicha transición, debido al número relativamente pequeño de estudiantes que terminaron el tercer grado de secundaria, puesto que sus edades variaban mucho en razón de una serie de decisiones previas y porque no había ningún grupo de control para comparar.

22 22 Impacto sobre la educación y el trabajo de jóvenes del medio rural FIGURA 1. Inscripción escolar y participación en la fuerza de trabajo de niños en comunidades de Progresa antes de la implementación del Programa 11 Fuente: Parker SW, Skoufias E. The impact of PROGRESA on work, leisure and time allocation [report submitted to PROGRESA]. Washington, DC: International Food Policy Research Institute, octubre Disponible en: progresa.htm. 11 Porcentaje 100 B B B B J J J J B J Edad (años) B nscr tos en a esc e a B J J B J J B ra ajando J B J B FIGURA 2. Inscripción escolar y participación en la fuerza de trabajo de niñas en comunidades de Progresa antes de la implementación del Programa Fuente: Parker SW, Skoufias E. The impact of PROGRESA on work, leisure and time allocation [report submitted to PROGRESA]. Washington, DC: International Food Policy Research Institute, octubre Disponible en: progresa.htm. 11 Porcentaje 100 B B B B J J J J B J Edad (años) B n cr to en a e c e a B J (años) J B J ra ajan o B J B J J B Se consideran los impactos de mediano plazo de Oportunidades en áreas rurales sobre una serie de variables críticas relacionadas con la educación, el trabajo, el matrimonio y la migración: Educación: inscripción actual, avance oportuno de grado escolar desde 1997, número de grados de escolaridad completados, resultados de pruebas de aprovechamiento. Trabajo: empleo actual y tipo de trabajo (agrícola o no agrícola), y salarios. Matrimonio: estado civil actual. Migración: migración desde También se explora la posibilidad de que algunos resultados claves en educación varíen de acuerdo con características específicas de las escuelas.

23 23 Introducción La información básica utilizada corresponde a la Encuesta de Evaluación Rural de 2003 (Encel 2003), junto con otros datos, en especial la Encuesta de Características Socioeconómicas de los Hogares (Encaseh 1997) previa al Programa. La estrategia de análisis incluye la comprobación directa de los impactos a partir de la utilización de dos aproximaciones diferentes: e Estimaciones por diferencias en diferencias del efecto del tratamiento utilizando los grupos originales de tratamiento (que empezó a recibir beneficios en 1998) y control (que empezó a recibir beneficios a fines de 1999 e inicios de 2000) para niños de diferentes rangos de edad en 1997, a fin de investigar el impacto de una exposición diferencial al Programa de alrededor de año y medio para estos dos grupos. Estimaciones de pareamiento entre quienes recibieron el tratamiento en 1998 y el nuevo grupo de comparación por pareamiento 2003 (que consta de hogares que nunca recibieron subsidios), a fin de investigar el impacto de la exposición al Programa durante cinco años y medio frente a ninguna exposición. Asimismo, este trabajo ofrece nuevas estimaciones sobre el incremento de mediano plazo en educación debido a Oportunidades. Mediante el análisis de resultados iniciales en el mercado laboral, también se presenta parte de la primera evidencia directa de la magnitud en que los jóvenes pobres del medio rural pueden tener acceso a mejores trabajos iniciales con mayores salarios como resultado de haber obtenido más educación a través de Oportunidades. Además, se ofrece parte de la primera evidencia directa sobre el impacto del Programa en la probabilidad de que los jóvenes se casen. Finalmente, en relación con la educación, el trabajo y el matrimonio, se ofrece evidencia sobre el impacto del Programa en la migración. El informe está organizado de la siguiente manera: el capítulo II ofrece una breve descripción del Programa y de sus principales modificaciones a lo largo del tiempo. El capítulo III presenta el diseño básico y los datos de la muestra. Los capítulos IV y V analizan los impactos estimados de Oportunidades utilizando las aproximaciones señaladas con anterioridad, en tanto que el capítulo VI presenta las conclusiones. e Una tercera posibilidad sería utilizar el análisis de discontinuidad de regresión para comparar a los niños tratados (pertenecientes a familias que no están muy por debajo del límite para incorporarse al Programa), contra aquellos que no tienen derecho (pero que no están muy por encima del límite), dentro de los grupos originales de tratamiento y control. Aun cuando este enfoque resultaba apropiado de acuerdo con los criterios originales del Programa, 12 los cambios en cuanto a parámetros para recibir los beneficios del Programa y los procesos de incorporación significaron que muchos hogares que originalmente no eran beneficiarios potenciales empezaran a recibir beneficios antes de 2000, así que este enfoque no resulta adecuado para el presente estudio.

24

25 Oportunidades (antes Progresa) empezó a operar en pequeñas comunidades rurales en 1997 y gradualmente se ha expandido a áreas urbanas; en la actualidad beneficia a un total de cinco millones de familias, cerca de la cuarta parte de todas las familias mexicanas. A través de su diseño, que condiciona el pago de cantidades en efectivo a la asistencia regular a la escuela y a servicios de salud, el Programa ha atraído importante atención internacional, y varios países de América Latina están implementando programas gubernamentales similares. 1-4 El cuadro 1 muestra los montos de la beca mensual disponibles durante el segundo semestre de 2003, para los niños que cursaban entre el tercer grado de primaria y el tercero de preparatoria. Originalmente, el Programa ofrecía becas únicamente para niños que cursaban entre el tercer grado de primaria y el tercero de secundaria, pero en 2001 se ampliaron a la preparatoria, y tanto en ese nivel como en secundaria se ofrecen cantidades mayores (en aproximadamente 13%) para niñas que para niños. Tal como en su diseño original, el Programa también ofrece becas para útiles escolares y una transferencia fija ligada a la asistencia regular a clínicas de salud. Todas las becas en efectivo se entregan a las madres de familia, a excepción de las de preparatoria, que pueden ser recibidas por los jóvenes. La asistencia regular a la escuela es un requisito para recibir la beca mensual, lo mismo que la asistencia a pláticas mensuales sobre salud para los estudiantes de preparatoria. En lo que toca al éxito en la terminación de grados escolares, las reglas del Programa permiten a los alumnos reprobar II. Antecedentes del Programa una vez cada grado, pero no se permite reprobar un mismo año dos veces. En este caso se suspenden los beneficios del Programa de manera permanente para el beneficiario. Nótese que esto teóricamente le permite a un estudiante recibir beca durante dos años para el mismo grado a lo largo de su trayectoria escolar. Además de la introducción de becas escolares en la preparatoria a partir de 2001, han ocurrido otros cambios en la operación del Programa en zonas rurales. En primer lugar, se introdujo un nuevo GRADO NIÑOS NIÑAS Primaria Tercero Cuarto Quinto Sexto CUADRO 1. Monto mensual de las becas escolares (en pesos) durante el segundo semestre de 2003 Secundaria Primero Segundo Tercero Preparatoria Primero Segundo Tercero

26 26 Impacto sobre la educación y el trabajo de jóvenes del medio rural componente del Programa, llamado Jóvenes con Oportunidades, que consiste en el depósito de cierta cantidad de puntos (iguales a pesos) por cada grado desde el tercero de secundaria hasta el final de la preparatoria en una cuenta a nombre del joven y no de la madre. Cuando el joven termina sus estudios de preparatoria (antes de los 22 años de edad), puede escoger entre esperar dos años y disponer de su saldo (más intereses) para usarlo como mejor le parezca u obtener un acceso inmediato a los fondos, siempre y cuando los utilice en alguna de las siguientes iniciativas: a) inscribirse a la universidad; b) comprar un seguro de gastos médicos; c) obtener un préstamo para iniciar un negocio, o d) usarlo para vivienda social. Este nuevo esquema se puso en marcha en 2003, y aunque podría incentivar la inversión en educación, los autores consideran que no será un factor importante sobre los impactos estimados en este estudio, ya que fue introducido apenas cuando se levantaba la Encel El segundo aspecto que es importante mencionar se relaciona con la elegibilidad continua de Oportunidades. En teoría, todos los hogares deben ser recertificados después de tres años, mediante un proceso en que son visitados y se vuelven a evaluar sus características para determinar si siguen siendo o no elegibles para el Programa. Aquellos hogares que ya no son elegibles para recibir beneficios son transferidos a una versión modificada del Programa (Esquema Diferenciado de Apoyos, EDA), que también incluye becas escolares para secundaria y preparatoria, pero excluye las becas para primaria y las transferencias en efectivo para alimentación. En la práctica muy pocos hogares de la muestra de interés para el presente estudio han sido transferidos al esquema modificado, de modo que el análisis se concentró en los hogares inicialmente elegibles sin excluir los que pudieron haber sido transferidos al EDA. f f Un pequeño número de hogares originalmente elegibles nunca recibió los beneficios del Programa, en gran medida porque sus miembros emigraron de la comunidad antes de que se les informara que tenían derecho al mismo. Estos hogares se excluyeron del análisis.

27 27 Diseño y pérdida de la muestra Diseño de la muestra III. Diseño y pérdida de la muestra La Encuesta de Evaluación Rural de 2003 utiliza el diseño experimental original de tratamiento y control iniciado en El diseño original de la muestra comprendía 506 comunidades de las cuales 320 fueron seleccionadas al azar para recibir beneficios inmediatamente y otras 186 para recibirlos más tarde. g Sólo los hogares que se catalogaron como pobres a través de procedimientos estadísticos, y cuyo estatus fue validado mediante retroalimentación de las comunidades, fueron elegibles para recibir los beneficios. 1-4 El análisis que se presenta en los capítulos III y IV corresponde a los hogares elegibles en el grupo original de tratamiento (T1998) y en el grupo original de control (T2000), y se enfoca a su exposición diferencial de aproximadamente año y medio. El capítulo V presenta un análisis comparativo entre T1998 y los hogares pareados de acuerdo con sus características en el grupo de comparación de 2003 (C2003). Este último se obtuvo de 152 nuevas comunidades pareadas h que nunca recibieron beneficios de Oportunidades y que sirven para obtener estimaciones de cinco años y medio de exposición al Programa frente a ninguna exposición. Los hogares elegibles en las localidades originales de tratamiento (T1998) empezaron a recibir beneficios del Programa en la primavera de 1998, mientras que los hogares elegibles en el grupo original de control (T2000) empezaron a recibir los beneficios del tratamiento a finales de Entre 1997 y 2000 se aplicaron encuestas de evaluación a los hogares de T1998 y T2000 cada seis meses, con información detallada de indicadores como educación, salud, ingreso y gastos. En 2003 se efectuó una nueva ronda de seguimiento de la encuesta de evaluación rural (Encel 2003). La muestra incluyó hogares elegibles y no elegibles de los grupos originales de tratamiento (T1998) y de control (o de tratamiento retrasado, T2000) y una nueva muestra de hogares de comunidades de comparación seleccionadas a través de un pareamiento de comunidades que no habían entrado al Programa en 2003 y que de otro modo serían similares a las comunidades con el Programa (C2003). i, 13 Se relacionaron los datos de T1998 y T2000 en 2003 con grupos anteriores de datos, especialmente los previos al programa de la Encaseh de 1997, para obtener datos longitudinales sobre niños que tenían de 9 a 15 años de edad en 1997 y de 15 a 21 en Para C2003 se usaron datos retrospectivos para caracterizar su estatus en 1997 (descrito más adelante en el capítulo V). Al igual que en las anteriores encuestas Encel, la de 2003 ofrece datos sobre innumerables resultados del Programa, incluyendo escolaridad, trabajo y gastos; además, contiene nuevos módulos, incluyendo las pruebas de aprovechamiento Woodcock Johnson (WJ) aplicadas a adolescentes y un cuestionario de nivel escolar aplicado a directores y profesores de las escuelas a las que asisten los beneficiarios de Oportunidades y a las que podrían asistir los jóvenes en la muestra de comparación pareada (C2003). g h i Debido a restricciones presupuestales, el Programa se fue ampliando a lo largo del tiempo. La muestra incluyó localidades incorporadas en 1998 en el caso del grupo original de tratamiento (T1998) y localidades incorporadas en 2000 para el grupo original de control (T2000). De las 152 nuevas localidades de control, una de ellas fue una respuesta negativa completa. Para una mayor descripción de cómo se realizó el pareamiento a nivel de la comunidad, véase: Todd P. Technical note on using matching estimators to evaluate the Oportunidades program for six year follow-up evaluation of Oportunidades in rural areas (referencia 13). Estas comunidades pareadas que no habían recibido beneficios hasta 2003 fueron incorporadas a Oportunidades en 2004.

28 28 Impacto sobre la educación y el trabajo de jóvenes del medio rural Para efectuar el análisis que se presenta a continuación, fue necesario tomar una serie de decisiones en cuanto a la precisión de algunos datos crudos y sobre la forma de construir variables de interés. El anexo A ofrece detalles sobre estos temas. Pérdida de la muestra de jóvenes en los hogares originales de los grupos T1998 y T2000 En esta sección se considera la pérdida de la muestra original de evaluación. Algunos investigadores se han preguntado si las ventajas que se obtienen al reunir datos longitudinales compensan su costo. 14 Uno de los problemas que más se han debatido es si la pérdida de la muestra puede llevar a muestras selectivas y volver problemática la interpretación de las estimaciones. Muchos analistas están de acuerdo en que la pérdida tiende a ser selectiva en características tales como escolaridad, de modo que la pérdida alta tiende a desviar las estimaciones realizadas a partir de datos longitudinales. La mayor parte de los trabajos anteriores sobre pérdida en muestras longitudinales grandes se han realizado en economías desarrolladas (p. ej., los estudios publicados en una edición especial de The Journal of Human Resources (JHR, primavera de 1998) Attrition in Longitudinal Surveys (hay literatura estadística disponible con relación a valores faltantes y respuesta nula en encuestas). 15,16 El sorprendente resultado de los estudios presentados en esa edición especial de JHR es que las desviaciones en relaciones socioeconómicas estimadas debidas a pérdidas en la muestra son bajas, a pesar de tasas de pérdida tan altas como 50% y diferencias importantes entre las personas que fueron reentrevistadas y las que se perdieron para el seguimiento de muchas características importantes. Por ejemplo: Para 1989 el Panel de Estudio de Michigan sobre Dinámica del Ingreso (PSID) experimentó una pérdida de muestra de aproximadamente 50% a causa de pérdidas acumulativas de sus miembros originales de 1968 [p. 251]. 17 Descubrimos que si bien la PSID ha sido muy selectiva en muchas variables de interés importantes, incluyendo las que suelen considerarse como variables de resultados, la desviación por pérdida de cualquier modo es relativamente pequeña en magnitud (la mayor parte de la pérdida es aleatoria) [p. 252]. 17 A pesar de que una pérdida de la muestra tan alta como la [experimentada] necesariamente reduce la precisión de las estimaciones, no existe una relación obligada entre el tamaño de la reducción de la muestra debida a pérdida y la existencia o la magnitud de la desviación por pérdida. Incluso una gran cantidad de causas de pérdida de la muestra no provoca desviación si es «aleatoria» [p. 256]. 17 Los otros estudios de esa edición especial de JHR confirman aún más los descubrimientos para la PSID o llegan a conclusiones similares para otros datos de panel similares, como la Encuesta de Ingreso y Participación en el Programa (SIPP), las Encuestas Longitudinales Nacionales de Experiencia del Mercado Laboral (NLS) y la Encuesta de Panel de Oferta de Trabajo en los Países Bajos Resultados similares se presentaron en conjuntos de datos longitudinales de países en desarrollo. 23 A pesar de que estos resultados hacen pensar que la pérdida de la muestra quizá no sea una cuestión tan importante como se ha dicho, también sugieren que debe considerarse si representa un problema en cualquier estudio en particular. En el caso que nos ocupa, la pérdida puede causar problemas para el análisis si no es independiente de los efectos del Programa, ya que en tal caso cambiaría la composición de la muestra de tratamiento de manera diferente a la composición de la muestra de control.

29 29 Diseño y pérdida de la muestra Para efectos del presente estudio, se ha considerado pérdida de la muestra en el sentido de que algunas personas que se encuentran en la muestra de 1997 no están en la muestra de j El cuadro 2 (panel A) resume algunas estadísticas sobre la pérdida de la muestra en este periodo para los grupos originales de tratamiento (T1998) y control (T2000), enfocándose primero a todos los jóvenes de la comunidad y luego a aquellos elegibles de acuerdo con la definición original del Programa (pobre) y según la definición modificada (pobreden). k Las cifras de este cuadro son sorprendentes. Básicamente, dos quintas partes (41%) de los individuos que tenían 9 a 15 años de edad en 1997 ya no estaban TRATAMIENTO CONTROL P> Z T(1998) T(2000) N MEDIA N MEDIA A. Proporción total de la pérdida (individuos u hogares) 9 a 15 años (todos) 15, a 15 años (pobres usando la definición original) 10, , a 15 años (pobres usando pobreden) 12, , CUADRO 2. Proporción de pérdida individual de la Encaseh original de 1997 (individuos de 9 a 15 años en 1997) Por género Niños 9 a 15 años (pobres usando la definición original) 5, , Niñas 9 a 15 años (pobres usando la definición original) 4, , B. Proporción debida a pérdida individual 9 a 15 años (todos) a 15 años (pobres usando la definición original) a 15 años (pobres usando pobreden) Por género Niños 9 a 15 años (pobres usando la definición original) Niñas 9 a 15 años (pobres usando la definición original) C. Proporción debida a pérdida de hogares (individuos no encontrados porque el hogar se mudó) 9 a 15 años (todos) a 15 años (pobres usando la definición original) a 15 años (pobres usando pobreden) Por género Niños 9 a 15 años (pobres usando la definición original) Niñas 9 a 15 años (pobres usando la definición original) Notas: La última columna muestra el nivel en que las diferencias medias entre T1998 y T2000 son significativas basada en pruebas-t. El número de casos para niños y niñas no arroja el total de casos debido a la falta de algunas observaciones relacionadas con el género. j k Para otros propósitos puede resultar interesante considerar los detalles de la pérdida de la muestra a lo largo de las rondas de datos panel recolectados, ya que pueden ser relevantes cuando un individuo ha salido de la muestra. Se usa la definición original para todo el análisis subsiguiente, pero en esta tabla se incluye algo de información que recoge la última definición para ilustrar que las dos conducen a conclusiones similares sobre si la pérdida de la muestra esta relacionada con la exposición al Programa.