Reflexiones sobre la Política Social y el Sistema de Evaluación y Desempeño. Dra. Susan W. Parker Spectron Desarrollo/CIDE

Transcripción

1 Reflexiones sobre la Política Social y el Sistema de Evaluación y Desempeño Dra. Susan W. Parker Spectron Desarrollo/CIDE 1 de octubre, 2008

2 Plan de la ponencia Comentarios generales sobre el SED. Evaluaciones de impacto versus evaluaciones de diseño. Utilidad de las evaluaciones de impacto. Análisis costo beneficio.

3 Sistema de Evaluación del Desempeño (SED) Obliga a los programas sociales a hacer evaluaciones y producir indicadores midiendo su gestión. Representa un gran paso, el cual muchos países todavía no han tomado. Evaluaciones obligatorias tratan más el diseño y la operación que el impacto.

4 Sistema de Evaluación del Desempeño (SED) Cuáles son las diferencias entre las evaluaciones de diseño, operación e impacto? Usando el ejemplo del Programa Oportunidades: La evaluación de diseño analiza si tiene sentido dar becas según la asistencia de los niños. La evaluación operativa analiza a cuántos de los beneficiarios llegan a tiempo sus apoyos. Sin embargo, las evaluaciones de impacto analizan cuestiones como: si las becas de Oportunidades aumentan el nivel de escolaridad en México.

5 Evaluaciones de impacto No todos los programas necesitan evaluaciones de impacto, debe ser algo llevado a cabo una vez que se ha demostrado que el programa tiene buen diseño y operación. Sin embargo, los programas principales y estrategias de la política social deben llegar a tener evaluaciones del impacto.

6 El caso de Oportunidades Por mucho, el programa más evaluado en México en términos de sus impactos. Gran cantidad de recursos ha sido dedicada para su evaluación desde hace más de 10 años. En la actualidad hay más de 30 países que tienen programas similares, incluyendo la ciudad de Nueva York (Opportunities NYC).

7 Algunos hallazgos de las evaluaciones de impacto de Oportunidades Las evaluaciones iniciales del Programa mostraron que funcionaba a grandes rasgos: Aumentaba la matrícula escolar, aumentaba la asistencia a servicios de salud y se reducía el nivel de desnutrición infantil. Evaluaciones posteriores han entrado en mayores detalles sobre los impactos: Hay impactos sobre el aprendizaje de los niños, medido por pruebas estandarizadas (evidencia mixta). Hay impacto en la inscripción en la universidad? (aparentemente todavía no ).

8 Impactos del Programa Oportunidades sobre la escolaridad de los jóvenes Table 4a Estimated Impacts of Oportunidades on Grades of Education Local linear matching T1998 vs. C2003 Longitudinal difference-in-difference matching Age in 2003 Girls Impact (Standard error) Obs # common support C2003 grades of schooling, % impact , 10.0% (0.16) , 10.0% (0.18) , 0.4% (0.18) Boys , 14.6% (0.15) , 13.0% (0.21) , 7.8% (0.18) Difference-in-difference estimator, imposing common support (trimming=2%). Bootstrapped standard errors (parentheses) with 500 replications. Bandwidth=0.8.

9 Análisis costo beneficio Oportunidades tiene impactos importante en aumentar la escolaridad de los jóvenes pero cómo sabemos si algún otro programa no podría tener un impacto mayor? No podemos saber al menos que se evalúen los impactos de otros programas orientados a aumentar el nivel de escolaridad y así comparar los costos de cada programa. Es decir, llevar a cabo una evaluación de costo beneficio.

10 SED debe considerar la aplicación de estudios de Análisis Costo Beneficio Un ejemplo de la utilidad del análisis costo beneficio: Objetivo: aumentar nivel de la escolaridad en México. Algunas opciones de política: Dar becas (Programa Oportunidades). Construir más escuelas. Pagar maestros de acuerdo a desempeño en pruebas de ENLACE.

11 Cómo comparar opciones de política? Para estimar beneficios: 1. Se necesita conocer el impacto de cada programa sobre el nivel de escolaridad de los individuos. 2. Se necesita cuantificar el impacto, es decir, poner un valor sobre el beneficio de tener mayor escolaridad.

12 Cuáles son los beneficios de una mayor escolaridad? Mayor ingreso (basado en cientos de estudios al nivel internacional). Mejores y más satisfactorios empleos. Ciudadanos mejor informados y más participativos. Nota importante: los beneficios mayores son FUTUROS pero es necesario tomarlos en cuenta desde hoy.

13 Cuáles son los costos de una mayor escolaridad? Costos del programa. Costo de oportunidad de los individuos (ingresos que obtendría si estuviera trabajando en lugar de estudiando). Costos de los individuos por cumplir con el programa (por ejemplo gasto adicional en trasporte para que los niños vayan a la escuela).

14 Implicaciones del Análisis Costo Beneficio. 1. Solamente deben ser financiados programas con beneficios mayores que sus costos. Contraejemplo: programas de capacitación de desempleados en EU. 2. Seleccionar programas con mayor margen de beneficios sobre los costos. Ejemplo: Programa Oportunidades.

15 Análisis Costo Beneficio Si Oportunidades se tratara como un programa de capital humano superan los beneficios a los costos? Beneficios: aumento de ganancias futuras debido al aumento de la escolaridad. Depende de los retornos a la educación. Costos: costo de oportunidad de pasar mayor tiempo en la escuela (entrada tardía al mercado laboral), costos administrativos, costos de distorsión asociados con ingresos crecientes y costos privados asociados con participación.

16 Análisis Costo Beneficio Tabla: Costos y beneficios del componente educativo de Oportunidades (en dólares US). Rendimiento a la escolaridad Ingresos iniciales 6% 8% 10% Tasa de descuento Sin programa Con programa Costos Beneficio s Razón beneficios/ costos. Beneficio s Razón beneficios/ costos. Beneficio s Razón beneficios/ costos. 3% %

17 Conclusiones El SED es un gran avance en términos de rendición de cuentas y representa el principio de la implementación de una cultura de evaluación. El objetivo final del SED con respecto a la política social debe ser la implementación/expansión de programas que funcionan, así como la eliminación/reducción de programas que no funcionan.

18 Cómo escoger los mejores programas? Primera etapa de acuerdo al SED: evaluaciones de diseño y operación. Pero después, cómo escoger a los mejores programas? Se requiere de un análisis de impacto y además consideración de los costos y beneficios de cada programa para tomar decisiones bien informadas.