Evaluación de Impacto de Políticas Públicas

Transcripción

1 Políticas Presupuestales y Gestión por Resultados CEPAL-ILPES Evaluación de Impacto de Políticas Públicas Fernando Medina H. Asesor Regional CEPAL Santiago de Chile 25 de noviembre de 2005

2 Porqué es necesario evaluar? Las crecientes inversiones que se hacen en los países, no han podido reducir de manera significativa las tasas de indigencia y pobreza. A pesar de los múltiples esfuerzos emprendidos en el ámbito social, la pobreza no cede y la desigualdad es un fenomeno que se ha instalado en todos los países de la región. No existe en América Latina y el Caribe una cultura de evaluación integral de políticas públicas.

3 Existe consenso internacional, de que la superación de la pobreza y la desigualdad representan el principal desafío de la humanidad en el umbral del siglo XXI. A pesar del progreso alcanzado el mundo se está polarizando, y la pobreza extrema y la inequidad amenzan con llegar a ser un problema social y político de gran escala.

4 Actualmente, el 43% de la población (222 millones) enfrenta alguna situación pobreza. En tanto que el 19% se ubica en extrema pobreza ( 96 millones). Desde que se asumieron los compromisos de la Declaración del Milenio (2000), la población en pobreza ha aumentado a un ritmo superior al de la población total, a pesar de que se obserava un mayor ingreso por habitante.

5 La mayoría de países muestran avances insuficientes hacia el cumplimiento de la meta de reducción de la pobreza extrema, y en muchos casos la situación empeoró.

6 Qué es la evaluación integral? Comprende la evaluación de todas las etapas asociadas a la operación de un programa. Diseño Identificación de la población objetivo Identificación de beneficiarios Definición de criterios de elegibilidad Identificación de beneficios: tipos y montos Métodos de entrega de beneficios, plazos y temporalidad. Corresponsabilidad de los beneficiarios Impacto

7 EVALUACIÓN INTEGRAL DE PROGRAMAS PÚBLICOS EVALUACIÓN DE COSTO - BENEFICIO EVALUACIÓN DE PROCESOS POLÍTICAS PÚBLICAS EVALUACIÓN DE IMPACTO MONITOREO Y SEGUIMIENTO

8 Cómo ha sido diseñado el programa? Diagnóstico adecuado: Porqué es necesario emprender el programa? Magnitud del problema: volumen de potenciales beneficiarios, recursos, ubicación geográfica, etc. Qué resultados debe producir el programa?: modificar causas, reducir efectos, ambos. Cómo se mediran los resultados del programa?

9 (cont.) Monitoreo Evaluación de procesos Cumplimiento de metas Costo-beneficio Impacto

10 Monitoreo Se actúa conforme a lo planeado? La fase de monitoreo es permanente, y se asocia a la necesidad de conocer si el programa funciona de acuerdo a la manera en que se planificó. La mejora continua debe ser asumida como objetivo durante el ciclo de vida del programa (Círculo de Deming). Se requiere de un sistema de información oportuno para apoyar la toma de decisiones.

11 Control de Procesos Está asociado con el control de gestión del programa, y entre otras cosas, evalúa la manera en que se están entregando los servicios a los beneficiarios. Se debe conocer aspectos asociados a: costos, calidad de los servicios, pertienencia de los servicios, tiempos de entrega, etc.

12 Cumplimiento de Metas Se debe conocer si las metas de cobertura del programa se están logrando. El cumplimiento de metas no debe asociarse al cumplimiento de objetivos del programa. Son cosas distintas. Es la manera en la que tradicionalmente se ha evaluando el éxito de un programa, pero también es la más ingenua.

13 Costo-Beneficio Está orientado a evaluar la eficacia del programa desde una perspectiva económica. Se relacionan los costos de operación del programa con los beneficios obtenidos. Contrapone el plano ético con una visión economicista de las políticas públicas.

14 CONTEXTO EN EL QUE SURGE LA EVALUACIÓN Y LOS ACTORES SOCIALES ORDENAMIENTO LEGAL QUE OBLIGA A LA EVALUACIÓN PERIÓDICA CONSEJO CONSULTIVO CIUDADANO QUE ES VIGILANTE DE LA ACCIÓN PÚBLICA EN MATERIA SOCIAL GOBIERNO RESPONSABLE DE RENDIR CUENTAS E INFORMA RESULTADOS GOBIERNOS LOCALES PARTICIPANDO EN LA PROMOCIÓN DEL DESARROLLO COMUNITARIO SOCIEDAD CADA VEZ MÁS DEMANDANTE Y PARTICIPATIVA

15 Tipología de los indicadores Diagnóstico: Tasa de pobreza, perfiles, etc. Monitoreo y Seguimiento:Metas de cobertura Insumos: maestros, materiales médicos, etc. Acceso: escuelas,aulas, clínicas, etc. Resultados: estado nutricional, aprendizaje, etc. Impacto Cambio Evaluación

16 (cont.) Gestión:Eficiencia (insumos-productos) Desempeño: laboral y financiero

17 Indicadores Estratégicos Simples: E(x) Compuestos: IDH, Gini, H

18 Métodos para la construcción de índices multidimensionales Técnicas multivariadas: análisis factorial, componentes principales y análisis de discriminante. Indices de pobreza y desigualdad multidimensionales Indice de Desarrollo Humano Indices de Condiciones de Vida

19 Existen demasiados índices Indice de desarrollo humano Indice de desarrollo de género Indice de potenciación de género Indice de pobreza de capacidades Indice de pobreza humana Indice de pobreza humana de los países en desarrollo

20 Indice de Desarrollo Humano IDH=1/3SX i ; i=1,2,3 X 1 = Indice de Esperanza de Vida IEV=( )/(85-25)=0.807 X 2 =Indice de Educación IA=(85.3-0)/(100-0)=0.853 IBM=(69-0)/(100-0)=0.690 IE=2/3(0.853)+1/3(0.690)=0.789 X 3 = Indice de PIB IP=[log(3,680)-log(100)]/[log(40000)-log(100)]=0.603 IDH=1/3( )=0.735

21 Algunas críticas al IDH Están adecuadamente ponderadas las distintas dimensiones del índice y son pertinentes los ponderadores asignados? Deben tener el mismo peso todas las dimensiones? Es correcto que el nivel alto de una dimensión compense el nivel bajo de otra? Un mejor nivel de ingreso compensa una educación inadecuada?

22 (cont.) Un mayor nivel educativo compensa el tener una menor expectativa de vida? Es pertinente que exista un único índice con iguales dimensiones e indicadores para todos los países, con independencia a su nivel de desarrollo relativo? Su uso es muy limitado para el diseño de políticas.

23 1. Erradicar la pobreza y el hambre Mejorar la salud materna 2. Lograr la enseñanza primaria universal 3. Promover la igualdad entre los gèneros y la autonomìa de la mujer 4. Reducir la mortalidad infantil 6. Combatir el VIH/sida, el paludismo y otras enfermedades 7. Garantizar la sostenibilidad del medio ambiente 8. Fomentar una asociaciòn mundial para el desarrollo

24 Las Metas del Milenio g Reducir a la mitad la tasa de pobreza extrema (2015) g Reducir a la mitad el porcentaje de personas que padecen hambre g Asegurar la educación primaria universal g Eliminar las diferencias de género en la educación primaria y secundaria (2025) g Rebajar en dos tercios la mortalidad en la infancia y la niñez g Reducir la mortalidad materna en tres cuartas partes g Asegurar el acceso universal a los servicios de salud reproductiva g Detener la reproducciòn del VIH/Sida, paludismo y otras enfermedades graves g Aplicar estrategias para lograr un desarrollo sostenible con responsabilidad ecológica g Reducir a la mitad el porcentaje de personas que carecen de acceso a agua potable g Mejorar la calidad devida de las personas que viven en tugurios g Ayudar a los países en el cumplimiento de las metas

25 Las metas del milenio Muchos de los indicadores seleccionados están orientados a medir el acceso de las personas a un conjunto básico de satisfactores. No obstante, este hecho no guarda relación con la calidad de los servicios recibidos: e.g. calidad de la educación, estado nutricional de los pobres no indigentes, etc.

26 La incidencia de la pobreza Qué nos interesa. El fondo o la forma? Se puede dar el caso de que la tasa de pobreza extrema dismunuya, pero que los miembros del hogar continúen sin satisfacer sus necesidades alimentarias.

27 CONTEXTO IDEAL PARA LA EVALUACIÓN DE IMPACTO Diagnóstico inicial -Variables estructurales -Variables de coyuntura -Relaciones de causalidad Escenario actual y futuro del Programa Escenario deseable Identificación -Variables de impacto -Variables de control -Metas de política -Objetivos de política -Indicadores de evaluación Línea de base conocimiento de la situación actual y del futuro deseable Planeación -Objetivos del programa -Población objetivo -Modelo de intervención -Modelo de evaluación -Temporalidad para evaluar resultados -Recopilación de información (encuestas, registros administrativos y métodos cualitativos) Diseño del programa Evaluación de impacto -Costo-beneficio -Costo-impacto Resultados -Pertinencia del programa -Evolución de los indicadores de impacto Operación - Selección de la población beneficiaria -Selección del grupo de control -Se efectuan intervenciones -Mecanismos de control y seguimiento -Se monitorea el proceso

28 Planteamiento del problema Se desean conocer los efectos que tiene una acción de política social en una o más variables asociadas al nivel de vida de una población. Para ello, se diseña un programa el cual beneficia a un cierto grupo de personas o familias. Posteriormente, después de un cierto tiempo se desea comparar la situación de los beneficiarios con aquella que tendrían de no haber participado en el programa.

29 Evaluación de Impacto Tiene como propósito conocer si el programa produjo los efectos deseados en los beneficiarios. Conocer si los cambios observados en los beneficiarios, pueden asociarse a los efectos del programa (causalidad). Cómo debiera mejorarse el programa para maximizar sus beneficios en las variables de impacto?

30 El interés es conocer el cambio neto en una o más variables de impacto: Población Objetivo X 1pb X 2pb... X mpb X npb beneficiarios Brecha de impacto t 0 =c 0 no beneficiarios t t 0 t 1 t 2 t 3 t m t n-1 t n X 1c X 2c... X mc X nc

31 Para una variable determinada Y que tiene influencia de otra independiente X, el modelo de doble diferencia se expresa así: (Y 2i - Y 1i ) = b* 0 + b 1 (X 2ipo X 1ipo ) - b 2 (X 2ic X 1ic ) + e* Cambio neto = efecto fijo + cambio bruto - efecto exógeno a la intervención en la variable en la variable en el grupo de no beneficiarios de interés independiente

32 (cont.) La evaluación de impacto demanda de la aplicación de técnicas, que permitan conocer lo que habría ocurrido en caso de que el programa no se hubiése puesto en marcha. Por tanto, es importante disponer de un escenario contrafactual que permita conocer lo que hubiera ocurrido si el programa no se hubiera realizado.

33 (cont.) Se requiere disponer de información para el llamado grupo de control o de comparación. Estos grupos deben seleccionarse de manera aleatoria, de la misma población de la que provienen los participantes. Esto significa, que ambos grupos tienen las mismas características

34 El Grupo de Control En el proceso de evaluación de impacto, lo más importante es disponer de un grupo de control adecuado. Lo anterior se logra a partir de metodologías estadísticas: diseños experimentales aleatorios y cuasi experimentales. También se aconseja aplicar métodos cualitativos y participativos para lograr la evaluación integral.

35 Diseños Experimentales Se consideran los métodos más robustos para generar grupos de control. La elección de los beneficiarios y del grupo de control se efectúa en forma aleatoria, reduciendo al máximo los sesgos de selección. Presentan la ventaja, de que el efecto del programa se logra al comparar las diferencias observadas entre los valores promedio de las variables de impacto entre ambos grupos.

36 (cont.) A pesar de que consideran los métodos más robustos, su aplicación práctica genera problemas de carácter ético. Lo anterior, además, puede generar problemas de carácter político. Durante la aplicación del programa, las características de los grupos comparados pueden alterarse, lo cual podría introducir sesgos en los resultados.

37 Los grupos de rtatamiento y de comparación se seleccionan después de la puesta en marcha del Diseños Cuasi Experimentales Se utilizan cuando no es posible aplicar diseños experimentales para generar grupos de control. Se generan grupos de observaciones que se asemejan a las características de los beneficiarios. Para lograr lo anterior, se utilizan métodos econométricos: apareamiento (matching), doble diferencia, variables instrumentales.

38 (cont.) Presenta la ventaja de utilizar datos existentes (encuestas, censos), y por tanto son menos costosos y más fáciles de aplicar. A pesar de lo anterior, los resultados pueden ser menos confiables, debido a los sesgos de selección de los datos y por tanto son menos sólidos desde el punto de vista estadístico. Es posible controlar el sesgo de selección a partir de métodos estadísticos.

39 Métodos Cualitativos Se utilizan con el propósito de conocer la opinión de los beneficiarios acerca de las beneficios entregados por el programa. Además de las entrevistas a profundidad, se hace usos de información proveniente de líederes de opinión y la generada por medio de grupos focales. Permiten conocer aspectos que los métodos estadísticos y econométricos no lo hacen.

40 Preguntas relevantes para evaluación de impacto de las políticas públicas Algunas preguntas básicas: Qué queremos medir? Cómo queremos medir? Para qué queremos la medición? Para qué se van a utilizar las mediciones? Qué fenómeno se desea aproximar? Si el tema de interés es la calidad de vida: - Qué se entiende por calidad de vida? - Cómo se desea aproximar? - Cómo se mide? - Cuáles variables que se deben analizar?

41 Planteamiento del problema Se desean conocer los efectos que tiene una acción de política social en una o más variables asociadas al nivel de vida de una población. Para ello, se diseña un programa el cual beneficia a un cierto grupo de personas o familias. Posteriormente, después de un cierto tiempo se desea comparar la situación de los beneficiarios con aquella que tendrían de no haber participado en el programa.

42 Se debe construir un escenario contrafactual o grupo de comparación que permita conocer la manera en que han evolucionado las variables de impacto, tanto en el grupo de beneficiarios como en el de no beneficiarios. En Blundell y Costa Dias (2000), los métodos de evaluación se clasifican en cinco categorías: experimentos aleatorios (diseño de experimentos tradicional) experimentos naturales (difference-in-difference, before-after) métodos de comparaciones pareadas (matching) selección de modelos ( variables instrumentales) modelos de simulación (simular efectos de política)

43 Estimadores de Impacto antes-depués y = β + * 0 β 1 año doble diferencia y = β 0 + β 1 * año + β 2 * benefici + β 3 ( año * benefici)

44 Modelo de doble diferencias y = β + β Benef + β Ano+ β * ) 01, ( Ano Benef β = ( y 2002 y 2001 ) ( y 2002 y ) β 3 = Beneficiarios No beneficiarios (3, ,570.9) (14, ,497) β = 3 132,6

45 Modelo de doble diferencia y = β + β Benef + β Ano+ β * ) 01, ( Ano Benef β = ( y 2003 y 2001 ) ( y 2003 y ) β 3 = Beneficiarios No beneficiarios (5, ,570.9) (15, ,497) β 3=1,391.4 β3=57.9%

46 β β β β β β β β β β β β β = = = = nb nb b b y y y y Cambio bruto:beneficiarios Cambio bruto: no beneficiarios Impacto neto del programa

47 Conclusiones La evaluación integral de los programas públicos, debe forma parte de una estrategia de gestión por resultados. Representa uno de los mecanismos que los gobiernos deben poner en marcha para garantizar la transparencia y rendición de cuentas. Le permite conocer a la ciudadanía en qué se gastan los ingresos del erario, al tiempo que da cuenta de la eficacia de los programas públicos.