Evaluación e Indicadores de Desempeño de Programas Públicos. Francisco López Herrera Universidad Nacional Autónoma de México Mayo 18, 2015

Transcripción

1 Evaluación e Indicadores de Desempeño de Programas Públicos Francisco López Herrera Universidad Nacional Autónoma de México Mayo 18, 2015

2 Evaluación

3 Para qué evaluar programas públicos? Apoyo a la toma de decisiones Información sobre el impacto de las políticas Ayuda a la valoración de las contribuciones de las acciones de gobierno en la ejecución de políticas y programas Permite mejorar el resultado de las intervenciones

4 EVALUACION Y GESTION POR RESULTADOS

5 TIPOS DE EVALUACIONES DE PROGRAMAS Evaluación de escritorio: describir la situación del programa en un tiempo corto, a través de la sistematización de la información disponible. Evaluación de impacto: logros finales de los efectos esperados por el Programa en el grupo de beneficiarios al cual está dirigido. Si se ha resuelto el problema que justifica la acción pública. Evaluación costo efectividad: conocer la relación entre la eficacia del programa como resultado final en los beneficiarios y los costos que se incurre para alcanzar dicho resultado.

6 TIPOS DE EVALUACIONES:Chile Evaluaciones de Programas Gubernamentales (EPG) Evaluación de consistencia en diseño, gestión y resultados Basado en la metodología de marco lógico Realizadas por paneles de 3 expertos independientes, seleccionados por concurso público Informe Final en 6 meses Evaluación de Impacto (EI) Evaluación de los resultados finales de programas en base a mediciones de impacto Metodología considera recolección de datos, técnicas de medición más sofisticadas ( Matching, LATE), grupos de control Realizadas por consultoras privadas, universidades, seleccionadas a través de licitación pública Informe Final en 1-1/2 años Evaluación Comprehensiva del Gasto (ECG) Evaluación del diseño y gestión institucional y resultados y uso de recursos en la provisión de los productos estratégicos. Se evalúa la posible existencia de duplicidades, inconsistencias, oportunidades para generar sinergías y ahorros

7 Evaluación de operaciones y evaluación de impacto La evaluación de operaciones analiza con cuánta efectividad se instrumentaron los programas y si hay brechas entre los resultados planeados y los resultados obtenidos. La evaluación de impacto estudia si los cambios en el bienestar se deben en verdad al programa evaluado y no a otros factores.

8 Seguimiento versus Evaluación El establecimiento de objetivos, indicadores y metas para los programas es el corazón de un sistema de seguimiento. La información y datos obtenidos mediante el sistema de seguimiento pueden usarse para evaluar el programa. La evaluación es una apreciación sistemática y objetiva de los resultados alcanzados por el programa. En conjunto, el seguimiento y la evaluación de programas pueden incluir: evaluación de procesos, enfocada en el análisis de cómo opera el programa y cómo atiende los problemas de dicha operación Análisis del costo-beneficio Evaluaciones del impacto

9 Retos de un sistema de seguimiento Identificar las metas para las que está diseñado el programa Identificar indicadores clave Establecer metas que especifiquen la cantidad o valor que deben alcanzar los indicadores en una fecha específica Establecimiento de un sistema para darle seguimiento al avance hacia las metas y generar reportes requeridos por los tomadores de decisión de los diferentes niveles involucrados con la marcha y resultados del programa

10 Etapas del proceso de evaluación Ex-ante Diseño del programa Operativa Ejecución del programa Ex-post Medición del desempeño o impacto del programa

11 PREGUNTAS QUE SE HACE LA EVALUACION DE IMPACTO Efectos de mediano y largo plazo sobre la población beneficiaria que espera obtener el Programa Cuáles serán los beneficios con que quedará la población beneficiaria una vez que concluya su participación en el programa? Incremento en el nivel de remuneraciones Reducción de la tasa de morbilidad de menores beneficiados con un programa de vacunación Aumento del rendimiento escolar de los alumnos participante en un programa de reforzamiento educativo

12 Indicadores

13 Indicadores para la toma de decisiones Se requieren datos sobre diferentes indicadores que reflejen la información que se necesitan en diferentes niveles para tomar decisiones Los cuerpos legislativos, secretarios y los directores de las instituciones requieren información de carácter estratégico en relación con los programas Tanto los encargados de la operación de los programas como su equipo de apoyo necesitan detalles sobre los insumos empleados, las actividades efectuadas y los resultados intermedios y finales que se generan.

14 Indicadores y presupuesto Los indicadores y metas propuestas sirven como marco de referencia para la asignación de recursos presupuestales El reporte sobre indicadores y logro de metas justifica el ejercicio presupuestal

15 (Coneval)

16

17 Tipos de indicadores Indicadores finales, miden los resultados de los programas y el impacto en las dimensiones del bienestar. Indicadores intermedios, miden los insumos del programa y los resultados del mismo.

18 Qué medir? Recursos Cargas de trabajo Resultados Impacto Productividad Satisfacción del usuario Calidad y oportunidad del producto y/o servicio

19 Principales características de un indicador Oportuno Excluyente Práctico Claro Explícito Sensible Transparente/verificable

20 Interrelación entre procesos y tipos de indicadores

21 Indicadores de eficacia Establecen el cumplimiento de planes y programas para evaluar la oportunidad y cantidad, se pueden asociar con: Cobertura Focalización Capacidad de cubrir la demanda Resultado final Ejemplos: Número de desempleados capacitados/total de desempleados inscritos en el programa (focalización) Número de beneficiarios/universo de beneficiarios (cobertura) Número total de inscritos al programa de empleo que se reinsertan en el mercado laboral (resultado final)

22 Indicadores de eficiencia Evalúan la relación entre recursos y su grado de aprovechamiento Analizan los costos efectuados para el logro de los resultados Se obtienen relacionando el volumen de subsidios entregados, cantidad de usuarios atendidos, etcétera con el nivel de recursos que se utilizan como son gastos en infraestructura, el personal ocupado, horas-hombre, otros gastos erogados Ejemplos: Costo de un curso de capacitación en relación con el número de asistentes Costo total del programa Prepa Sí / Total de beneficiarios

23 Indicadores de efectividad Logro de los resultados programados en el tiempo y los costos más razonables posibles (Departamento Administrativo Nacional de Estadística, Colombia) Medición del nivel de satisfacción del usuario en relación con la cobertura Ejemplos: Porcentaje de disminución del desempleo involuntario durante un periodo determinado Porcentaje de disminución de la deserción escolar en el nivel medio superior durante un periodo determinado

24 Indicadores de calidad Enfoque en el usuario de acuerdo con sus necesidades actuales y futuras La calidad del servicio se refiere a la capacidad para responder rápida y directamente a las necesidades del usuario, con oportunidad, accesibilidad, precisión, continuidad, comodidad y cortesía Ejemplos: Porcentaje de respuestas a los usuarios antes del cumplimiento del término de ley (oportunidad) Número de puntos de atención para trámites y procedimientos (accesibilidad) Porcentaje de quejas en un periodo determinado respecto del total de encuestados (percepción de los usuarios)

25 Indicadores de economía Miden la capacidad para generar y movilizar adecuadamente los recursos financieros disponibles para el logro de sus objetivos Como indicadores típicos se señalan la capacidad de generación de recursos propios, ejercicio presupuestal acorde con lo programado y capacidad de recuperar créditos concedidos Ejemplos: Porcentaje de recursos privados obtenidos por medio de convenios de cooperación o alianzas con otros sectores u organismos Ahorros en trámites y procedimientos por mejores técnicas de operación

26 Es necesario definir indicadores para: INSUMOS PROCESO PRODUCTOS RESULTADOS Eficacia Eficacia Eficacia Eficacia Calidad Calidad Calidad Eficiencia Eficiencia (Eficiencia) Eficiencia Economía PROYECTOS Bienes PROGRAMAS SERVICIOS

27 Indicadores ambientales Uso racional de los recursos naturales para la protección del ecosistema mundial Ejemplos: Uso eficiente de materiales, insumos, agua y energía Reducción de consumos innecesarios (reducción de costos implícitamente) Reducción de residuos y emisiones Separación y manejo de residuos y desechos Mejoras en la planeación de la logística de vehículos oficiales

28 Ciclo de la construcción de indicadores 1. Identificar y/o revisar metas, objetivos estratégicos, usuarios o beneficiarios, productos o servicios 2. Establecer medidas clave de desempeño 3. Asignar responsabilidades según el nivel dentro de la organización 4. Establecer referentes comparativos (benchmarks) 5. Construir fórmulas 6. Validar los indicadores 7. Comunicar y elaborar reportes e informes 8. Regresar al punto 1

29 Estructura básica de un indicador Objetivo señalando para qué se establece y qué mide Definición simple y clara, incluyendo sólo una característica Responsables de las actividades y acciones derivadas del proceso al cual está vinculado el indicador Recursos humanos, materiales y financieros involucrados Periodicidad adecuada para generar los reportes e informes con oportunidad Nivel de la referencia comparativa (benchmark) Puntos de lectura, cuándo se llevará a cabo la medición?, al inicio?, en etapas intermedias?, al final?

30 Fuentes Armijo, Marianela (2009) Evaluación de programas públicos, Planificación Estratégica Gubernamental, Sistemas de Seguimiento y Evaluación del Desempeño. Apoyo a la Gestión Presupuestaria en Guatemala, noviembre 16 y 17: Guatemala. Coneval (2009) Curso-taller para la construcción de indicadores de desempeño, octubre: Ciudad de México. Coneval-Ilpes-Cepal (2009) Curso-taller para la construcción de indicadores de desempeño, Organo Superior de Fiscalización del Estado de México, noviembre 9-11: Toluca Departamento Administrativo de la Función Pública (2012). Guía para la construcción de indicadores de Gestión: Bogotá, Colombia. Khander, Shahidur R., Gayatri B. Koolwal y Hussain Samad (2010) Handbook on impact evaluation. Quantitative methos and practices,

31 Muchas gracias!