Matriz de Indicadores Evaluación n de Resultados Plan y Presupuesto

Transcripción

1 Matriz de Indicadores Evaluación n de Resultados Plan y Presupuesto Eduardo Aldunate Experto Área de Políticas Presupuestarias y Gestión Pública ILPES, CEPAL eduardo.aldunate@cepal.org

2 Aporte de la MI a la fase de Preinversión Preinversión Contribuye a un mejor diseño del programa o proyecto. Obliga a pensar y definir como se evaluará el programa o proyecto. Obliga a establecer metas claras. Obliga a identificar y analizar los riesgos que enfrenta el programa o proyecto. Resume en un formato estandar las principales características del programa o proyecto.

3 Aporte de la MI a la fase de Inversión Fin Propósito Componente Inversión Actividad Resume las principales actividades a desarrollar y productos a entregar. Aporta indicadores que permiten un monitoreo y control gerencial. Establece como se hará el seguimiento. Ayuda a la gerencia a estar pendiente de los riesgos.

4 Aporte de la MI a la fase de Operación Fin Propósito Componente Operación Actividad Resume los principales aspectos del diseño del programa necesarios para evaluarlo (objetivos, metas). Indica como evaluar resultados e impactos. Ayuda a la gerencia a estar pendiente de los riesgos.

5 Evaluación de Gestión y Resultados Objetivos de la Ejecución Objetivos de la Operación Fin Fin Propósito Propósito Componente Componente Actividad Actividad Evaluación de la gestión del programa Evaluación de resultados e impactos

6 Programa: Ejecución-Operación Mediano o largo plazo Impactos Corto o mediano plazo Resultados Corto plazo Fin Propósito Componente Corto plazo Actividad

7 Monitoreo y evaluación Recopilar datos para el cálculo de los indicadores. Validar los datos. Calcular los indicadores. Interpretar la información. Preparar recomendaciones.

8 Recopilación de datos Detalle para medios de verificación Fuentes de información Test de 10 preguntas sobre las materias tratadas en la capacitación. Método de recopilación Selección de muestra aleatoria de 45 personas capacitadas, encuesta en persona. Responsable de la recopilación Juanita Pérez Frecuencia de recopilación Por una vez, a los tres meses de concluido el último evento de capacitación. Método de análisis Cada respuesta correcta da un punto, aprobación con siete puntos. Se calculará porcentaje de aprobación, media y desviación estandar. Modo de distribución Correo electrónico Usuarios Unidad de planificación y evaluación, gerente del proyecto, entidades cooperantes, junta de vecinos.

9 Validación de los datos Identificar outliers Comparar con datos históricos Comparar con otros datos del período Verificar validez de datos disparados Corregir errores Eliminar aquellos datos en que no existe justificación para la desviacón.

10 Cálculo de los indicadores Poner cuidado en: Utilizar una misma moneda para indicadores relacionados con costos. Utilizar base actualizada para el cálculo de indicadores de eficacia (aumento de la población objetivo). Considerar el costo total, no sólo el directo. Comparar con situación sin programa.

11 Con versus sin Programa Impacto real Impacto? Linea base Actual

12 Interpretando la información Comparar valor del indicador con la meta. Analizar evolución histórica del indicador. Identificar causas de las desviaciones

13 Cómo Mejorar la Calidad de la Información para M&E Usar varios indicadores para cada objetivo. Combinar métodos cuantitativos y cualitativos. Promover la participación de los involucrados. Capacitación a los recopiladores de información.

14 Evaluación Evaluación de la MI Lógica vertical (estructura del programa) Lógica horizontal Evaluación de resultados Eficacia - Calidad Eficiencia - Economía

15 Lógica Vertical: Objetivos El problema o necesidad prioritaria al que va dirigido el programa está correctamente identificado y claramente definido? Existe un diagnóstico actualizado y adecuado, elaborado por el programa, la dependencia o entidad, sobre la problemática detectada que sustente la razón de ser del programa? El Fin y el Propósito del programa están claramente definidos? El Fin y el Propósito corresponden a la solución del problema?

16 Lógica Vertical: Objetivos El programa cuenta con evidencia de estudios o investigaciones nacionales y/o internacionales que muestren que el tipo de servicios o productos que brinda el programa son adecuados para la consecución del Propósito y Fin que persigue el programa? Con base en los objetivos estratégicos de la dependencia y/o entidad que coordina el programa, a qué objetivo u objetivos estratégicos está vinculado o contribuye el programa? Con base en lo anterior, analizar y evaluar si existe una relación lógica del programa con los objetivos del Plan Estadual de Desarrollo.

17 Lógica Vertical: Objetivos Las Actividades del programa son suficientes y necesarias para producir cada uno de los Componentes? Los Componentes son necesarios y suficientes para el logro del Propósito? Es claro y lógico que el logro del Propósito contribuye al logro del Fin? Considerando el análisis y la evaluación realizados en este punto, la lógica vertical de la matriz de indicadores del programa es clara y se valida en su totalidad? Es decir, la lógica interna del programa es clara? Si no es así, proponer los cambios que deberían hacerse en el diseño del programa y en su lógica interna.

18 Lógica vertical: Supuestos Son necesario y válidos los supuestos del programa tal como figuran en la matriz de indicadores? Están bien redactados? Faltan supuestos importantes?

19 Lógica horizontal En términos de diseño, existen indicadores para medir el desempeño del programa a nivel de Fin, Propósito, Componentes y Actividades e insumos? Todos los indicadores son claros, relevantes, económicos, adecuados y monitoreables? Los indicadores incluidos en la matriz de indicadores tienen identificada su línea de base y temporalidad en la medición? Están bien definidas las formulas de cálculo de los indicadores? Se han establecido metas razonables y asociadas a plazos para los indicadores?

20 Lógica horizontal El programa ha identificado los medios de verificación para obtener cada uno de los indicadores? Para aquellos medios de verificación que corresponda (por ejemplo encuestas), el programa ha identificado el tamaño de muestra óptimo necesario para la medición del indicador, especificando sus características estadísticas como el nivel de significancia y el error máximo de estimación? De qué manera el programa valida la veracidad de la información obtenida a través de los medios de verificación?

21 Lógica horizontal El programa recolecta regularmente información oportuna y veraz que le permita monitorear su desempeño?

22 Eficacia del Programa La eficacia se relaciona con el logro del propósito y el fin después de terminado el proyecto o al cabo de algún tiempo de operación del programa. Se ocupa del grado hasta el cual: El programa produjo los componentes en la cantidad y con la calidad previstos. Los componentes han sido los adecuados para atender la necesidad y conducen al logro del propósito. El logro del propósito ha contribuido al fin. Fin Propósito Area de análisis de la Eficacia Componente Actividad

23 Preguntas sobre Eficacia Presentar el avance de los indicadores a nivel de Componente del programa, este avance es el adecuado para el logro del propósito? Se identifica algún componente o actividad que no es producido en la actualidad y que podría mejorar la eficacia del programa? Se identifican Componentes, Actividades o procesos que se llevan a cabo en la actualidad y que podrían ser prescindibles o posibles de sustituir por otros más eficaces? Existen indicadores de eficacia en la operación del programa? Presentar un listado de estos indicadores.

24 Preguntas sobre Calidad Los bienes y servicios se entregaron oportunamente? Las características del bien o el servicio entregado son las especificadas? Los beneficiarios del programa están satisfechos con la oportunidad y calidad del bien o servicio recibido? Existió continuidad en la prestación del servicio?

25 Eficiencia del Programa La eficiencia hace referencia a la manera como se realizaron las actividades para la entrega de los componentes y se entregaron los componentes para el logro del propósito. Verifica el grado en que: Los insumos se proveyeron de manera organizada, oportuna y al mínimo costo posible. Las actividades se ejecutaron al menor costo en los plazos establecidos. Los productos (componentes) se obtuvieron al menor costo. Los costos administrativos fueron lo mas bajo posible. Fin Propósito Componente Area de análisis de la eficiencia Actividad

26 Preguntas sobre Eficiencia El programa ha identificado y cuantificado costos de operación y costos unitarios dependiendo del Propósito y de sus Componentes? Si fuera el caso, presentar dichos costos. El programa tiene procedimientos para medir costoefectividad en su ejecución? Se identifica algún componente, actividad o proceso que no se esté llevando a cabo en la actualidad y que podría mejorar la eficiencia del programa? Se identifican Componentes, Actividades o Procesos que se llevan a cabo en la actualidad y que podrían ser prescindibles o posibles de sustituir por mecanismos de menor costo? Existen indicadores de eficiencia en la operación del programa? Presentar un listado de estos indicadores.

27 Economía del Programa La economía se refiere a la capacidad de la gerencia del programa para administrar adecuadamente los recursos financieros. Analiza cómo: Se utilizó el presupuesto asignado. Se captaron recursos adicionales a los presupuestarios. Se recuperaron recursos en caso existir créditos. Fin Propósito Area de análisis de la Economía Componente Actividad

28 Preguntas sobre Economía Cuantificar el presupuesto ejercido al término del presente ejercicio fiscal en relación al presupuesto asignado. Cuáles son las razones de la situación que se observa? Cuál es el monto o porcentaje de aportaciones de terceros (otras instituciones, otros niveles de gobierno, beneficiarios, etc.) en relación al presupuesto ejercido? En función de los objetivos del programa, se han aplicado instrumentos de recuperación de costos (gasto que le genera al Estado la producción/entrega de servicios del programa)? Existe evidencia de que el programa utiliza prácticas de administración financiera que proporcionen información oportuna y confiable para la toma de decisiones de los responsables de la administración política y administrativa? Existe una integración entre los distintos sistemas de información que conforman la administración financiera?

29 Impactos del Programa Dos tipos de impactos: Efecto en el desarrollo (Fin) Influencia en otros ámbitos Impactos planificados e imprevistos Fin Propósito Area de análisis de los Impactos Componente Actividad

30 Continuidad de la Justificación Dos preguntas fundamentales: Continúa el programa siendo compatible con las prioridades de desarrollo del país o del estado? Se alcanzarán(on) los objetivos a nivel de Propósito y Fin una vez generados los componentes del programa? Fin Propósito Area de análisis de la Justificación Componente Actividad

31 Preparando recomendaciones Las recomendaciones deben estar fundamentadas en el análisis. Proponer acciones para materializar las recomendaciones. Analizar beneficios y costos de implementar las recomendaciones. Proponer una estrategia de implantación y seguimiento. Ser claro, preciso y conciso en la redacción.

32 Relación MI - Plan - Presupuesto

33 MML y presupuesto de proyectos A nivel de actividades se detalla el costo estimado de cada actividad. El costo de un componente se puede obtener sumando el costo de sus actividades El costo del proyecto es la suma del costo de los componentes Durante la ejecución se comparan costos incurridos con presupuestados

34 Costo de un proyecto y MML Fin Propósito Componente A Componente B Actividad A1 Actividad A2 Actividad A3 Costo A1 Costo A2 Costo A3 } Σ Σ Actividad B1 Actividad B2 Costo B1 Costo B2 } Σ

35 Indicadores relacionados con los costos Indicadores de eficiencia Costo por unidad de bien o servicio provisto (Componente) Porcentaje de costos de administración Costos por unidad de resultado (Propósito) Indicadores de economía Porcentaje de ejecución del presupuesto (Propósito o Componente)

36 Problemas en programas El costo total del programa no se conoce con certeza. El financiamiento puede provenir de varias fuentes o ítem presupuestarios. No se identifican costos de oportunidad de bienes propios. No se estiman costos de administración No se consideran costos de entidades colaboradoras Consecuencia: Indicadores mentirosos

37 Costo de un programa y MML Fin Propósito Componente A Componente B } Σ + costos de administración del programa + costos de oportunidad de recursos utilizados en la administración Actividad A1 Actividad A2 Actividad A3 Actividad B1 Actividad B2 Costo A1 Costo A2 Costo A3 Costo B1 Costo B2 } Σ + costos de administración del componente + costos de otras entidades participantes en el componente + costos de oportunidad de recursos empleados

38 Plan y Matriz de Indicadores Fin Propósito La lógica vertical exige una relación clara y verificable (indicadores) entre los distintos niveles de objetivos. Componentes Actividades

39

40

41

42 Matriz de Indicadores

43 Objetivos: Fin Objetivo estratégico al que contribuye el programa Objetivo del PND? Objetivo sectorial? Objetivo estratégico institucional? Fin Depende! Propósito Componentes Actividades

44 Otorgamiento de becas - CONACYT Ramo: Unidad Responsable: Fin: Contribuir al incremento de la competitividad del país Consejo Nacional de Ciencia y Tecnología Centro de Investigación en Geografía y Geomática, "Ing. Jorge L. Tamayo", A.C. Da Clasificación de Grupos y Modalidades de los Programas Presupuestarios: Denominación del Programa Presupuestario: Nombre de la Matriz: Eje de Política Pública: Objetivo Nacional: Grupo Tema: Tema: Objetivo de Eje de Política Pública: Estrategia del Objetivo de Eje de Política Pública : Tipo de Programa: Programa: Objetivo del Programa: U Otros programas de subsidios 001 Otorgamiento de becas Otorgamiento de becas Propósito: Facilitar al capital humano el acceso a oportunidades de formación de alto nivel, orientada a la investigación científica, desarrollo tecnológico e Economía Competitiva y Generadora de Empleos Tener una economía competitiva que ofrezca bienes y servicios de calidad a precios accesibles, mediante el aumento de la productividad, la competencia eco para innovación. el desarrollo de las empresas, especialmente las micro, pequeñas y medianas. Productividad y Competitividad Promoción de la Productividad y la Competencia Objetivo 5. Potenciar la productividad y competitividad de la economía mexicana para lograr un crecimiento económico sostenido y acelerar la creación de e Estrategia 5.1 Integrar una agenda nacional para la competitividad que involucre a los tres Poderes de la Unión; los tres órdenes de gobierno y al sector priva necesarias y traducirlas en resultados tangibles a corto y mediano plazo. Componente: Generar conocimiento científico, desarrollo tecnológico e innovación para mejorar la competitividad del país, el bienestar de la población y difundir sus resultados Estrategia 5.2 Diseñar agendas sectoriales para la competitividad de sectores económicos de alto valor agregado y contenido tecnológico; y de sectores prec Estrategia 5.3 Disminuir los costos para la apertura y operación de los negocios a través de la mejora regulatoria. Estrategia 5.4 Fomentar condiciones de competencia económica y libre concurrencia; así como combatir a los monopolios. Estrategia 5.5 Profundizar y facilitar los procesos de investigación científica; adopción e innovación tecnológica para incrementar la productividad de la econo Estrategia 5.6 Aprovechar el entorno internacionalpara potenciar el desarrollo de la economía mexicana. Sin Información Sin Información Sin Información A Objetivo Estratégico del Programa Sectorial: Objetivo Estratégico de la Dependencia ó Entidad: Actividad: Becas otorgadas Profundizar y facilitar los procesos de investigación científica, adopción e innovación tecnológica para incrementar la productividad de la economía nacional. Generar conocimiento científico, desarrollo tecnológico e innovación para mejorar la competitividad del país, el bienestar de la población y difundir sus resul

45 Otorgamiento de becas - CONACYT

46 Objetivos Lógica vertical del programa No debe ocurrir: Fin Propósito Componentes Actividades Forzar a que en todos lo programas el FIN corresponda a un objetivo del Plan Nacional de Desarrollo. En grandes programas (Oportunidades) puede ser. En los pequeños el salto es muy grande. Deja de existir la lógica vertical entre Propósito y Fin.

47 Programa Oportunidades SEDESOL SEP SS

48 Por que no?

49 MI y Presupuesto

50 Objetivos Lógica vertical del programa Fin Tampoco debe darse: Propósito Componentes Actividades Fin Propósito Programas con Propósitos múltiples. No permiten responsabilización por los resultados.

51 Para terminar... FIN F F I N F I N N Supongo!