Módulo IV CONCEPTOS BASICOS. [tiempo total 4 horas] Versión 1.0

Transcripción

1 Ministerio de Hacienda Dirección General de Presupuesto Módulo IV CONCEPTOS BASICOS Curso 9 Introducción al Seguimiento y Evaluación del Desempeño Presupuestario [tiempo total 4 horas] Versión 1.0 más y mejores servicios públicos con equilibrio y sostenibilidad fiscal

2 Para recordar. Objetivos del Plan de Reforma del Presupuesto Público Objetivo estratégico 1: Aumentar la eficiencia en el uso de los recursos públicos, financiando más y mejores servicios bajo condiciones de equilibrio y sostenibilidad fiscal. Objetivo estratégico 2: Mejorar la asignación de los recursos presupuestarios en función de las prioridades y metas de un desarrollo sostenido del país. Objetivo estratégico 3: Transformar el presupuesto público en un instrumento de gerencia, transparencia y rendición de cuentas. Objetivo estratégico 4: Crear la capacidad fiscal en el país para afrontar situaciones de emergencia derivadas de crisis económica y/o desastres naturales.

3 Para recordar..pilares de la Reforma Pilar 1: Implantar un modelo de presupuesto por programas con enfoque de resultados. Pilar 2: Implantar un enfoque del marco de gasto de mediano plazo y marcos institucionales de mediano plazo. Pilar 3: Desarrollar un sistema de seguimiento y evaluación del desempeño presupuestario. Pilar 4: Desarrollar capacidades y compromisos en todo el sector público.

4 Contenido Lección 1: CONCEPTOS BÁSICOS SOBRE SEGUIMIENTO Y EVALUACIÓN, Y SU RELACIÓN CON LA PLANIFICACIÓN. Lección 2: METODOLOGÍAS Y HERRAMIENTAS DE SEGUIMIENTO Y EVALUACIÓN.

5 Lección 1: CONCEPTOS BÁSICOS SOBRE SEGUIMIENTO Y EVALUACIÓN, Y SU RELACIÓN CON LA PLANIFICACIÓN. Objetivos de la Lección 1. Conocer la importancia de un buen diseño de programas y proyectos para una implementación, un seguimiento y una evaluación eficaces. 2. Comprender el rol fundamental que tiene el seguimiento para demostrar el desempeño de programas y proyectos, y para dirigir el proceso de implementación hacia los resultados buscados. 3. Distinguir como el seguimiento establece una base de trabajo para la evaluación

6 Lección 1: CONCEPTOS BÁSICOS SOBRE SEGUIMIENTO Y EVALUACIÓN, Y SU RELACIÓN CON LA PLANIFICACIÓN. INTRODUCCIÓN Esta lección desarrolla aspectos teóricos y prácticos de los procesos de seguimiento y evaluación como uno de los factores clave del éxito de la Reforma del Sistema de Presupuesto. Una buena planificación, combinada con un seguimiento y una evaluación eficaces, pueden desempeñar un rol importante para mejorar la eficacia y eficiencia de los programas presupuestarios.

7 Punto 1: Conceptos básicos de Seguimiento y Evaluación DISTINCIÓN Seguimiento: Es un proceso organizado para verificar que los productos están siendo entregados, así como, que una actividad o una secuencia de actividades transcurren como se había previsto dentro de un determinado periodo de tiempo. Evaluación: La evaluación es un proceso por el cual se determinan los cambios generados como consecuencia de un conjunto de acciones, a partir de la comparación entre el estado inicial y el estado actual, utilizando herramientas cualitativas y cuantitativas.

8 Punto 1: Conceptos básicos de Seguimiento y Evaluación El seguimiento: Detecta las fallas en el diseño y la implementación de los programas. Permite comprobar si se está manteniendo la ruta hacia el objetivo establecido. Verifica los supuestos y determina los riesgos de no alcanzar las metas programadas. Estima la probabilidad de alcanzar los objetivos planeados. Identifica las debilidades que deben ser atendidas Recomienda oportunamente cambios y propone soluciones.

9 Punto 1: Conceptos básicos de Seguimiento y Evaluación La Evaluación: La evaluación se puede clasificar de acuerdo al objeto de análisis en dos tipos: La evaluación de gestión que analiza indicadores de proceso para medir la pertinencia de las acciones, la eficiencia y eficacia de los resultados. La evaluación de impacto que analiza los efectos esperados y no esperados, a la luz de los objetivos del programa presupuestario en relación con las expectativas de los ciudadanos; es decir analiza el cumplimiento de las hipótesis y cuestiona las relaciones de causalidad de las Actividades, los Productos y el Resultado esperado de cada programa presupuestario.

10 Punto 1: Conceptos básicos de Seguimiento y Evaluación Distinción entre seguimiento y evaluación 1. La evaluación, al igual que el seguimiento, se puede aplicar a una actividad, un proyecto, un programa, una estrategia, una política, un tema, un sector o una organización. 2. La evaluación, entre otros, se apoya en los datos generados mediante el seguimiento durante el ciclo del programa. 3. El seguimiento proporciona la información en tiempo real necesario para la gestión, mientras que la evaluación proporciona una valoración más exhaustiva, pero con desfase a los hechos. 4. El seguimiento puede generar preguntas que deben ser contestadas por la evaluación.

11 Punto 1: Conceptos básicos de Seguimiento y Evaluación Distinción entre seguimiento y evaluación, de otras actividades de supervisión INSPECCIÓN AUDITORÍA INVESTIGACIÓN SEGUIMIENTO EVALUACIÓN

12 Punto 2: Propósitos y Objetivos del Seguimiento y Evaluación del Desempeño Presupuestario. PROPÓSITOS 1 Conocer 2 si se logran los 3 resultados planeados 4 y si los programas están haciendo una contribución positiva para el desarrollo del país. Ofrecer la oportunidad de validar la lógica de un programa, sus actividades y su implementación en momentos predeterminados. Alentar mejoras o reforzar los programas

13 Punto 2: Propósitos y Objetivos del Seguimiento y Evaluación del Desempeño Presupuestario. OBJETIVOS Contribuir a la mejora de la calidad de los servicios públicos; Contribuir a la mejora de la asignación presupuestaria Elevar la eficiencia y sostenibilidad del gasto público. Fortalecer los mecanismos de transparencia y rendición de cuentas.

14 Punto 2: Propósitos del Seguimiento y Evaluación del Desempeño Presupuestario. Las cuestiones clave que el seguimiento busca contestar incluyen: Se están generando los productos identificados previamente como estaba planeado y de forma eficaz? Cuáles son las cuestiones, riesgos y desafíos que afrontamos o pronosticamos que se deben tener en cuenta para asegurar el logro de los resultados? Qué decisiones sobre cambios al trabajo que ya se ha planeado deben tomarse en las fases siguientes? Continuarán siendo pertinentes para el logro de los resultados previstos los productos planificados y entregados?

15 Punto 3: La relación entre planificación, Seguimiento y Evaluación. A. Planificación - Seguimiento - Evaluación La planificación implica mirar diferentes procesos: Identificar la visión, las metas u objetivos que se deben lograr. Formular las estrategias necesarias para alcanzar la visión y los objetivos. Determinar y priorizar la asignación de los recursos (financieros y otros) necesarios para alcanzar la visión y los objetivos. Perfilar los planes de implementación, lo que incluye los planes para supervisar y evaluar los avances logrados para alcanzar la visión y las metas.

16 Punto 3: La relación entre planificación, Seguimiento y Evaluación. La planificación, el seguimiento y la evaluación se resumen en la GbR. Se define GbR como una estrategia general de gestión cuyo objetivo es lograr un mejor desempeño y resultados demostrables.

17 Punto 3: La relación entre planificación, Seguimiento y Evaluación. M.L MARCO LOGICO Ciclo de un Programa CEF DISEÑO CEP Una toma de decisiones eficaz y oportuna requiere disponer de información de actividades de seguimiento y evaluación regulares y planeadas. EVALUACION IE OBJETIVO EJECUCION IS IS La planificación para el seguimiento y la evaluación debe comenzar cuando se diseña el programa y deben planearse juntas.

18 Punto 3: La relación Diagram entre planificación, Seguimiento y Evaluación. B. Principios de la planificación, el seguimiento y la evaluación de resultados. Promover la aceptación y compromiso, y COMPROMISO motivar la acción. Se deben considerar la profundidad, o el nivel, de la apropiación de los planes y procesos, y la amplitud de la apropiación PRINCIPIOS. Los procesos de planificación, seguimiento y evaluación deberían dirigirse, a asegurar que se logren los resultados.

19 Diagram Punto 4: Criterios básicos para el establecimiento de juicios de valor sobre el desempeño presupuestario. IMPACTO Es el grado o nivel en que el resultado u objetivo específico del programa ha solucionado el problema identificado. PERTINENCIA Es el grado o nivel en que se cumple con la entrega de los productos y se alcanzan los resultados del programa EFICACIA Es el grado o nivel en que se han usado y organizado los recursos en la ejecución del programa. EFICIENCIA Es el proceso de valoración de las consecuencias a mediano y largo plazo que tiene un programa para su población objetivo y su entorno, sean estas deseadas o no deseadas.

20 1.3 Conclusiones/Ideas fuerza a tener presente 1. Una buena planificación, combinada con un seguimiento y una evaluación eficaces, pueden desempeñar un rol importante para mejorar la eficacia y eficiencia de los programas presupuestarios. 2. El Seguimiento es un proceso organizado para verificar que una actividad o una secuencia de actividades transcurren como se había previsto dentro de un determinado periodo de tiempo. 3. La evaluación es un proceso por el cual se determinan los cambios generados como consecuencia de un conjunto de acciones, a partir de la comparación entre el estado inicial y el estado actual, utilizando herramientas cualitativas y cuantitativas.

21 1.3 Conclusiones/Ideas fuerza a tener presente 4. Las evaluaciones deben considerar los criterios básicos de pertinencia, eficacia, eficiencia e Impacto para establecer juicios de valor sobre el desempeño de un determinado programa. 5. El seguimiento y la evaluación siempre están relacionados con resultados identificados previamente en el plan. Están movidos por la necesidad de rendir cuentas sobre el logro de los resultados esperados y proporcionan una base de datos para la toma de decisiones correctivas.

22 Lección 2: METODOLOGIAS Y HERRAMIENTAS PARA EFECTUAR EL SEGUIMIENTO Y EVALUACIÓN, DEL DESEMPEÑO PRESUPUESTARIO. Objetivos de la Lección 1. Identificar la base legal aplicada al seguimiento y evaluación del desempeño presupuestario. 2. Conocer la importancia de diseñar metodologías y herramientas adecuadas para realizar los procesos de seguimiento y evaluación presupuestaria. 3. Conocer los procesos de seguimiento y evaluación que se aplicaran a partir de la reforma al Sistema de Presupuesto.

23 Lección 2: METODOLOGIAS Y HERRAMIENTAS PARA EFECTUAR EL SEGUIMIENTO Y EVALUACIÓN, DEL DESEMPEÑO PRESUPUESTARIO. INTRODUCCIÓN Esta lección desarrolla los aspectos legales del proceso de seguimiento y evaluación como uno de los factores clave del éxito de la Reforma del Sistema de Presupuesto. Asimismo se analiza la importancia de diseñar metodologías y herramientas adecuadas para realizar los procesos de seguimiento y evaluación presupuestaria, también se dan a conocer los procesos de seguimiento y evaluación que se aplicaran a partir de la reforma al Sistema de Presupuesto.

24 Punto1: Aspecto Legal que regula el Seguimiento y Evaluación del Sistema Presupuestario La ley de Administración Financiera Integrada (Ley AFI) establece en el Art. 31 que el proceso presupuestario comprende las etapas de: A FORMULACIÓN B APROBACIÓN C EJECUCIÓN D SEGUIMIENTO Y EVALUACIÓN

25 Punto1: Aspecto Legal que regula el Seguimiento y Evaluación del Sistema Presupuestario La normativa establece en los art. 47 al 50 lo relacionado a la Sección IV: Del Seguimiento y Evaluación de la ejecución presupuestaria, en la cual se definen lo siguientes conceptos: El seguimiento de la ejecución presupuestaria es la actividad de supervisión e información directa de los resultados previstos y obtenidos en la programación de la ejecución presupuestaria. La evaluación es el análisis crítico de los resultados físicos y financieros obtenidos de la ejecución presupuestaria en relación con su respectiva programación.

26 Punto1: Aspecto Legal que regula el Seguimiento y Evaluación del Sistema Presupuestario Niveles de responsabilidad (Art. 48 Ley AFI) Del seguimiento y evaluación global del Presupuesto General del Estado, son responsables el Ministerio de Hacienda y el Director General del Presupuesto; Del seguimiento y evaluación de cada presupuesto institucional, es responsable la autoridad máxima de cada entidad o institución sujeta a esta Ley; Del seguimiento y evaluación a nivel operativo institucional, es responsable el jefe de la unidad Financiera Institucional.

27 Punto 2: Marco de Seguimiento y Evaluación A. Herramientas para el Seguimiento y Evaluación Por qué es necesario contar con herramientas para el seguimiento y la evaluación? Es la manera en que se puede evaluar la calidad e impacto de los resultados en relación con el plan de acción establecido. Si no se evalúa el trabajo en relación a las metas e indicadores, puede ser que se continúen empleando métodos y recursos sin que estos den frutos y sin que se produzcan cambios en las situaciones que se habían identificado como problema.

28 Punto 2: Marco de Seguimiento y Evaluación El Seguimiento será útil si: Se crean sistemas de recopilación de datos (monitoreo) durante la planificación de un programa y/o proyecto. La información recopilada se analiza durante el proceso de seguimiento. Lo que interesa averiguar es la eficacia y eficiencia del trabajo. Se llega a una etapa en la que es posible y útil evaluar el impacto que se está teniendo con el trabajo. Se realice también una evaluación externa para contrastar y complementar resultados.

29 Punto 2: Marco de Seguimiento y Evaluación El seguimiento y la evaluación se concentran en: Pertinencia Eficacia Eficiencia Impacto

30 Punto 2: Marco de Seguimiento y Evaluación El seguimiento implica: 1 Establecer Indicadores 2 Crear sistemas de recopilación 3 Recopilar y registrar la información 4 Analizar la Información

31 Punto 2: Marco de Seguimiento y Evaluación La evaluación se puede hacer de distintas maneras: Autoevaluación Evaluación Participativa EVALUACIÓN Evaluación Externa Evaluación Interactiva

32 Punto 2: Marco de Seguimiento y Evaluación Evaluación Interna CUADRO COMPARTIVO ENTRE LA EVALUACIÓN INTERNA Y LA EVALUACIÓN EXTERNA. Ventajas -Los evaluadores están familiarizados con el trabajo. -Es una herramienta de aprendizaje. -Facilita la labor. -Es menos costosa. Desventajas -El equipo evaluativo puede incidir en los resultados de acuerdo a sus intereses. -El equipo puede no estar bien Preparado. -La evaluación requerirá de más tiempo de organización. Evaluación Externa -La evaluación será más objetiva -Los evaluadores deben tener destrezas y experiencia. -A veces es más fácil compartir las experiencias con un externo. -El empleo de un evaluador externo a veces da mayor credibilidad a los resultados sobre todo los positivos. -Alguien ajeno puede no entender la cultura e incluso los logros del trabajo. -Los implicados pueden sentirse intimidados para cooperar con el proceso. -Una evaluación externa puede ser muy costosa. -Un evaluador externo puede malinterpretar lo que se quiere obtener de la evaluación.

33 Punto 2: Marco de Seguimiento y Evaluación B. Establecimiento de Indicadores Cuando se hace la planificación se establecen los indicadores, los que aportan el marco al sistema de seguimiento y el tipo de información que vale la pena recopilar. Los indicadores son señales concretas que se pueden medir y el reflejo de que se ha hecho o logrado algo. Los indicadores son una parte muy importante del sistema de seguimiento y evaluación porque son lo que se mide y controla.

34 Punto 2: Marco de Seguimiento y Evaluación Tipos de información: Cualitativa - cuantitativa La medición cuantitativa está dirigida a saber cuánto o cuántos. Se obtiene mediante cómputos o mediciones. La medición cualitativa indica cómo se sienten las personas, en cuanto a una situación, a cómo se está haciendo el trabajo, a los problemas que se enfrentan. Se obtiene mediante preguntas, observaciones, o interpretaciones. El proceso de seguimiento y evaluación debe hacerse combinando ambas formas de recopilación de información para que sea exhaustiva.

35 Punto 2: Marco de Seguimiento y Evaluación C. Metodología Se entiende por metodología el enfoque que se utiliza en el proceso de evaluación, por ejemplo se puede hacer la evaluación a partir de un estudio acerca de todas las fuentes escritas. D. Aprendizaje El aprendizaje es, o debería ser, la principal razón por la cual se realiza un seguimiento o la evaluación de un programa, un proyecto o una actividad. El fin del aprendizaje es generar cambios donde se es necesario, identificar los puntos débiles donde existan, ayuda a comprender las suposiciones, es decir a tener plena conciencia de ellas.

36 Punto 3: Modelo Conceptual: Seguimiento, evaluación y rendición de cuentas sobre el gasto público. En el marco de la implementación de la reforma del presupuesto público, de conformidad al documento del Modelo Conceptual del Subsistema de Presupuesto se señala que el sistema de seguimiento y evaluación del gasto público (S&E) contendrá los siguientes componentes:

37 Punto 3: Modelo Conceptual: Seguimiento, evaluación y rendición de cuentas sobre el gasto público. 1. Una Norma Administrativa que precisa los objetivos, roles y responsabilidades. 2. Una Guía Metodológica que establece las técnicas y procedimientos para la realización del seguimiento y de las evaluaciones. Normas, Metodología e Instrumentos de Seguimiento y Evaluación Programas Presupuestarios 3. Un Programa Anual de Evaluación. Programa Anual de Seguimiento y Evaluación Acuerdos /Matrices de Compromisos con las Instituciones 4. Un sistema de adopción de acuerdos en forma de Matrices de Acuerdos o Compromisos. 5. Un conjunto de personas capacitadas y motivadas integrantes del sistema de S&E. Instituciones Públicas (rectores y ejecutores) Personas capacitadas 37

38 Punto 3: Modelo Conceptual: Seguimiento, evaluación y rendición de cuentas sobre el gasto público. El Sistema de S&E tiene dos campos de acción debidamente definidos: Seguimiento y evaluación al sistema de presupuesto 1. Evaluación de logro de los Objetivos del Sistema de Presupuesto 2. Evaluación del Marco de Gasto de Mediano Plazo Seguimiento y evaluación del gasto público 1. Seguimiento a indicadores de Insumo y Producto de los Programas Presupuestarios 2. Evaluación del Desempeño de los Programas Presupuestarios 3. Evaluación de la Sostenibilidad del Presupuesto Público

39 Punto 3: Modelo Conceptual: Seguimiento, evaluación y rendición de cuentas sobre el gasto público. De acuerdo al Modelo Conceptual las evaluaciones deben considerar los criterios básicos de pertinencia, eficacia, eficiencia e impacto para establecer juicios de valor sobre el desempeño de un determinado programa. a) La PERTINENCIA se verifica con la pregunta: Cuál es el grado de satisfacción de la población objetivo con el programa y su resultado? Los indicadores de pertinencia expresan la utilidad del programa para el grupo objetivo.

40 Punto 3: Modelo Conceptual: Seguimiento, evaluación y rendición de cuentas sobre el gasto público. b) EFICACIA : Las preguntas para verificar la eficacia de los productos del programa son las siguientes: se han entregado los productos previstos?, es posible atribuir los productos logrados a la intervención del programa o a otros factores? EFICACIA = Productos Obtenidos / Productos Previstos Las preguntas para verificar la eficacia del resultado del programa son las siguientes: se ha alcanzado el resultado previsto?, es posible atribuir el resultado obtenido a la intervención del programa o a otros factores? EFICACIA = Resultado Obtenido / Resultado Previsto

41 Punto 3: Modelo Conceptual: Seguimiento, evaluación y rendición de cuentas sobre el gasto público. c) EFICIENCIA : Para el caso del logro de los productos, la pregunta para verificar su eficiencia será los productos del programa fueron logrados con el uso más adecuado de sus recursos?. Su relación es input output. EFICIENCIA = Productos Obtenidos / Recursos utilizados Esta también, es aplicada para el logro del resultado o efecto, la pregunta para verificar su eficiencia será el resultado específico del programa fue logrado con el uso más adecuado de sus recursos?. Su relación es de input outcome. EFICIENCIA = Resultado Obtenido / Recursos Utilizados

42 Punto 3: Modelo Conceptual: Seguimiento, evaluación y rendición de cuentas sobre el gasto público. d) IMPACTO El enfoque conceptual del impacto del proyecto está representado por la diferencia entre la variación de la variable de impacto en la población beneficiaria y la variable no atribuible a la intervención.

43 Punto 3: Modelo Conceptual: Seguimiento, evaluación y rendición de cuentas sobre el gasto público. Procesos y sub procesos del seguimiento y evaluación: I. Proceso: Elaboración de informes de seguimiento a la ejecución física y financiera 1 Generación de Estadísticas de las Finanzas Públicas 2 Análisis y registro en el SAFI del informe mensual de progreso sobre metas físicas y financieras a nivel de Actividad (Ind. Insumo) 3: Análisis y registro en el SAFI del informe trimestral/anual de progreso sobre las metas a nivel de Subprogramas 4: Retroalimentación a la asignación/actualización de límites de compromisos y techos anuales (línea base + parte variable) 1

44 Punto 3: Modelo Conceptual: Seguimiento, evaluación y rendición de cuentas sobre el gasto público. Procesos y sub procesos del seguimiento y evaluación: II. Proceso : Registro de resultados de la Evaluación del Desempeño de Programas Presupuestarios : Se apoya en información del SAFI sobre indicadores de producto y resultado, el diseño de programas para realizar un análisis crítico. 1: Elaboración del Plan Anual de Evaluaciones 2: Realización/Coordinación de las evaluaciones 3: Implementación de la Matriz de Compromisos 1

45 1.3 Conclusiones/Ideas fuerza a tener presente El Seguimiento y Evaluación: Es el conjunto de procesos y actividades que integran la información presupuestaria y financiera y de resultados de la gestión. Facilita el proceso de rendición de cuentas y de información necesarios que demanda el actual proceso de transparencia de la gestión pública. Cuenta con la normativa legal que facilite su adecuada implementación.

46 Actividad Pedagógica: Seguimiento y Evaluación de Programas Presupuestarios. Objetivo: Demostrar la utilidad e importancia de los instrumentos de seguimiento y evaluación: Indicaciones : Se requiere se formen 4 grupos, cada uno de los cuales hará el rol que le corresponde y de acuerdo al planteamiento del caso, así: Grupo No. 1: Institución Responsable del Programa/ Ministro de Agricultura/Gerente del Programa. Grupo No. 2: Ente Rector de las Finanzas/Ministro de Hacienda/Director de Presupuesto. Grupo No. 3: Equipo Evaluador-expertos independientes/jefe de Equipo. Grupo No. 4: Sociedad Civil (Beneficiarios, ONG s). 1

47 Actividad Pedagógica: Seguimiento y Evaluación de Programas Presupuestarios. Actos: Acto No. 1: Reunión entre el Director de Presupuesto y el Jefe de Equipo de Evaluación independiente quien le presenta su informe de evaluación y sus recomendaciones para que tome una decisión (10 minutos). Acto No. 2: Reunión entre el Director de Presupuesto y el Gerente responsable del Programa, quien le presenta su informe técnico-económico sobre la solicitud de recursos (10 minutos). Acto No. 3: Reunión entre el Ministro de Hacienda y el Director de Presupuesto quien le presenta su informe que contiene su recomendación (5 minutos). Acto. 4: Reunión entre el Ministro de Agricultura (quien se hace acompañar por representante de la Sociedad civil, ONG s y Asesores) y el Ministro de Hacienda quien está acompañado por el Director de Presupuesto para discutir la petición (12-15 minutos). 1

48 Ministerio de Hacienda Dirección General de Presupuesto Módulo IV CONCEPTOS BASICOS Curso 9 Introducción al Seguimiento y Evaluación del Desempeño Presupuestario Gracias más y mejores servicios públicos con equilibrio y sostenibilidad fiscal