Estándares de evaluación para América Latina y el Caribe

Transcripción

1 Estándares de evaluación para América Latina y el Caribe Una presentación abreviada 1 La Red de Seguimiento, Evaluación y Sistematización en América Latina y el Caribe (ReLAC) en colaboración con el Proyecto Fomento a las Capacidades de Evaluación (FOCEVAL) del Ministerio de Planificación (MIDEPLAN) de Costa Rica y el instituto alemán de evaluación, DEval, durante los años 2014 y 2015 impulsaron un amplio proceso de consultas y reuniones con expertos para la formulación de un documento de estándares para la evaluación, teniendo como referencia, al mismo tiempo, los documentos de estándares de las principales asociaciones de evaluadores de los Estados Unidos, Canadá, Europa, África, y de diversas entidades internacionales. Este proceso culminó con la publicación, en el mes de agosto de 2016, de una primera versión. La idea central de los Estándares de Evaluación es contar con un marco común para la obtención de evaluaciones de alta calidad y el ejercicio de una buena práctica profesional, teniendo en cuenta la diversidad de contextos que caracteriza la región; estimular el aprendizaje y generación de conocimientos desde la práctica profesional; facilitar la comunicación entre los actores participantes; y, a un nivel más fundamental, contribuir a fomentar una cultura de evaluación y responsabilización social. En una segunda fase de trabajo se ha venido difundiendo el documento en diversas reuniones y conferencias, con la expectativa de que sea aplicado, con la debida flexibilidad, y producir una siguiente versión incorporando los aportes provenientes de las experiencias y reflexión sobre su pertinencia y utilidad. En el siguiente cuadro se presentan los estándares, agrupados en 5 dimensiones, adaptadas a la región. 1. EVALUACION RIGUROSA 1.1 Contextualizar la evaluación 1.2 Descripción detallada del objeto de evaluación 1.3 Preguntas evaluativas relevantes 1.4 Metodología válida y confiable 1.5 Niveles de participación adecuados de los actores involucrados 1.6 Conclusiones relevantes 1.7 Recomendaciones útiles y factibles 1.8 Reportes y comunicación pública efectiva 2. ADECUADA EVALUABILIDAD 3. EVALUACIÓN CONDUCIDA DE ACUERDO CON PRINCIPIOS ÉTICOS Y JURÍDICOS 3.1. Respeto del derecho de las personas 3.2. Autonomía 3.3. Transparencia 3.4. Legalidad 4. ADECUADA COMPRENSIÓN CULTURAL 4.1. Igualdad y equidad 4.2. Derechos culturales 4.3. Reciprocidad e identidades culturales 2.1. Gestión efectiva de la evaluación 2.2. Procedimientos prácticos 2.3. Viabilidad contextual social y política 2.4. Realista 5. RELEVANCIA Y UTILIDAD 5.1. Participación efectiva y consciente 5.2. Propósitos acordados mutuamente 5.3. Valores explícitos 5.4. Información relevante, pertinente y oportuna 5.5. Resultados útiles 5.6. Comunicación y reportes puntuales y apropiados 5.7. Interés por las consecuencias e incidencia El documento puede ser recuperado del siguiente sitio Web (marcando la palabra español en la última línea del anuncio): 1 Versión abreviada preparada por Luis Soberón A., integrante del grupo de trabajo de Estándares de la ReLAC. Lima, junio de 2018.

2 La experiencia en evaluación de USAID Miriam Choy Junio 7, 2018

3 Política de Evaluación en USAID Aprender Rendición de cuentas

4 Tipos de evaluación en USAID Evaluaciones de impacto Evaluaciones de desempeño 6/17/2018 FOOTER GOES HERE 3

5 Ciclo de la evaluación Decidir evaluar Usar evaluación Evaluaciones útiles de calidad Planificar evaluación Ejecutar evaluación 6/17/2018 FOOTER GOES HERE 4

6 Criterios de calidad..diseño de la evaluación Que Preguntas de evaluación son limitadas y focalizadas Para quien: Audiencias son identificadas Para que: Uso de la evaluación según audiencias Cuando Oportuna Cómo Metodología sólida y apropiada para responder a las preguntas Quien: Independencia y credibilidad del equipo evaluador 6/17/2018 FOOTER GOES HERE 5

7 Criterios de calidad.. el Reporte Final Es oportuno Responde las preguntas de la evaluación Hallazgos y conclusiones concisos y basados en evidencia Recomendaciones, basadas en hallazgos y son precisas y accionables Describe la metodología, instrumentos y limitaciones Hallazgos a nivel de personas desagregados - hombres/mujeres

8 Criterios de calidad..uso de la evaluación Plan de comunicaciones y diseminación Productos complementarios de acuerdo a la audiencia Involucrar a los actores en el proceso para generar compromisos de uso Seguimiento de recomendaciones/acciones

9 Las evaluaciones en USAID deben ser: Integradas en el diseño de estrategias y proyectos Objetivas/imparcial (unbiased) Relevantes (útiles) para decisiones futuras Basadas en los mejores métodos para responder a las preguntas Orientadas a fortalecer la apropiación/capacidad local Transparentes

10 Herramientas de evaluación de USAID valuation-toolkit

11 Gracias 6/17/

12 Perspectivas desde el análisis y reflexión académica Susana Guevara - Docente Diplomatura de Especialización en Monitoreo y Evaluación de Proyectos y Programas Sociales

13 Qué son los estándares de evaluación Son orientaciones generales y prácticas para la elaboración de evaluaciones de calidad: Confiables Útiles Éticas Culturalmente apropiadas. Dos características: Los estándares identifican y definen la calidad de la evaluación y orientan a los evaluadores y a los usuarios de la evaluación en la búsqueda de la calidad de la evaluación. No son "leyes", sino son orientaciones obtenidas por consenso.

14 Diferentes estándares para la evaluación OECD (2010) UNEG (2005) Redes / Sociedades de Evaluación Sociedad Canadiense de Evaluación CES (2012) Asociación Americana de Evaluación AEA (2013) Red de seguimiento, evaluación y sistematización en ALC ReLAC (2016)

15 Qué tienen en común las propuestas? Nombre de la dimensión Marco institucional (Ej: políticas y planes, difusión, utilidad) Cantidad de estándares OECD UNEG RELAC Gestión de la evaluación (Ej: directrices) Competencias del evaluador (Ej: ética) Metodología Calidad (Ej: control de calidad) Total

16 Qué pasa en el país? No si tienen estándares de evaluación Existen normas legales que proporcionan el marco de la evaluación (generan la necesidad): Ley Marco de Modernización de la Gestión del Estado (2002) Ley Orgánica de Gobiernos Regionales (2002) Ley General del Sistema Nacional de Presupuesto (2004) Ley Orgánica del Poder Ejecutivo (2007) Política General de Gobierno (2018) Reglamento que regula las políticas nacionales (2018)

17 Qué pasa en el país? Se han formulado directrices específicas para sectores: MIDIS: Lineamientos para la evaluación, seguimiento y gestión de la evidencia de las políticas, planes, programas y proyectos del Ministerio de Desarrollo e Inclusión Social (2012). NINAGRI: Lineamientos para el seguimiento, evaluación del impacto y gestión de la evidencia de las políticas nacionales y sectoriales, planes sectoriales, normas y objetivos de los programas y proyectos especiales (2015). MIMP: Normas para el seguimiento y evaluación en el Ministerio de la Mujer y Poblaciones Vulnerables (2016).

18 Qué pasa en el país? FUNCIONES MIDIS MIMP MINAGRI PRODUCE VIVIENDA Establecer lineamientos y metodologías X X X X Gestión de datos estadísticos X X X Elaborar estudios e investigaciones X Elaborar evaluaciones X X X Proponer indicadores X X X Diseñar sistemas de monitoreo X X X Generación de evidencias X X X Otras X X X X X

19 Formación en M&E Surgimiento versión presencial 2005 Surgimiento versión virtual 2009 Reajuste de contenido, colaboración de EvalPerú 2014 Relanzamiento versión virtual Proceso de revisión y reajuste de contenido Antes 2004: demanda de CTI 2004: surgimiento de redes 2007: presupuesto por resultados 2012: creación de MIDIS y sistema de SyE de programas sociales 2014: creación de oficinas de SyE en sectores

20 Perfil de estudiantes Número de participantes versión presencial Participantes por sector de procedencia (%) 33 Gobierno ONG CTI Universidad Inst privada Independiente Fuente: PUCP. DIPLOMATURA. Perfile de estudiantes Fuente: PUCP. DIPLOMATURA. Perfile de estudiantes

21 Formación en M&E por la Diplomatura en M&E : competencias 2018 Monitoreo y evaluación Conceptos y enfoques Gestión Metodologías Comunicación de resultados Ética y habilidades blandas

22 Perfil del egresado Tiene una comprensión histórica del M&E en el Perú y América, Latina, distinguiendo las bases teóricas y metodológicas, las competencias y los estándares de la evaluación para la región de América Latina y el Caribe. 2. Reconoce los fundamentos conceptuales que sustentan los métodos cuantitativos y cualitativos de investigación aplicados al M&E, diseñando la línea de base e instrumentos de recolección de información. 3. Evidencia actitud y comportamiento ético en su intervención como evaluador. 4. Demuestra habilidades blandas necesarias en su desempeño en el campo del M&E. 5. Comprende los fundamentos conceptuales y aplica la metodología para diseñar y gestionar el sistema de M&E, y su contribución en la gestión de programas o proyectos. 6. Comprende el concepto de la evaluación y su tipología en el ciclo de un programa o proyecto, identificando los pasos metodológicos para su diseño. 7. Analiza la evaluabilidad, de un proyecto o programa y formula con precisión los criterios y preguntas de evaluación considerando los tipos de intervención. 8. Maneja técnicas cualitativas y cuantitativas con enfoque y herramientas participativas para el monitoreo y la evaluación. 9. Diseña la línea de base que se vincula con la evaluación de impacto. 10. Comprende y usa las tecnologías de información en el manejo de grandes volúmenes de datos disponibles para el monitoreo y evaluación de programas y proyectos. 11. Elabora indicadores de desempeño en los programas y proyectos y aprende a elaborar conclusiones y recomendaciones en base a los resultados de la evaluación. 12. Diseña una estrategia de análisis de costo-eficiencia y costo-efectividad. 13. Comprende la sistematización como herramienta de gestión del conocimiento, identificando y documentando lecciones aprendidas que surgen dela intervención en programas y proyectos sociales. 14. Comprende el enfoque, metodologías y herramientas para la búsqueda de evidencias en base al M&E, y propone recomendaciones. 15. Diseña una estrategia de comunicación de resultados del M&E, utilizando las TICs, para propiciar aprendizajes participativos según diferentes audiencias.

23 Retos 1. Llegar a acuerdos en temas básicos de M&E (desde lenguaje, metodologías, difusión y uso). 2. Control de calidad de las evaluaciones 3. Incorporación de nuevos enfoques en los SM&E: derechos humanos, género e interculturalidad. 4. Revisión de marcos institucionales: políticas, procedimientos, funciones y perfiles de competencias.