GUÍA PARA INICIATIVAS DE EVALUACIÓN ESTRATÉGICA DE INTERVENCIONES (POLÍTICAS, PLANES, PROGRAMAS Y PROYECTOS) EN EL SECTOR PÚBLICO 1 La Guía para iniciativas de evaluación estratégica de intervenciones en el sector público fue diseñada por MIDEPLAN para que las instituciones interesadas en realizar evaluaciones estratégicas estructuren sus propuestas de evaluación, basados en una guía técnica que permita someterlas a consideración en el proceso de priorización y selección ejecutado por el Área de Evaluación y Seguimiento de MIDEPLAN. Asimismo, esta guía tiene otras intenciones; permite asesorar en evaluación estratégica y permite clarificar a las instituciones que conforman el Sistema Nacional de Evaluación si sus intervenciones pueden ser objeto de evaluación en términos del abordaje de la información solicitada por la guía. La guía se divide en tres apartados, el Marco general institucional que da información sobre la institucionalidad, donde se circunscribe la intervención; la Teoría de la intervención brinda información sobre la planificación e implementación de la intervención y un tercer apartado Diseño de la evaluación, que suministra información sobre temas clave de la evaluación, por ejemplo, objetivos de la evaluación, alcance, actores e interrogantes, entre otras. Los requerimientos de información, según apartado, son los siguientes: MARCO GENERAL INSTITUCIONAL En este apartado se debe indicar datos de la institución encargada de la intervención, tales como: Ø Marco filosófico (visión, misión y políticas institucionales), Ø Marco jurídico (normativa más relevante) Ø Estructura organizacional (ubicar en el organigrama la intervención posible a evaluar). 1 MIDEPLAN tiene a disposición el Manual gerencial para el diseño y ejecución de evaluaciones estratégicas de gobierno, el cual es la base de información para la conformación de esta guía. 1
TEORÍA DE LA INTERVENCIÓN 2 En este apartado la institución debe suministrar información sobre la intervención, es decir, la política, el plan, el programa o el proyecto en cuestión, específicamente en los siguientes aspectos: Ø Sector/institución/unidad ejecutora: anotar el nombre del sector (es), institución (es) y unidad ejecutora responsable(s) de la intervención pública, en el marco del Sistema Nacional de Evaluación (SINE), según decreto SINE DE-35755-PLAN. Ø Caracterización del diseño de la intervención pública: la información clave para la caracterización de la teoría de intervención se menciona a continuación. a) Nombre de la intervención pública. b) Antecedentes históricos de la intervención pública: Problemática que dio origen a la intervención pública. Causas de la problemática (incluyendo evidencia empírica). Línea de tiempo (resume los principales eventos en la vida de la intervención desde su creación hasta el presente). c) Normativa que fundamenta la intervención pública. d) Objetivos de la intervención pública. e) Características y necesidades de la población objetivo y población beneficiaria (ver Manual Gerencial, Glosario, página 116). f) Línea base (en caso de contar con ella) (ver Manual Gerencial, Glosario, página 115). g) Área geográfica de la intervención. h) Ubicación temporal de la intervención pública. i) Cadena de resultados (en caso de contar con ella), (ver Manual Gerencial, página 20). j) Indicadores (en caso de contar con ella), (ver Manual Gerencial, Glosario, página 115). k) Metas de la intervención. l) Costo de la intervención pública. 2 Manual Gerencial, Glosario de términos, página 117. 2
Ø Otros aspectos de la planificación de la intervención a) Indicar si se planificó algún mecanismo de recolección de datos sobre la ejecución de la intervención pública y los mecanismos para el procesamiento de la misma. b) Señalar si existen diagnósticos previos, evaluaciones u otros elementos que como resultado, hayan generado cambios en la intervención, describiendo detalladamente cuáles fueron esos cambios y su fundamentación. c) Indicar si se conoce de otra intervención pública (aparte de la intervención pública a evaluar) donde su accionar está dirigida hacia la solución del mismo problema. DISEÑO DE LA EVALUACIÓN En este apartado, la institución desarrolla aspectos específicos de la evaluación estratégica, tales como los siguientes: 1. Nombre de la iniciativa de evaluación Definir el nombre de la iniciativa de evaluación y el nivel de planificación que se pretende evaluar (política, plan, programa o proyecto). 2. Relevancia de la iniciativa de evaluación estratégica Las variables a considerar en la relevancia de la intervención son las siguientes: a) Prioridad Gubernamental: se debe señalar si en la intervención a evaluar se contemplan temáticas que representen una prioridad dentro de los intereses gubernamentales, por ejemplo, objetivos dirigidos a lograr aspectos como bienestar social, seguridad ciudadana, competitividad o sostenibilidad ambiental, entre otros. b) Orientación estratégica: indicar en este apartado si el diseño de la intervención se basó en una planificación basada en principios de gestión por resultados o hacia los usuarios, incluyendo medidas de sostenibilidad de sus efectos deseados o prácticas participativas e inclusivas. c) Vinculación con instrumentos de planificación: referir si la intervención que se pretende evaluar está dentro de algún instrumento de planificación como Plan Nacional de Desarrollo, Objetivos del Milenio o algún otro instrumento de planificación sectorial o internacional. 3
3. Teoría de la intervención La Teoría de la intervención se desarrolló en el punto anterior por ser medular y estratégico para el propósito de esta Guía, a pesar de que conceptualmente este apartado forma parte del Diseño de la Evaluación. 4. Acceso a la información: Realizar un análisis de la información existente de la intervención respecto al proceso de implementación y de los resultados alcanzados. Describir si existe información cualitativa o cuantitativa suficiente sobre la intervención a evaluar. En esa misma línea, indicar la disponibilidad de sistemas de información para su seguimiento, especificando los procedimientos establecidos en la recopilación de la información ya sea para información cualitativa como cuantitativa. 5. Recursos disponibles para la evaluación: En este acápite se deben desarrollar aspectos relacionados con las previsiones de recursos financieros, materiales y humanos para implementar la evaluación. Para ello, la institución debe indicar cantidad y fuente de financiamiento; si el tiempo previsto para la evaluación es proporcional y razonado, asimismo, dar a conocer los mecanismos para maximizar los resultados propuestos. 6. Actores clave para ejecutar la iniciativa de evaluación La institución debe identificar y describir a los actores a involucrar en la evaluación (Tabla 11, Manual Gerencial, página 28) y que son claves en el proceso, por esta razón, es necesario realizar un análisis participativo de los actores involucrados considerando sus expectativas respecto a la evaluación. Como involucrados de la intervención habrá que considerar, por ejemplo a: a) Unidad ejecutora. b) Unidades relevantes de las entidades financieras, cuando corresponda. c) Grupos, personas, entidades que contribuyen en forma relevante a la implementación de la intervención. d) Beneficiarios o principales afectados por la evaluación. e) Otras partes interesadas, sean del sector público, privado o de la sociedad civil. 7. Propósito y objetivos de la iniciativa de evaluación Especificar cuál es el propósito de la iniciativa de la evaluación, así como el planteamiento de sus objetivos (general y específicos), considerando que estos deben estar en correspondencia con la manera en que la evaluación será usada y en qué medida incidirá sobre la intervención evaluada. 4
8. Alcance de la Evaluación En este apartado, especificar con claridad y precisión hasta dónde los resultados quieren llegar y profundizar, es decir, definir los parámetros de la evaluación a utilizar, señalando aspectos qué serán cubiertos por la evaluación y cuáles no; con qué conocimiento se cuenta previo a la ejecución de la evaluación; qué limitaciones o restricciones se enfrentan (por ejemplo, problemas que no pueden ser abordados, desafíos respecto a la recolección de datos confiables). 9. Formular preguntas e hipótesis de la Evaluación Es necesario plantear previamente las preguntas orientadoras o hipótesis que determinarán la orientación de dicha evaluación. Estas preguntas deben derivarse de sus objetivos generales y específicos, por lo que es necesario especificar de manera detallada, todas las preguntas y sub-preguntas a las que la evaluación debe generar respuestas. Estas preguntas; además, deberán plantearse considerando los criterios de priorización señalados en la Tabla 13 del Manual Gerencial, página 31, a saber: grado de incertidumbre, influencia en la toma de decisiones, recursos necesarios para responderlas, así como la información disponible. Además, se deben resumir las hipótesis implícitas en la teoría de la intervención, es decir, las proyecciones acerca de los resultados esperados, por ejemplo, respecto a las relaciones causa-efecto entre la intervención y las variables de resultados, las necesidades detectadas de los actores involucrados, entre otros. 10. Aspectos metodológicos de la evaluación En este apartado, se debe incluir una aproximación del enfoque metodológico a utilizar (cualitativo, cuantitativo, mixto). De igual manera debe señalarse el tipo de evaluación que se pretende realizar, a saber: Según el momento en que se realicen ya sea ex-ante, intermedia, final y ex-post; Desde la óptica de la funcionalidad, es decir, si es una evaluación formativa o una evaluación sumativa. Desde la identificación de quién evalúa, esto es, si se refiere a una evaluación interna o externa. Para los puntos anteriores, se debe tomar en cuenta las definiciones incluidas en el apartado de Nociones Básicas de evaluación del Manual gerencial, página 10. 11. Encargado de coordinar el proceso de la evaluación Se debe indicar el nombre y las competencias profesionales (ámbito de especialidad) del funcionario (a) que representa a la institución y que será responsable directo (a) de coordinar el proceso de la evaluación. 5
Indicar el ambiente político e institucional en el cual se llevaría a cabo la evaluación y si este ambiente posibilita la ejecución de la misma. 12. Perfil del o los ejecutores de la evaluación: Se deben describir los requerimientos mínimos sobre el perfil y experiencia profesional necesaria del o los evaluadores requeridos para desarrollar la iniciativa de evaluación. 6