Guía B.3 INICIATIVAS DE EVALUACIÓN ESTRATÉGICA DE INTERVENCIONES (POLÍTICAS, PLANES, PROGRAMAS Y PROYECTOS) EN EL SECTOR PÚBLICO.

Transcripción

1 Guía B.3 INICIATIVAS DE EVALUACIÓN ESTRATÉGICA DE INTERVENCIONES (POLÍTICAS, PLANES, PROGRAMAS Y PROYECTOS) EN EL SECTOR PÚBLICO. Se listan los requerimientos técnicos en esta guía, los cuales deben ser suministrados por la rectoría y/o sus instituciones interesadas en que MIDEPLAN considere sus iniciativas para futuros procesos de evaluación. Los requerimientos de información son los siguientes: Diseño de la intervención 1. Nombre y relevancia de la iniciativa de evaluación estratégica: Se debe anotar el nombre de las iniciativas de evaluación en este apartado y el nivel de planificación que se pretende evaluar (política, plan, programa o proyecto). Además, señalar la relevancia de la intervención en función de las siguientes variables: a) Prioridad Gubernamental: se debe señalar si dentro de la intervención a evaluar se contemplan temáticas que representen una prioridad dentro de los intereses gubernamentales, es decir, hay dentro de la dinámica de la intervención objetivos dirigidos a lograr, entre otros resultados, aspectos como: bienestar social, seguridad ciudadana, competitividad y sostenibilidad ambiental, entre otros. b) Orientación estratégica: indicar en este apartado si el diseño de la intervención se basó en una planificación basada en principios de gestión por resultados y/o hacia los usuarios, incluyendo medidas de sostenibilidad de sus efectos deseados y/o prácticas participativas e inclusivas. c) Vinculación con instrumentos de planificación: referir si la intervención que se pretende evaluar está dentro algún instrumento de planificación tales como: PND, Objetivos del Milenio o algún otro instrumento de planificación sectorial o internacional). 2. Sector/institución/unidad ejecutora y encargado de coordinar el proceso de la evaluación: Anotar el nombre del sector (es), institución (es) y unidad ejecutora responsable(s) de la intervención pública, en el marco del Sistema Nacional de Evaluación (SINE), según decreto SINE DE PLAN. Indicar además, la forma en que esta estructura organizativa, apoyará la realización de la evaluación y si las atribuciones de la misma, son atinentes con los propuestos en la iniciativa de evaluación. Se debe indicar además, el nombre y las competencias profesionales (ámbito de especialidad) del funcionario (a) que representa a la institución y que será responsable directo (a) de coordinar el proceso de la evaluación. Por otro lado, debe indicarse cuál es el ambiente político e institucional en el cual se llevaría a cabo la evaluación y si este ambiente posibilita la ejecución de la misma.

2 3. Perfil del o los ejecutores de la evaluación: Se debe describir en este apartado el perfil necesario del o los evaluadores requeridos para la presente iniciativa de evaluación. Por otro lado, en caso de tenerlo ya identificado, se debe anotar el nombre de la empresa/organización y el nombre de las personas que estarán a cargo de ejecutar la evaluación, así como su perfil y experiencia profesional. 4. Caracterización del diseño de la intervención pública (Teoría de la Intervención). Corresponde anotar en este acápite el nombre de la intervención pública; antecedentes históricos; normativa que la fundamenta; problemática que dio origen a la intervención y sus causas (incluyendo evidencia empírica); características y necesidades de la población objetivo y beneficiaria; objetivos de la intervención y la cadena de resultados definida; indicadores (nombre y fórmula), metas, líneas bases (situación inicial); área geográfica de cobertura; costo de la intervención pública; temporalidad de la intervención. Mencionar si se planificaron mecanismos para la recolección de los datos sobre la ejecución de la intervención pública, de qué tipo son y cuáles son los mecanismos de procesamiento definidos. Señalar además si existen diagnósticos previos, evaluaciones u otros elementos que como resultado, hayan generado cambios en la intervención, describiendo detalladamente cuáles fueron esos cambios y su fundamentación. Diseño de la Evaluación: 5. Actores clave para ejecutar la iniciativa de evaluación: La institución debe identificar y describir a los actores involucrados en la ejecución de la intervención pública (Tabla 11, Manual de evaluaciones estratégicas) y que son claves en el proceso de evaluación, razón por la cual, es necesario realizar un análisis de los actores involucrados e incluir entre otras cosas, lo siguiente: a) Unidad ejecutora. b) Entidad financiera, cuando corresponda. c) Socios que contribuyen en forma relevante a la implementación de la intervención. d) Beneficiarios o principales afectados por la evaluación. e) Otras partes interesadas, sean del sector público, privado o de la sociedad civil. 6. Justificación de la iniciativa de evaluación: Se deben señalar en este apartado las razones e intereses por los cuales, la institución desea llevar a cabo la evaluación, en términos del vínculo con la intervención pública y su problemática, para lo cual es necesario identificar detalladamente, de qué manera se pueden evidenciar dichos vínculos. Para apoyar el desarrollo de este apartado se puede considerar como pregunta generadora: Cuál es el aporte que se espera obtener de la evaluación, en relación con la intervención a evaluar y/o a la toma de decisiones?

3 7. Objetivo general y específicos de la iniciativa de evaluación Especificar cuál es el propósito de la iniciativa de la evaluación, así como el planteamiento de sus objetivos (tanto general como específicos), considerando que estos deben estar en correspondencia con la manera en que la evaluación será usada y en que medida incidirá sobre la intervención evaluada, (ver etapas de un proceso de evaluación estratégica, II etapa diseño, del Manual Gerencial de Evaluación). Indicar además cuáles son los factores que pueden determinar el logro o no de los objetivos, así como las medidas de contención (plan de contingencia) desarrolladas a partir de la aparición de cambios no esperados que puedan influir en la ejecución de la evaluación. Por otra parte, debe señalarse si existe consenso entre la población objetivo y otros involucrados, respecto a los objetivos de la evaluación 8. Alcance de la Evaluación Especificar con claridad y precisión en este apartado, hasta donde los resultados quieren llegar y profundizar, es decir definir los parámetros de la evaluación a utilizar, señalando entre otras cosas: qué aspectos serán cubiertos por la evaluación y cuáles no; con qué conocimiento se cuenta previo a la ejecución de la evaluación; qué limitaciones o restricciones se enfrentarán. 9. Formular preguntas e hipótesis de la Evaluación Para llevar a cabo la evaluación, es necesario plantear previamente, las preguntas orientadoras o hipótesis que determinarán la orientación de dicha evaluación. Estas preguntas deben derivarse de sus objetivos generales y específicos, por lo que es necesario especificar de manera detallada, todas las preguntas y sub-preguntas a las que la evaluación debe generar respuestas. Estas preguntas, además deberán plantearse considerando los criterios de priorización señalados en Tabla 13 del Manual de evaluaciones estratégicas (grado de incertidumbre, influencia en la toma de decisiones, recursos necesarios para responderlas, así como la información disponible). Asimismo se deben resumir las hipótesis implícitas en la teoría de la intervención, es decir, las proyecciones acerca de los resultados esperados, por ejemplo, respecto a las relaciones causaefecto entre la intervención y las variables de resultados, las necesidades detectadas de los actores involucrados, entre otros. 10. Aspectos metodológicos de la evaluación Las instituciones interesadas en presentar iniciativas de evaluaciones estratégicas, deben incluir una aproximación del enfoque metodológico (cualitativo, cuantitativo, mixto) a partir del cual se espera llevar a cabo la evaluación, haciendo alusión en términos generales aspectos tales como: estrategia de investigación; identificación y selección de unidades de investigación; técnicas de recolección y una propuesta de plan para la recolección de los datos, así como las posibles técnicas y procedimientos para el análisis de los mismos.

4 Indicar además en este apartado, si está previsto el establecimiento de mecanismos de monitoreo y seguimiento a los indicadores de la evaluación y de qué forma se propone realizar. De igual manera debe señalarse el tipo de evaluación según el momento en que se realicen (exante, intermedia, final y ex-post), para lo cual se deben tomar en cuenta las definiciones incluidas en estos lineamientos metodológicos (puede consultarse el apartado de Nociones Básicas de evaluación del Manual de evaluaciones estratégicas de gobierno). La rectoría y/o sus instituciones identificarán el tipo de evaluación que pretenden realizar desde la óptica de la funcionalidad, a saber: evaluación formativa, cuya finalidad es identificar las fortalezas y debilidades de la intervención para proponer medidas correctivas y evaluación sumativa siendo su fin comprobar si se han alcanzado los objetivos; por tanto, se concentra en los resultados de una intervención. La evaluación también debe ser identificada por quien la ejecuta y esto refiere a si la evaluación es interna, es decir, realizada por la misma institución que ejecuta la intervención o si la evaluación es externa, es decir, realizada por un organismo u empresa ajena a la institución ejecutora (ver el apartado de Nociones Básicas de Evaluación del Manual gerencial para el diseño y ejecución de evaluaciones estratégicas de gobierno). 11. Resultados previstos de la evaluación. En este apartado la institución debe indicar cuales serán los resultados previstos de la evaluación y si estos tienen concordancia con la intervención pública y el enfoque de la orientación hacia los usuarios. 12. Evaluabilidad de la intervención 1 : Se deben listar las variables que permiten determinar la evaluabilidad de la intervención, es decir si se cumple con elementos necesarios para poder llevar a cabo la evaluación. Para lo anterior se debe considerar lo siguiente: Acceso a la información: Se debe realizar un análisis previo de la información existente a nivel institucional respecto a la implementación (en proceso) o los resultados (finalizada), que aseguren el éxito de la evaluación a realizar. Describir si existe información suficiente (cualitativa cuantitativa) sobre la intervención a evaluar, si hay disponibilidad de sistemas de información para el seguimiento de la misma y procedimientos establecidos para la recopilación de información o existencia de grupos de control). Referir que tipo de canales de comunicación existen, entre quienes ejecutan la intervención y quienes vayan a realizar la evaluación. 1 El criterio de evaluabilidad sobre Diseño de la Intervención está contemplado en el apartado número 4 de esta Guía.

5 Recursos para la evaluación y su fuente de financiamiento: En este acápite se deben desarrollar aspectos relacionados con las previsiones de recursos financieros, materiales y humanos en el diseño de la intervención propuesta. Para ello la institución debe indicar cantidad y fuente de financiamiento; si el tiempo previsto para la evaluación es proporcional y razonado, asimismo, dar a conocer los mecanismos para maximizar los resultados propuestos.(ver apartado de Evaluabilidad del Manual Gerencial de Evaluación) 13. Socialización y seguimiento a los resultados de la evaluación: La institución ejecutora deberá incluir en este apartado, cual sería la estrategia de comunicación que se llevará a cabo para maximizar la utilidad de los resultados de la evaluación (siempre guiado por el propósito de la evaluación), de manera que los resultados sean recibidos, comprendidos y aceptados por los involucrados relevantes, para finalmente ser tomados en cuenta. (Ver un ejemplo de como abordar una estrategia de socialización en la página 75 del Manual de evaluaciones estratégicas) Indicar además, cuáles serán los diversos formatos ha utilizar en la presentación de los resultados de la evaluación, considerando la diversidad de actores. Así mismo la institución ejecutora deberá señalar cuales serán las acciones necesarias para asegurar que las recomendaciones de la evaluación sean consideradas en la toma de decisiones y retroalimenten el proceso de planificación, para lo cual tendrá que definir con los involucrados, un Plan de Acción de seguimiento a las recomendaciones, como parte de una programación integral del proceso de planificación. (Ver un ejemplo de que debe definirse para abordar un plan de acción en la página 77 del Manual de evaluaciones estratégicas).