Metodologías para el Seguimiento y Evaluación del Plan Nacional de Desarrollo

Transcripción

1 Metodologías para el Seguimiento y Evaluación del Plan Nacional de Desarrollo -Consultoría para la Revisión Experta y Asistencia Técnica- Lic. Jorge A. Calderón Suárez (MPP) Documento No.2 "Informe técnico final de Revisión y Asistencia Técnica: Lineamientos generales para la ejecución de evaluaciones públicas y criterios básicos para el diseño de un Registro Nacional de Evaluaciones Estratégicas de gobierno, a cargo de la Unidad de Acciones Estratégicas" Ministerio de Planificación Nacional y Política Económica Programa de Naciones Unidas para el Desarrollo Proyecto AEC ID/PNUD San José. Costa Rica Agosto, 1.011

2 Tabla de Contenidos. Antecedentes. 1. Justificación de la presente consultoría Revisión de los Lineamientos generales para la ejecución de evaluaciones públicos y 3. criterio para la creación de un Registro de Evaluaciones Modelos internacionales: Lecciones aprendidas de utilidad para Costa 4. Rica... Bibliografía Anexos

3 1 PARTE ANTECEDENTES El Ministerio de Planificación -MIDEPLAN- es la institución que -en principioposee la rectoría de la Planificación y Evaluación de la Política Pública en Costa Rica. Se enfrenta al reto de cumplir con el mandato que la ley le otorga, de evaluar -podríamos decir, por primera vez- las políticas públicas de Costa Rica. El Área de Evaluación y Seguimiento es la encargada de ejecutar dichos mandatos a nivel del Ministerio, la cual está subdividida a su vez en dos unidades: i) La Unidad de Acciones Institucionales, la cual debe dar seguimiento al Plan Nacional de Desarrollo y lo monitorea, en particular cada seis meses recibe información de cómo avanzan las metas planteadas (ley 8131 cada semestre se hace un informe, el cual contiene una valoración del avance del Plan; y u) La Unidad de Acciones Estratégicas, la cual pretende ir perfilándose como una unidad que pueda hacer una verdadera evaluación del PND y que pretende construir en el mediano plazo, un Registro Nacional de Evaluaciones Estratégicas. La Unidad de Acciones Institucionales posee amplia experiencia en realizar seguimiento a los anteriores Planes Nacionales de Desarrollo, en el caso de la Unidad de Acciones Estratégicas, se trata de una instancia todavía en fase de desarrollo, y que todavía no ha ejecutado un primer proceso formal de evaluación de alguna política pública específica, programa o proyecto. A nivel general, la experiencia en este cuatrienio en el proceso de seguimiento y evaluación de las metas del PND coordinado a través del Sistema Nacional de Evaluación -SINE-, permitió concluir que la planificación y presupuesto estratégico en el país avanzó, al poder generar el seguimiento y medición de metas, lo cual induce hacia una mayor sistematización de registros administrativos por parte de las instituciones ejecutoras y resalta la importancia de las Secretarías sectoriales y Ministros y Ministras rectoras durante el proceso de ejecución del PND. 1 Pg WEB MIDEPLAN:

4 No obstante, como observación específica del MIDEPLAN, al cierre del cuatrienio pasado persistían algunas debilidades señaladas en varios informes de PND's anteriores tales como: i) Carencia de una información sectorial con mayores niveles de consolidación y análisis, que permita aumentar las coordinaciones requeridas por cada sector para la ejecución con las instituciones contrapartes involucradas en cada meta comprometida; u) Debilidades en la programación de las metas sectoriales, para que sean acordes con el tiempo y los recursos necesarios para lograr su cumplimiento; iii) Debilidades en las coordinaciones interinstitucionales entre Hacienda, Contraloría General de la República y MIDEPLAN en relación a la armonización y simplificación de lineamientos que orientan la planificación y presupuestos, conformes al período de cada Plan Nacional de Desarrollo; iv) Imposibilidad de medición y seguimiento a metas nacionales y sectoriales de gran envergadura, por ausencia de indicadores y líneas base correspondientes a estos niveles. y) Visibles vacíos de información relacionados con la recolección y verificación de datos ligados a metas del PND en el nivel más agregado, estratégico y de largo alcance. vi) Imposibilidad para el establecimiento de nexos entre distintos niveles de comportamiento de los indicadores de metas nacionales, sectoriales y de programas y proyectos, que dificultaron el análisis integral de las acciones de gobierno comprometidas en el pasado. vi ) Debilidad para el registro y sistematización continuada de datos administrativos que sirven como insumo a sistemas de información de las instituciones y sectores que componen el gobierno y que son base para procesos evaluativos. vi ) Prácticas incorrectas o en desuso de seguimiento, verificación y evaluación por parte de unidades ejecutoras de proyectos y programas públicos, como parte de una cultura poco arraigada de dar seguimiento y evaluación a políticas, planes, programas y proyectos con visión estratégica basada en resultados. xi) Debilidad inicial de la figura del o la "enlace sectorial", quien no solamente debe dominar este nivel estratégico intermedio de la organización de gobierno, sino que además, cumplir una labor de rectoría y direccionamiento de las

5 instituciones que componen el sector respectivo, para lo cual se hace necesario un consolidado conocimiento técnico, pero también un irrestricto apoyo político. Las anteriores debilidades se han acumulado a través de los años y han quedado registrados en las (mal llamadas) "evaluaciones" y seguimientos históricos realizados en los últimos períodos gubernamentales. Lo anterior ha venido a menoscabar la efectividad en materia de monitoreo y evaluación del MIDEPLAN y como se pudo comprobar durante la ejecución de la presente consultoría, pese a los esfuerzos de los funcionarios de MIDEPLAN, los mismos no han sido resueltos y mas bien tienden a tornarse mas agudos. Justificación de la presente consultoría.2 En el contexto anterior, la presente consultoría tiene como fin coadyuvar en la definición y diseño de nuevas metodologías preparadas por las dos unidades que conforman el Área de Evaluación y Seguimiento en relación con dos esferas de interés para el fortalecimiento de la evaluación pública costarricense. A saber: - Metodología para el seguimiento y evaluación integral de metas del Plan Nacional de Desarrollo , a cargo de la Unidad de Acciones Institucionales, y - Lineamientos generales para la ejecución de evaluaciones públicas y criterios básicos para el diseño de un Registro Nacional de Evaluaciones Estratégicas de gobierno, a cargo de La Unidad de Acciones Estratégicas. Aunque el equipo de trabajo de AES es multidisciplinario, se hace necesaria una revisión y orientación experta y externa en materia de evaluación propiamente dicha, bajo el enfoque orientado a resultados, que permitan que las disposiciones emanadas desde MIDEPLAN en esta materia para el próximo cuatrienio ( ) resulten oportunas, estables y adecuadas a las necesidades y condiciones de desarrollo de la institucionalidad pública costarricense. El objetivo de la presente consultoría, es realizar dicha lectura crítica del segundo documento "Lineamientos generales para la ejecución de evaluaciones públicas y criterios básicos para el diseño de un Registro Nacional de Evaluaciones estratégicas de gobierno, a cargo de la Unidad de Acciones Estratégicas". 2 Referencia tomada de los Términos de Referencia iniciales de PNUD-Mideplan.

6 II PARTE REVISION DE LOS LINEAMIENTOS DE EVALUACIÓN ESTRATÉGICA Y PROPUESTA DE CREACIÓN DE UN REGISTRO DE EVALUACIÓN Escenario Político, Institucionalidad y el impulso a la Evaluación. En la actualidad ningún Plan Nacional de Desarrollo ha tenido un proceso de evaluación real, lo que ha existido es un proceso de monitoreo de metas y registro de información (al cual de forma errónea se le ha llamado "evaluación") 3, pese a lo anterior, de manera reciente el Mideplan vienen haciendo esfuerzos en este sentido: por ejemplo se esperaría un ejercicio de por lo menos un 25% de metas evaluadas y verificadas cada año; se establecerán las "metas críticas" y se verificaran la ejecución de planes de mejora y recomendaciones técnicas (evolución de un monitoreo a un ejercicio de seguimiento); se están planteando acciones de desconcentración, en especial las de registro administrativo con la finalidad de fortalecer el levantamiento de estadísticas y finalmente se pretende que el analista "común" se vaya transformando en un gestor de asistencia técnica permanente de alta calidad. Los lineamientos proponen concentrarse en ciertas políticas, planes y proyectos estratégicos para ser evaluados, sin embargo no consideran el hecho que en el PND no existe una concatenación entre las 4 p 4, y que los indicadores no son en su mayoría, reflejos del impacto o del resultado. Este "defecto" del PND, tendrá repercusiones en cualquier ejercicio de evaluación que pretenda medir el impacto del mismo, por lo que trabajar de cara al próximo PND podría ser la solución. En este momento no se tiene conocimiento exacto de la demanda potencial de evaluaciones en el país, y se entiende que esto es uno de las primeros datos que debe recopilarse, sin embargo no se debe perder de vista que todas estas acciones deben buscar legitimarse dentro de una Política Nacional de Evaluación y no solamente quedarse en un Plan Nacional de Evaluaciones, lo primero tiene el peso que la máxima autoridad de la administración pública le puede otorgar. Existe alguna confusión en el manejo de términos a nivel institucional, en especial en relación a los conceptos: monitoreo - seguimiento - estrategia - evaluación. En este sentido se detectó que una Unidad de Evaluación Estratégica, se justifica, no solo por su necesidad de existencia, sino también porque el Mideplan tiene el mandato de realizar dicha tarea, y hasta el día de hoy solo se realiza un seguimiento de metas, anuales y que al finalizar cada período cuatro-anual, se le ha -mal llamado- evaluación, no cumpliendo la misma con los requisitos fundamentales para se calificado de esta forma. 4 programas, planes, políticas y proyectos.

7 En el contexto anterior, y en aras de la promover una cultura de evaluación de gestión por resultados, realmente amplia en el sector público costarricense, la creación de un "fondo nacional de evaluaciones" que le de fundamento al ejercicio de la rectoría por parte de Mideplan, debería ser estudiada y transformada en una propuesta de ley, como sucedió en el caso Mexicano, y que a la postre fue la piedra angular de su éxito.5 Dado que el Ministerio de Hacienda es el que distribuye el presupuesto, es fundamental que las evaluaciones jueguen un rol decisiorio en la distribución de los recursos del estado, sin embargo no queda claro cuales van a ser los acuerdos institucionales para que esto pueda avanzar de esta forma, lo que si está claro es que mientras Hacienda no establezca las evaluaciones como criterio de asignación presupuestaria, quedarán como ejercicios voluntarios nada mas. La vinculación de la evaluación y seguimiento de políticas, programas y proyectos del Gobierno junto con la asignación presupuestaria debe de ser un paso a seguir en la evaluación estratégica elaborada en MIDEPLAN. Aunque la Ley 8131 lo menciona, se sugiere revisar los ajustes normativos necesarios que pongan en práctica dicho vínculo. La evaluación de una acción estratégica recobra mayor sentido si, la asignación de presupuesto estuviera estrictamente ligada al cumplimiento real (en términos de calidad, eficiencia y eficacia) de las metas del proyecto o política. Además, para el fortalecimiento de la rendición de cuentas y control político, la evaluación de la ejecución presupuestaria debería ser prioridad, ya que, existiendo acciones estratégicas y prioritarias para los Gobiernos, el sentido común indica que las asignaciones presupuestarias deberían realizarse a partir de dicho grado de prioridad e interés para el país, y además, a partir de evaluaciones anteriores que permitan conocer si realmente la política o el programa es efectivo para solucionar los problemas para los que fueron diseñados. En el sentido anterior, el proceso de fortalecimiento de la evaluación en nuestro país, estará marcado por un gran debate político a su alrededor, si eventualmente se logra que Hacienda condicione fondos en relación a las evaluaciones, el Mideplan estará en el centro de atención, y la estrategia y enfoque político que tenga el proceso, marcará su viabilidad en el mediano y largo plazo. Por razones históricas, Costa Rica carece de una cultura de evaluación, esto es algo sobre lo que hay que trabajar, incluso antes de pretender resultados importantes en esta área, en paralelo al fortalecimiento de la capacidad Una política nacional de evaluación, debe estar acompañada -indefectiblemente- de un fondo nacional de evaluaciones, lo anterior tiene obvias contingencias fiscales, pero es la única forma en la que realmente (en una etapa ulterior si se quiere) el tvlideplan pueda llegar a ejercer una rectoría plena en materia de evaluación en Costa Rica.

8 instalada de Mideplan en la materia, debe trabajarse en la promoción de la importancia de la evaluación como mecanismo de eficiencia, rendición de cuentas y transparencia. En este sentido deben crearse incentivos para su utilización, los cuales pueden ir desde premios públicos, hasta algunos relacionados con el otorgamiento de fondos públicos, generación de benchmarking, etc. La evaluación y el monitoreo deben ir unidos, sin embargo se detectó durante el ejercicio de la presente consultoría, una separación cuasi-funcional de ambas tareas, lo cual se recomienda corregir -quizá- mediante ejercicios o mesas de trabajo y planificación conjuntas, el concepto de Evaluación estratégica debe ir acompañado de el concepto de monitoreo estratégico, es algo que no se detectó en las lecturas de los documentos, ni en las prácticas institucionales. El camino hacia la evaluación estratégica. La evaluación estratégica debe estar involucrada durante todo el proceso de elaboración, ejecución y finalización de una política pública. Se debe hacer una labor de análisis desde la conceptualización y el diseño de la política pública, la puesta en marcha de dicha política (ejecución) y una valoración de su utilidad. Es por esto que el formato para presentación de propuestas no debería indicarle a los enlaces la selección de evaluación ex ante, intermedio o ex post como si éstas fueran excluyentes entre sí. Todo lo contrario, se debe incentivar a realizar una evaluación que contemple todas las etapas. Si bien es cierto los programas o políticas a evaluar ya fueron diseñados, se puede hacer un análisis de la construcción de las mismas y buscar formas alternativas para fortalecer dicha propuesta, y a partir de ahí, contribuir a la elaboración de medidas correctivas para una ejecución eficaz y eficiente del programa. Por otro lado, una evaluación que sea únicamente ex post, no tendría mayor "efecto estratégico" ya que la evaluación es estratégica en el tanto y cuanto se pueda utilizar sus resultados en forma oportuna, para generar cambios en el mismo programa, y por ende, mejorar la toma de decisiones con respecto a la aplicación de éste. Siguiendo la misma línea, la evaluación estratégica debe concentrarse en el cumplimiento de los objetivos y los resultados de las políticas públicas, es decir, debe garantizar una coherencia causal entre el diseño de la política, el proceso de gestión, el cumplimiento de metas, y los impactos posteriores. Para ello se debe hacer un seguimiento del avance de la política, y los aspectos que influyen positiva o negativamente en el desarrollo y ejecución de la misma. Dado lo anterior, se puede contemplar distintos tipos de evaluación durante el proceso de análisis de las políticas: la evaluación podría ser conceptual, de gestión o de resultados e impactos. Dependiendo de la etapa donde se encuentre la ejecución de la política, así podría realizarse su evaluación. Se debe determinar la "evaluabilidad" de la política pública a la hora de seleccionar los proyectos, programas o políticas a los cuales se les dará

9 seguimiento, es decir, se debe determinar hasta qué punto la evaluación estratégica puede contribuir a mejorar la política y sus resultados. Si la evaluación no tiene ningún impacto en el proceso de toma de decisiones, ya no se podría considerar como una evaluación estratégica, ya que no cumpliría el rol en el proceso de aplicación de elementos correctivos y para una toma de decisiones oportuna, este tema se desarrolla posteriormente. Para cada una de las funciones de la evaluación estratégica (si es para toma de decisiones, si es para aplicación de medidas correctivas de mejora, si es para promover la rendición de cuentas, si es para contribuir en el control de ejecución presupuestaria, si tiene como propósito formar a los ejecutores de la política, informar sobre el proceso o si es meramente para un seguimiento del avance que va teniendo su ejecución y resultados), es necesario determinar un momento especial la elaboración de los informes de resultado de evaluación. Esto va en función a la necesidad de utilidad que se mencionó anteriormente: dependiendo de la utilidad o función para la que se utiliza la evaluación, así se elegirá el tiempo de entrega de los resultados de la misma. Si el propósito es contribuir a la toma de decisiones para corregir posibles desvíos en la aplicación de la política o programa, el elaborar informes de evaluación ex post no tiene mayor utilidad (para efectos correctivos en el proceso de implementación), porque el tiempo oportuno para contribuir a mejorar la política ya habría pasado. Quizás y dado el momento actual, para el PND en ejecución en este momento, se debe hacer un énfasis a la evaluación intermedia y expost. La evaluación intermedia tiene que ver con la tarea de seguimiento que le corresponde al Área de Evaluación, a fin de determinar cómo se va implementando la política pública, programa o proyecto. Esto requiere de una constante recopilación de información, a fin de ir conociendo, paso a paso, cuáles van siendo los alcances de la acción estratégica, y cómo se vislumbra su cumplimiento en función del tiempo que hace falta. Este es el tipo de evaluación que se requiere para el momento en que se realizan informes para contribuir a los procesos de tomas de decisiones, para informar, o para aplicar medidas correctivas a tiempo. La evaluación expost es la que se realiza al final de la ejecución de la política, y corresponde al informe final de evaluación de acciones estratégicas. La evaluación ex ante se recomienda en un proceso de elaboración del PND, donde el Área de Evaluación y Seguimiento, como se recomendó antes, debe jugar un papel determinante en el diseño de las políticas. Lo anterior como un esfuerzo para promover el enfoque de evaluación integral, la cual se encarga de llevar un hilo conductor coherente de la evaluación de políticas y programas gubernamentales, desde su diseño hasta la comprobación de eficacia y eficiencia de éstos. Se recomiendan algunos pasos para realizar una evaluación estratégica:

10 a. Definir cuáles acciones evaluar (que sean evaluables y de interés para el Gobierno, de ahí la calidad de estratégicas). Esta definición no debe ser un proceso libre, debe estar guiado, como se mencionó anteriormente, a una directriz de prioridad, proveniente de la propia Presidencia de la República y Ministros Rectores. b. Caracterizar cada acción estratégica: objetivos, meta, indicador, beneficiarios, temporalidad. c. Identificar la utilidad de los resultados de la evaluación: cómo contribuirá a que la evaluación sea estratégica. d. Definir el equipo de trabajo, incluyendo tanto participantes externos como participantes internos. e. Determinar las fuentes de información para cada una de ellas (de dónde se obtendrán los insumos para analizar la aplicación de dicha acción) f. Definir los cortes de seguimiento que se realizarán anualmente (fechas), y a partir de éstas determinar cuál será el propósito del informe y quiénes serán los destinatarios. g. Definir el enfoque de evaluación (el contenido de la evaluación), y la metodología que se utilizará. h. Definir el vínculo que se realizará con el Ministerio de Hacienda para realizar al mismo tiempo, una evaluación de la ejecución presupuestaria. i. Elaborar un plan de trabajo. El rol del Mideplan en la evaluación. Por Decreto Ejecutivo PLAN, se le asigna a MIDEPLAN la tarea de realizar evaluaciones de proyectos, planes, programas o políticas estratégicas, además de las acciones contenidas en el Plan Nacional de Desarrollo. En este sentido, la tarea de evaluación no debe ser tarea única de las Unidades de Planificación, de los Ministros Rectores o Enlaces. Debe verse como una tarea en conjunto, agregando otro tipo de actores académicos que puedan fortalecer la evaluación y la objetividad de la misma. Debido a lo anterior, el papel de MIDEPLAN es fundamental para la elaboráción de las evaluaciones estratégicas, no sólo como un "vigilante técnico" de la tarea realizada por los sectores e instituciones públicas, sino que debe de tener una tarea mucho más fuerte de acompañamiento en el proceso de evaluación y seguimiento de las políticas. Durante la lectura realizada de los documentos referentes a los Lineamientos y la Metodología de selección de los proyectos a evaluar, queda la impresión de que MIDEPLAN tuviera únicamente una labor de receptor y supervisor del proceso, para que la labor realizada por los enlaces se ajuste a los procedimientos establecidos. Se considera que en los Lineamientos debe quedar más explícito el mandato que la legislación le confiere a MIDEPLAN en los procesos de evaluación, un rol que debe ser más participativo en cada etapa

11 y delinear de una vez (aunque sea por etapas) hacia donde quiere llegar en el mediano y largo plazo. Construir un sistema de evaluación estratégica no es tarea fácil, pero es un tema de política pública con elementos técnicos y no a la inversa. Uno de los grandes dilemas a los cuales se enfrenta la evaluación estratégica es: Las evaluaciones sirven para dar cuentas a la ciudadanía, o para mejorar la gestión de los proyectos evaluados? Dado el comportamiento de la clase política, la experiencia ha demostrado que si los resultados se publican, los jerarcas se sienten atacados, en especial si la evaluación no es muy buena, al contrario, si se genera una mesa de trabajo privada con ellos y se les da las recomendaciones en forma confidencial, tienden a acatar y mejorar la gestión mas rápidamente, este tipo de reglas del juego deben quedar claras desde el inicio. Sin embargo y teniendo en cuenta lo anterior, el evaluado y el evaluador deben trabajar conjuntamente desde el principio, esto permite eliminar el sesgo de fiscalización que conlleva este ejercicio de evaluación, por eso la evaluación debe estar presente desde la planeación. La nueva Unidad de Acciones Estratégicas, debería aprovechar y dejar de lado ese sesgo de fiscalizador, policía, controlador, y convertirse en un centro de información estratégica, para la mejora de los programas y proyectos públicos, asesoría experta, de producción de información relevante para la toma de decisiones, etc. MIDEPLAN debe tener un rol activo en el proceso de evaluación de acciones estratégicas, por lo que se sugiere que haya un cambio de perspectiva que quede plasmada en los Lineamientos, donde no se vea como si los enlaces sectoriales fueran los únicos que tienen la tarea de realizar la evaluación y enviarla para que sea revisada por MIDEPLAN, sino que este último forma parte de todo el proceso de evaluación de la puesta en práctica de programas, planes, políticas y proyectos. Lo anterior garantiza un equilibrio entre el conocimiento o "expertise" que tienen los enlaces sectoriales, los ministros rectores y quienes ejecutan los programas o políticas sobre la materia a evaluar; y la objetividad que puede brindar en el proceso de evaluación tanto MIDEPLAN como otros entes externos. El uso determina lo estratégico de la evaluación. Un primer paso para poder elaborar un trabajo serio de evaluación estratégica, es conocer cuáles son los límites de ésta y cuál es la intención que ésta tiene dentro de todo el proceso de Evaluación y seguimiento de políticas, programas, planes y proyectos de la gestión pública. Se debe tener claro un elemento esencial: la decisión para evaluar debe ser estratégica, y no de rutina. Esta es una diferencia fundamental con la evaluación rutinaria de los planes realizados por las instituciones y los sectores. En este sentido, la principal pregunta que se

12 debe hacer es: para qué se quiere evaluar?, qué uso se le va a dar a los resultados de la evaluación?, quiénes serán los principales usuarios de los resultados? qué tan efectiva y útil es la evaluación propiamente dicha? La evaluación estratégica debe de ser vista como un recurso o un activo indispensable para aquellos usuarios de sus resultados, principalmente para aquellos que son evaluados, una activo que dirige a la acción y que puede contribuir al proceso de toma de decisiones y a la formulación (y reformulación) estratégica en todos los niveles. Es por esto que se ha reiterado en distintas ocasiones que la diferencia fundamental de la evaluación estratégica respecto a otro tipo de evaluaciones, radica en que la primera debe estar focalizada en tener un uso pragmático, es decir, que la evaluación debe estar diseñada e implementada de forma tal que realmente marque una diferencia en la mejora de programas y las decisiones sobre dichos programas. Según lo establece el Banco Mundial, el fortalecimiento de la capacidad de evaluación asegura el que se disponga de datos e información para colaborar a los países en cuatro áreas clave: a) Los resultados pueden ser importantes para la asignación de recursos, toma de decisiones y establecimiento de prioridades, b) constituyen un instrumento de aprendizaje y mejora a futuro, c) contribuyen al proceso de rendición de cuentas (hacer a los administradores responsables de la ejecución de las metas y d) demostrar el éxito de las actividades que promueven el desarrollo. Definir en cada instrumento utilizado, una utilidad distinta en cumplimiento de estas áreas, constituye un reto para la evaluación en Costa Rica. No todos los momentos donde se elaboran informes de seguimiento y evaluación tienen como fin estas cuatro áreas, de ahí que a veces se pierde el sentido y la dirección de los mismos. Para que la evaluación estratégica tenga un uso pragmático, el tiempo para presentar sus resultados debe coincidir con los tiempos claves donde las decisiones son tomadas, es decir, donde se puede abrir un espacio verdadero para que los resultados de la evaluación logren incidir en la aplicación de medidas correctivas que mejoren los programas y las políticas. Es por esto que la temporalidad de la evaluación no debe ser únicamente ex post, sino que debe concentrarse en períodos intermedios, donde la ejecución de la política está en proceso, a fin de que la evaluación realmente sea estratégica. En términos generales, la evaluación estratégica tiene como propósito desarrollar un análisis sobre los alcances a los cuales las actividades y productos planeados del proyecto pueden contribuir a resultados de más largo plazo. La evaluación estratégica no debe detenerse en problemas de implementación y entrega sino que debe responder a dos preguntas básicas: a) las actividades y metas del proyecto están ligados en forma causal a los resultados esperados? Y b) cuáles son los principales impactos esperados de las actividades, metas y resultados del proyecto? Creación de capacidad instalada.

13 Pese a lo anterior, es imperativo hacernos la siguiente pregunta: Tiene el Mideplan capacidad instalada para hacer evaluaciones o bien dar acompañamiento técnico a evaluaciones hechas por terceros? Consideramos que en este momento no, pero que un adecuado plan de capacitación, laboratorios, programas pilotos, y contratación de algunos expertos, podría ir generando la misma, lo cual nos plantea el escenario de que antes de que se inicie una oferta de este tipo por parte de la Unidad de Acciones Estratégicas, se debería plantear como un proceso anterior, un ambicioso plan de formación y capacitación, seguido por la ejecución de algunas acciones piloto en materia de evaluación, que permita que se vaya avanzando y creando esta capacidad, minimizando el riesgo de exponer a la nueva Unidad a tareas que eventualmente no pueda cumplir. El proceso de capacitación de los funcionarios de Mideplan podrían abordar temáticas diversas, pero se detectaron como urgentes: manejo de cálculos economét-ricos, y estadísticas, elaboración de Términos de Referencia, diseño y mapping de stakeholders, etc. Dada la carencia de fondos propios de Mideplan para estos procesos, se podrían generar alianzas estratégicas (cooperación horizontal) con el Consejo Nacional de Rectores, ONGs nacionales e internacionales, etc. La solución de pasar de una etapa de formación y capacitación a una de planes pilotos podría ser adecuada, sobre todo si se proyecta un Mideplan con capacidad de dar asistencia técnica en evaluación, dicha capacidad instalada se logra solamente haciendo -casualmente- evaluación. Una posible forma para abordar los pilotos podría ser ejercicios de evaluación ex - ante en algunos proyectos que no hayan iniciado la cual es menos compleja que la evaluación de impacto (Ver Anexo 3). El tema conceptual: Priorización - Selección, etc. Por otro lado, en el documento de lineamientos no queda claro el proceso de elaboración de propuestas y cómo se realiza la priorización de las mismas. La lectura de dichos lineamientos dejan entrever como si las instituciones tuvieran la libertad de presentar o no proyectos para ser evaluados, debido a que se establece que solamente aquellos que cumplan con los requisitos de evaluabilidad, serán los que se seleccionarán. El documento inicia directamente describiendo el momento en que la Unidad de Acciones Estratégicas del Área de Evaluación y Seguimiento, recibirá dichas propuestas de evaluación, las cuales serán agregadas al Banco de Evaluaciones. La presentación de propuestas de evaluación estratégica no puede dejar espacios donde se interprete que hay discrecionalidad de decisión sobre si se participa o no. La participación y la selección de los proyectos deben tener un mandato claro (reglas del juego claras) de prioridad por parte del Gobierno, y

14 ese debería ser uno de los primeros filtros para seleccionar los programas o proyectos. Por otro lado, además de aplicar los criterios de "elegibilidad" se deben aplicar los criterios de "prioridad" para el gobierno. No queda claro en base a qué MIDEPLAN asigna la prioridad a las propuestas planteadas. La "Metodología de priorización de propuestas de evaluaciones estratégicas" recomienda un formato para la presentación de propuestas, por parte de los enlaces sectoriales y Ministros Rectores, a partir del cual MIDEPLAN seleccionará los proyectos a evaluar y a agregar en el Banco de Evaluaciones. Sin embargo, no se explica el concepto de "priorización" dentro de este esquema. Por otro lado, esta metodología debe ser más explícita en el tipo de evaluación que se va a aplicar, y no solamente limitar al aspecto temporal de la evaluación.6 Como mencionamos, debe clarificarse mas detalladamente la delimitación entre la "priorización" y la "selección", se entiende que la primera corresponde a una serie de elementos técnicos con categorías numéricas, y que el segundo es un proceso mas "político", es este último punto que no logra determinarse claramente cual sería su procedimiento. La selección eventualmente podría hacerse participativa, incorporando actores de la sociedad civil, aunque si esto se hace muy abierto puede generar algunos riesgos. Existen variables políticas a las cuales hay que darles un peso importante en el proceso, sobre todo en materia de "priorización", se entiende que los criterios técnicos están definidos claramente (tamaño, población beneficiaria, vinculación al PND, sostenibilidad, recursos, etc), sin embargo será desafiante decirle a un jerarca que su programa no cumple "stricto sensu" son los elementos de elegibilidad y que por lo tanto no puede ser incluida, estas variables técnicas deben estar acompañadas de variables de orden político que le otorguen al sector (por ejemplo) algún grado de peso en la decisión y lo haga políticamente mas "potable". Asimismo, el proceso de selección de los programas o políticas a evaluar no debería ser anual, sino que dicho proceso debería hacerse una sola vez durante los 4 años de gobierno, debido a que es muy difícil que una acción o meta & En todo caso, una evaluación integral y estratégica de programas o políticas prioritarias para el gobierno deberían incluir los tres períodos: ex ante, intermedia y ex post, ya que la evaluación como proceso integral, debe estar presente en todo el proceso de diseño y ejecución de las políticas públicas. La evaluación ex ante contribuye a evaluar el diseño del programa e incluso a generar modificaciones si se requiriera ajustar el diseño de aplicación de las políticas (modificaciones que contribuyan a mejorar la "forma" del proyecto o política, pero no el "fondo" o las metas ya indicadas en el PND). La evaluación intermedia es necesaria para el proceso de seguimiento y la forma en cómo se van cumpliendo las metas del programa o política. Y la evaluación ex post es importante para analizar los resultados e incluso, los impactos, de la aplicación de las políticas. En este sentido, se debería solicitar más bien, que se indique qué elementos se van a analizar en cada uno de estos tiempos de evaluación, ya que, como se ha insistido, una evaluación integral debe comprender todos estos niveles.

15 estratégica tenga solamente una vigencia de un año. A fin de elaborar un trabajo de evaluación a profundidad de la ejecución de políticas prioritarias para el gobierno, se debe hacer una selección de aquellas que son más importantes, y darles un seguimiento continuo durante su período de aplicación. El seguimiento se puede hacer anual, tal y como lo indican los reglamentos respectivos, pero éste debería concentrarse en el avance de la ejecución de la política o programa, o en metas anuales en caso de que éstas hayan sido programadas. Pero en ningún sentido, se recomienda hacer una selección diferente de proyectos cada año, primero porque los del año anterior quedarían con una evaluación inconclusa, o segundo, porque debería hacerse un trabajo de priorización, a fin de que, aunque se evalúen pocos proyectos, se pueda asegurar una evaluación integral, completa, creíble, y ante todo, útil para los procesos de toma de decisiones y rendición de cuentas. Por otro lado, se menciona en la metodología que se debe definir el Enfoque de Evaluación, pero no se da una guía sobre cuáles son estos enfoques y cómo se llevan a cabo. Es imprescindible que el documento de Metodología indique una breve reseña sobre cuáles enfoques se pueden abordar, y cuáles técnicas de evaluación (experimental, por objetivos, entre otros) se pueden aplicar. La "evaluabilidad" es una herramienta, no solo un filtro. Hay que profundizar en el concepto de evaluabilidad, incluso se recomienda generar un "protocolo de evaluabilidad" para que sea de mas fácil acceso para quienes deban someterse a él, sin embargo es importante tener en cuenta que la evaluabilidad es una herramienta de mejora y su función no es únicamente establecer si se debe evaluar o no determinado programa, proyecto, política, etc. Conceptualmente la evaluabilidad constituye el análisis previo de la conveniencia de realizar la evaluación posterior de una intervención pública, valorando la existencia de las condiciones óptimas para llevarla a cabo y proponiendo las mejoras necesarias que preparen a dicha intervención para ser evaluada. Se estaría entonces en condiciones de poder determinar, en una fase posterior, el tipo de evaluación realizar. Significa que antes de poner en marcha una evaluación es oportuno describir cuál es la situación de los factores que pueden condicionar su alcance y prescribir la alternativa más adecuada para llevarla a cabo. El primero de los cometidos es más fácil de abordar pues, estos factores están relacionados con la intervención pública a evaluar y con los actores implicados en su diseño, gestión y ejecución. El segundo de los objetivos es casi inalcanzable si no se dispone de los conocimientos y habilidades suficientes en materia de evaluación que permitan deslindar entre diferentes alternativas. Por ello, se considera oportuno dejar esta tarea al equipo de trabajo que se vaya a

16 encargar de realizar la evaluación posterior, en caso de que se decida llevarla a cabo.7 El objetivo principal que persigue el análisis de evaluabilidad es reducir incertidumbres sobre la decisión de poner en marcha la evaluación, siendo aconsejable, sobre todo, cuando se piensa que la evaluación a realizar requerirá una inversión significativa de recursos. Con ello se evitarán gastos y esfuerzos innecesarios (Wholey, 1979). También sienta las bases para que las evaluaciones a realizar tengan más probabilidades de cumplir las expectativas de las personas promotoras, usuarias y/o destinatarias finales, pues acota el alcance de lo que puede llegar a ofrecerse con la evaluación, mejorando por tanto la utilización y utilidad de los resultados evaluativos. Ahora bien, la valoración de la evaluabilidad no debe concluir, exclusivamente, con la respuesta positiva o negativa sobre la conveniencia de evaluar la intervención, puesto que las recomendaciones del análisis de evaluabilidad deben permitir preparar a la intervención para ser evaluada, en caso de que se considere necesaria o sea obligatorio realizar la evaluación. Entre las preguntas que la evaluabilidad permite responder se encuentran las siguientes: Qué puede aportar la evaluación a esta intervención pública? Merece la pena evaluar esta intervención pública? Existen recursos suficientes para llevar a cabo el tipo de evaluación que se ha predeterminado? Qué elementos de la intervención pública deberían considerarse en la evaluación? Qué elementos de la intervención pública necesitan mejorarse para que ésta sea evaluable? Dadas las ventajas que presenta la realización del análisis de evaluabilidad, se espera lograr: 7 Desde los años 70, ha recibido otros nombres, como evaluación previa y pre-evaluación, Puesto que realmente es un análisis que se debe realizar antes de poner en marcha una evaluación de mayor envergadura, del tipo que sea. Así, en relación con el ciclo de vida de la intervención puede realizarse en un momento intermedio o tras la ejecución de la intervención pública, si se trata de decidir sobre la conveniencia de llevar a cabo evaluaciones a medio camino (evaluaciones intermedias) o evaluaciones ex-post, respectivamente. En definitiva, como apuntan Osuna y col. (2000), el análisis de evaluabilidad refuerza y complementa las evaluaciones de carácter temporal (intermedia y ex-post) y se considera como una fase previa que va a permitir clarificar la estructura de un Plan, Programa o proyecto, explorar su funcionamiento en su contexto de aplicación y, si es necesario, reestructurarlo a fin de mejorar la intervención pública.

17 Mejorar las intervenciones públicas, pues se ofrecen pautas que permiten mejorar el diseño de las estrategias de actuación. Perfeccionar los sistemas de información que permiten llevar a cabo el seguimiento de las intervenciones, puesto que uno de los objetivos debe ser la valoración de la adecuación de los sistemas de seguimiento articulados para recopilar información sobre el desarrollo de la intervención y sus resultados. Aumentar la eficacia y utilidad de la evaluación, puesto que se debe instar a las personas responsables de las intervenciones a formular explícitamente las preguntas de evaluación y las expectativas del proceso y resultados evaluativos y a compararlas con las posibilidades de alcanzarlas. Crear un clima favorable de cooperación e interacción entre personas y entidades evaluadas y evaluadoras, facilitando la realización de las tareas que posteriormente habrá que emprender para las evaluaciones. Mejorar la eficiencia en la gestión de los recursos públicos, pues los resultados de su aplicación pueden interpretarse como justificación del gasto a destinar a la evaluación (Merino, 2007: 31). En definitiva, el análisis de evaluabilidad, como cualquier tipo de ejercicio evaluativo, tiene entre sus cometidos servir de herramienta al proceso de toma de decisiones públicas y a la mejora, al menos técnica, de las intervenciones públicas, y no sólo servir de filtro para decir "sí" o "no" a un proceso de evaluación presentado. Participación = Transparencia = Legitimidad A fin de garantizar mayor objetividad, credibilidad e incluso hasta legitimidad en diferentes sectores, la evaluación estratégica debe considerar la opinión de determinados grupos académicos y formadores de opinión pública, principalmente si se le considera a la evaluación como una herramienta para la rendición de cuentas, y para mejorar la gestión pública del Gobierno. MIDEPLAN debe hacer una labor importante de acompañamiento externo para la realización de dichas evaluaciones estratégicas y esta relación con actores externos debería redituar en enriquecer los procesos continuos de capacitación a los funcionarios sobre diferentes técnicas y métodos para realizar las evaluaciones. Debido a dicha necesidad de realizar una evaluación con participantes con conocimiento y académicamente reconocidos que contribuyan a realizar un proceso objetivo, se debe empezar a formar una mezcla de colaboradores internos (funcionarios de MIDEPLAN, de las Unidades o Áreas de Planificación de las Instituciones, o de los propios Ejecutores de las políticas) y una lista de colaboradores externos (instituciones académicas, por ejemplo). Cada proyecto

18 o programa a evaluar debe definir un equipo de trabajo variado, donde se garantice una evaluación de calidad. Sobre el Registro o Banco de Evaluaciones. El Registro se presenta como un instrumento para ordenar el caos existente en materia de evaluaciones en el sector público costarricense, en especial pretende buscar uniformidad, consistencia y un orden mínimo en las evaluaciones que se lleven a cabo, así como ir generando con el tiempo, una base de benchmarking en el campo de la evaluación estratégicas (buenas prácticas y replicabilidad), esto último no es explícito en el documento y vale la pena desarrollarlo en la propuesta. Es importante que el documento de Lineamientos justifique la importancia y la utilidad de tener un Banco de Evaluaciones o un registro único de evaluaciones estratégicas. Se menciona que se registrarán dichos proyectos a los cuales se le aplicará la evaluación estratégica, sin embargo, no se da una explicación de qué es dicho Banco de Evaluaciones, en qué consiste, cuál es su utilidad, quiénes serán los usuarios, entre otros. De igual forma se deben establecer sus alcances, los períodos que va a contemplar, y al menos una idea general de cómo se trabajará esto a nivel informático (como una base de datos, un software, etc). Para ser relevante, la evaluación (y por ende el Banco de Evaluaciones) debe producir conclusiones o resultados que orienten la acción, y esto se fomenta con una participación y un apropio sostenido por quienes evalúan, quienes son evaluados y quienes hacen uso de la evaluación durante todo el proceso.8 La viabilidad e impacto del registro se cifra en los acuerdos institucionales (formales) que se logren con el Ministerio de Hacienda, en este sentido se recomienda que la creación del mismo vaya acompañado de propuestas de reforma normativa (leyes, no reglamentos), que fundamenten la obligatoriedad del uso del registro (quizá planteado por etapas progresivas), y que logren unificar los conceptos de planificación del desarrollo con planificación financiera, mientras lo anterior no se logre fundamentar en cuerpos legales formales, el funcionamiento del registro seguirá siendo en el mediano y largo plazo, un instrumento frágil y opcional. 8 La metodología para presentación de propuestas debe indicar que para cada acción estratégica seleccionada para ser evaluada, se debe seleccionar el modelo de análisis que esté más acorde a la intencionalidad que ésta tiene. No todas las acciones estratégicas pueden ser analizadas de la misma forma, ya que tienen distintos objetivos, algunas son cualitativas otras cuantitativas, algunas tienen mayor coherencia si se analizan con una evaluación de gestión, y otras con evaluación de resultados. Además, los beneficiarios de cada acción o política serán diferente, y por lo tanto, se requiere una adaptación particular para cada una de ellas. Donde se debe hacer un esfuerzo de síntesis es a la hora de registrarse en el Banco de Evaluaciones, el cual debe ser suficientemente amplio para abarcar distintos tipos de evaluación.

19 Se recomienda plantear la creación del registro por etapas, en especial para hacerlo políticamente viable, se sugiere crear un Plan de Acción en el cual el registro como ejercicio inicial pueda ser socializado en la mayoría de las instancias públicas (etapa de creación y socialización), se retroalimente con ideas de los que lo utilizarían y haya modificaciones permanentes; una segunda etapa de mayor formalización, buscando los acuerdos normativos mínimos para su puesta en funcionamiento, ya no como plan piloto, sino con carácter extensivo; una tercera etapa de inicio formal, etc. En pocas palabras, no se considera viable instalar este tipo de instancias y metodologías de manera abrupta, todo lo contrario, para que pueda materializarse, entenderse, legitimarse y arroje resultados positivos, su introducción debe ser progresiva, pero con un marco de tiempo claro. Hay que racionalizar las expectativas en relación a cuanta información puede manejar Mideplan en el Registro, no puede ser una base de datos de "cualquier cosa relacionada con la evaluación", muchas veces se tiende a pedir información exhaustiva que posteriormente no es analizada, un sistema de fichas descriptivas para la "inscripción en el Registro" podría ser una solución, dichas fichas luego estarían acompañadas de los ejercicios propiamente de evaluación en una base de datos, por lo que la creación de formatos de presentación -por lo menos para tratar de hacer una uniformización mínima-, podría funcionar en una primera etapa (Ver Anexo 1). No queda muy claro que se hará post-registro de las evaluaciones, en este sentido vale la pena plantear procesos posteriores de manejo de la información, describirlos y detallarlos, ya sea que se utilizarán para generar proceso comparativos o benchmarking, reportes a la ciudadanía, procesos de rendición de cuentas, publicaciones especificas, estudios, etc. En este sentido es importante desarrollar (justificar) ampliamente la utilidad (funcionalidad) de dicho Registro. En este sentido, dicho Banco no debería ser conceptualizado únicamente como una lista de proyectos con el propósito de tener un récord de los resultados de evaluaciones, sino que debe organizarse de tal forma que sirva como un instrumento para la toma de decisiones. La comparación de eficiencia y eficacia entre distintos proyectos que tienen objetivos parecidos (por ejemplo, programas o proyectos que tienen como propósito disminuir la deserción estudiantil), puede ser de vital importancia para decidir a cuál de todos los proyectos existentes con el mismo propósito se le da mayor importancia o mayor continuidad, es decir, tomar una decisión de si la política debe continuar, expandirse o finalizar. Lo anterior estaría en seguimiento al área 4 descrita por el Banco Mundial, donde la evaluación tendría una importancia en demostrar el éxito que tienen ciertos programas o políticas para promover el desarrollo. Un Banco de Evaluaciones Estratégicas tendría una funcionalidad práctica si éste hiciera un énfasis en realizar más que todo, evaluaciones de resultado o de

20 impacto de la política, a fin de que éste sea un instrumento informativo y que sirva para la comparación entre políticas públicas. En el caso de México, se tiene una base de datos automatizada, a cuya información se tiene acceso remoto dependiendo del nivel de autoridad, lo que permite informarse de asuntos relevantes y de información actualizada sobre la ejecución de políticas públicas. Lo anterior enfatiza en la necesidad de hacer de la evaluación estratégica una herramienta útil y creíble. Y para ello, se debe hacer una evaluación oportuna, objetiva y de calidad, donde haya un análisis bien argumentado sobre el porqué de la selección de los programas o proyectos a evaluar, las personas involucradas en el proceso, la metodología que se utilizará para recabar la información, analizarla y realizar recomendaciones, y el proceso de incorporación al Banco de Evaluaciones. La propuesta de creación del Registro en tanto centro de información de buenas y malas prácticas en materia de evaluación, parece ser no solo una propuesta buena sino necesaria, sin embargo debe estar precedida de la creación de protocolos de registro y manuales informativos, así como una campaña de información en las instituciones públicas, de lo contrario se puede convertir en un inventario ciertamente inmanejable y sin orden alguno, el rol de Mideplan en la "estandarización" de las evaluaciones debe ser una etapa posterior a la puesta en marcha del registro mismo como centro de información, pero debe partir desde el inicio de criterios y reglas del juego claras para todas las instituciones involucradas. Los informes para ser agregados al Banco de Evaluaciones, debido a que éste servirá como medio informativo y comparativo, deberán contener datos muy concretos, que se ajusten a los requerimientos del software que se vaya a utilizar, donde se incluya no sólo su cumplimiento, sino la ejecución presupuestaria realizada. Se debe dejar un espacio donde se haga referencia a las limitaciones que tuvo el proyecto, plan, programa o política para su implementación, y al mismo tiempo, las medidas correctivas que se podrían aplicar para mejorar dicha aplicación. Por otro lado, es importante que una iniciativa como esta (Banco de Evaluaciones), separe las evaluaciones anuales (de seguimiento) de las evaluaciones finales (de resultado e impacto). Los proyectos a evaluar en forma estratégica, deberían ser los mismos proyectos durante los 4 años de gestión del Gobierno de turno, ya que así se le puede dar continuidad y vigilancia a un conjunto limitado de políticas que son de interés para la actual Administración.