DOCUMENTO Nº 3 SISTEMA DE MONITOREO INTERNO CONCEPTOS

Transcripción

1 MINISTERIO DE PLANIFICACIÓN Y COOPERACIÓN DIVISIÓN SOCIAL SISTEMA INTEGRADO DE EVALUACIÓN DE INTERVENCIONES PÚBLICAS DOCUMENTO Nº 3 SISTEMA DE MONITOREO INTERNO CONCEPTOS Santiago de Chile, diciembre

2 INDICE PRESENTACIÓN...4 I. EL MONITOREO Y LA EVALUACIÓN QUÉ TIPOS DE EVALUACIÓN PODEMOS DISTINGUIR? LA EVALUACIÓN DE PROCESO QUÉ ES EL MONITOREO?...7 II. EL SISTEMA DE MONITOREO INTERNO...9 ASPECTOS GENERALES...9 a) Qué es el Sistema de Monitoreo Interno?...9 b) Para qué sirve? c) Cuáles son sus principales características? d) Qué estrategia de trabajo propone? PASOS METODOLÓGICOS PARA LA CONSTRUCCIÓN DEL SISTEMA ANÁLISIS DEL DISEÑO PROGRAMÁTICO a) Cuál es su Objetivo? b) En qué consiste un análisis de diseño? c) Cómo se desarrolla el análisis del diseño? d) Productos esperados de esta fase ANÁLISIS DE LA SITUACIÓN DIAGNÓSTICA QUE SUSTENTA AL PROGRAMA a) Qué objetivo tiene el análisis del diagnóstico para el diseño del SMI? b) Construcción del diagnóstico: Árbol de Problemas c) Árbol de Problemas - Árbol de Objetivos d) Productos esperados de esta fase SÍNTESIS E INTERPRETACIÓN DEL DISEÑO a) Qué objetivo tiene realizar una síntesis e interpretación del diseño? b) En qué consiste la síntesis e interpretación del diseño? c) Para qué sirve la MDE? d) Cómo se desarrolla la MDE? e) Definición de componentes de la Matriz de Diseño Evaluable f) Verificación de los contenidos de la matriz g) Qué productos se esperan de esta etapa? INDICADORES Y CRITERIOS DE EVALUACIÓN a) Qué objetivo tiene la identificación de indicadores y la priorización de criterios de evaluación? 33 b) En qué consiste la identificación de indicadores en orientación con los criterios de evaluación?33 c) Qué es un indicador en el SMI? d) Criterios de evaluación e) Qué productos se esperan de esta etapa de trabajo?

3 5. LOS INDICADORES Y SU VERIFICACIÓN a) Qué objetivo tiene esta etapa de trabajo en el SMI? b) En qué consiste la verificación de indicadores? c) Cómo se desarrolla la verificación de los indicadores? d) Qué productos se pueden esperar de esta etapa de trabajo? III. CONDICIONES DE LAS INSTITUCIONES PARA LA PUESTA EN PRÁCTICA DEL SMI COMPROMISO INSTITUCIONAL DEFINICIÓN DE LA UNIDAD DE ANÁLISIS EQUIPO INSTITUCIONAL CRONOGRAMA OPERATIVO Y PROYECTO DE INSTALACIÓN DEL SMI DISPONIBILIDAD DE INSTRUMENTOS DE REGISTRO DE INFORMACIÓN ESTABLECIMIENTO DE UNA PLATAFORMA O SOPORTE COMPUTACIONAL

4 PRESENTACIÓN Uno de los requerimientos más importantes de la actual gestión de políticas y programas sociales, dice relación con la disponibilidad oportuna de información que de cuenta de los resultados logrados en la intervención y de los avances y dificultades relativos a su implementación y desarrollo. No cabe ninguna duda que en este contexto la función de evaluación cumple un rol estratégico, en la medida que la instalación de dispositivos y prácticas regulares de registro y análisis de información, permite rescatar aquellos antecedentes que pueden orientar la gestión directiva y operativa de los programas, de forma tal que los aprendizajes en torno a la experiencia de intervención puedan ser utilizados en el transcurso de ésta y no solo una vez que el ciclo programático ha concluido. Por lo mismo, cabe destacar que las modalidades evaluativas ex post no constituyen, en modo alguno, las únicas alternativas que permiten evaluar programas, siendo evidente la enorme utilidad que revisten las evaluaciones de proceso que, o bien acompañan la implementación de los programas o bien, hacen seguimiento a la ejecución misma de las intervenciones. En cualquier caso, el potencial de este tipo de evaluación radica no sólo en el momento en que ella tiene lugar sino también en la posibilidad de que sean los propios programas los que operen sistemas evaluativos de estas características. En atención a esto, el Departamento de Evaluación de la División Social del Ministerio de Planificación y Cooperación, pone a disposición de los equipos programáticos del sector público, el Sistema de Monitoreo Interno, herramienta especialmente diseñada para guiar y apoyar a los profesionales y técnicos a cargo de la conducción y operación regular de programas sociales, en la evaluación de sus intervenciones. El producto que se puede esperar de la aplicación de esta metodología, corresponde a un sistema dinámico de indicadores, formulados para hacer seguimiento y evaluación a los distintos niveles de la intervención. Para facilitar la comprensión y aplicación de este instrumento, el documento conceptual que se presenta a continuación se acompaña de un Cuaderno de Trabajo que contiene indicaciones prácticas para el desarrollo secuencial de las fases metodológicas que componen la herramienta. No obstante lo anterior, resulta indispensable comprometer la participación activa y permanente de los miembros del equipo programático respectivo, en todo el proceso de construcción del sistema, no sólo para incorporar su experiencia en el diseño de un modelo pertinente a las características y particularidades de la intervención, sino también para 4

5 hacer viable su operación. Esto implica, además, contar con el compromiso institucional del agente a cargo del programa, en orden a implementar y hacer operar el sistema una vez que éste haya sido construido. I. EL MONITOREO Y LA EVALUACIÓN 1. Qué tipos de evaluación podemos distinguir? La evaluación es un conjunto de acciones destinadas a recoger información en torno a uno o varios aspectos de la intervención, utilizando instrumentos y técnicas que permiten hacer más sistemáticas las observaciones involucradas en ello de forma tal de formular juicios válidos y certeros que permitan valorar o ponderar esos aspectos. Dependiendo del momento en que se encuentre el ciclo de vida programático, es posible identificar tres tipos de evaluación: Evaluación ex ante Evaluación de proceso Evaluación ex post Esta clasificación se basa en una perspectiva que enfatiza las diferencias más que las similitudes de toda práctica que se denomine evaluación. Entre estas diferencias se encuentran: a) el momento en que se realizan; b) el foco específico de su observación; c) su intencionalidad; y, d) las características de sus resultados; es decir, el cómo, el qué y el para qué. 5

6 Cuadro 1 Tipos de evaluación TIPO DE MOMENTO DE OBJETO DE ASPECTOS QUE FINALIDAD EVALUACIÓN REALIZACIÓN EVALUACIÓN CONSIDERA ANTES DE LA Diseño de Coherencia del Decidir la EX ANTE EJECUCIÓN programa y proyecto implementación comportamiento Pertinencia con del programa futuro de la el diagnóstico intervención Viabilidad de implementación. Costos de la intervención PROCESO DURANTE LA Operación y Ejecución, logros y Mejorar la EJECUCIÓN gestión del productos de un ejecución y programa programa gestión DESPUÉS DE Resultados Logro, Emitir un juicio EX-POST TERMINADO UN concretos de la cumplimiento de sobre la CICLO intervención en objetivos. sustentabilidad OPERATIVO DEL su población Impacto del de esa PROGRAMA objetivo programa en su intervención población objetivo 2. La Evaluación de Proceso Como lo hemos sugerido en el cuadro precedente, la evaluación de proceso es una observación que se realiza durante la ejecución, siendo su objeto la operación real de un programa o proyecto como un proceso que no ha concluido. Dentro de la metodología de evaluación de proceso, existen diversas modalidades diferenciadas por los énfasis en ciertas características y aspectos particulares. Según este criterio podemos distinguir: 6

7 El control, que enfatiza la constatación del cumplimiento de ciertas condiciones o procedimientos. Se encuentra, generalmente, ligado a un requerimiento administrativo que señala aspectos estratégicos a cautelar en una mirada puntual y específica, y relacionado con un nivel de deseabilidad en el logro de las actividades. La supervisión enfatiza aquella observación que da cuenta del desarrollo del conjunto de las actividades de un proyecto, línea o componente de un programa, desde la óptica de acompañamiento en los distintos niveles de la ejecución. Es una observación tangencial con una integración a procesos intermedios. El seguimiento pone su atención en el análisis de un conjunto de información relevante para determinar el estado de desarrollo de las actividades y productos programados, tomando como unidad u objeto de observación el estado global del programa. Es una observación permanente y estable, y alimenta principalmente los registros y sistemas de información. El monitoreo, por su parte, enfatiza el análisis de la totalidad del proceso de puesta en práctica de un programa desde la formulación de la intervención hasta la participación de los destinatarios en ella. También, aporta información relevante respecto a los resultados esperados del programa. Es preciso tener en cuenta que trabaja dinámicamente con la realidad de la implementación y por lo tanto, la interviene. Tiene especial similitud con el seguimiento, aunque cuenta con una operacionalización más dinámica, ágil y en contacto permanente con el programa. Además, el monitoreo nunca pierde de vista el diseño del programa, por tanto la información que aporta es valorada en función de los componentes programáticos definidos en ese diseño. 3. Qué es el Monitoreo? Como modalidad evaluativa, el monitoreo plantea la necesidad de avanzar desde una observación estática de la realidad -tal como una fotografía-, a una mirada dinámica que recoja la complejidad de sus relaciones y que respete el ritmo propio de los procesos que ocurren en la intervención social. Estamos asumiendo un concepto de evaluación vinculado con la existencia de un proceso de observación sistemático, que genera información relevante para apoyar un juicio acerca del valor de algunos o todos los componentes de un programa en los 7

8 distintos momentos de su ciclo de vida. De esta forma, la utilidad de la evaluación reside en su capacidad de: Entregar información sobre el diseño, la ejecución y los resultados de un programa, y Medir y comprobar el grado en que sus diferentes actividades han producido efectos y resultados concretos. Por esto, la evaluación: Apoya el proceso de toma de decisiones Mejora los diseños y modelos de intervención social Promueve el conocimiento y la comprensión de aquellos aspectos ligados al éxito o fracaso de los resultados esperados Identifica las prácticas más óptimas Refuerza la sustentabilidad del programa En toda evaluación deben darse al menos los siguientes elementos: Observación sistemática que recoge información pertinente Análisis e interpretación de dicha información Generación de un juicio para apoyar la toma decisiones. Por cuanto el Monitoreo es una modalidad evaluativa, podemos asumir que contiene las características expresadas hasta aquí como propias de la evaluación, enfatizando algunas de ellas en desmedro de otras. CARACTERÍSTICAS MÁS RELEVANTES DEL MONITOREO Se integra a los ciclos de operación de un programa o proyecto social concreto. Recoge, analiza e interpreta información de manera continua e inmediata a la ejecución del programa. 8

9 La información es utilizada para tomar decisiones tendientes al mejoramiento de la gestión y ejecución global del programa. Dado que tiene un manejo de información ágil y continua a la acción programática, permite prever situaciones de riesgo e introducir modificaciones en la ejecución. No sólo se aboca a la gestión del programa, sino también incorpora una mirada a largo plazo relacionada con los logros que el programa se ha propuesto. II. EL SISTEMA DE MONITOREO INTERNO Aspectos generales a) Qué es el Sistema de Monitoreo Interno? El SMI es una metodología de trabajo para que los programas sociales en ejecución generen modalidades internas de evaluación permanente que les permitan medir los niveles de avance y las dificultades que se reconocen durante la puesta en marcha, en relación a los resultados esperados, establecidos por el diseño. Puede identificarse como un modo de evaluación de proceso, dado que las observaciones ocurren durante la implementación y/o ejecución de las acciones del programa y retroalimentan directamente las decisiones y a los equipos que lo llevan a cabo. Trabaja sobre la base del diseño del programa social como marco orientador de toda evaluación, e identifica aquellos indicadores pertinentes a la lógica del programa y que responden a sus necesidades y prioridades en evaluación. Ante todo, su finalidad es el fortalecimiento y perfeccionamiento del diseño de intervención, siendo un insumo fundamental para establecer la permanencia y eficacia de los programas. Unifica en un mismo proceso la ejecución y evaluación sin generar recargas adicionales de trabajo a quienes administran y operan el programa. 9

10 b) Para qué sirve? Para que la operación de los programas incorpore, en forma permanente, la evaluación como una herramienta estratégica para mejorar y rediseñar la intervención programática, logrando efectivamente los mejores resultados e impacto social posibles. Para potenciar a los equipos internos, de manera que sean quienes tengan el mayor conocimiento y manejo de la aplicación del programa en la realidad y puedan responder a las demandas y requerimientos de información evaluativa como interlocutores calificados, tanto en lo que se refiere a la intervención como a los conceptos evaluativos necesarios. c) Cuáles son sus principales características? El SMI posee algunas características que, como metodología de análisis y evaluación, la hacen particular dentro del monitoreo. Entre éstas se encuentran las siguientes particularidades: Integra las experiencias y miradas directas de los equipos en la realidad del programa. Considera aspectos de la ejecución, pero también avances de resultados, siempre en una visión de largo plazo y del programa en su conjunto. Es una mirada continua, no puntual de la acción; por ello está en permanente renovación a través del tiempo. La observación y retroalimentación la realizan los propios equipos operativos. Busca perfeccionar la operación más que la generación de juicios. d) Qué estrategia de trabajo propone? Para el diseño e implementación del Sistema, esta metodología propone un trabajo conjunto entre integrantes del programa y facilitadores externos, quienes se 10

11 constituyen en equipo de competencias y experiencias mixtas con el objetivo común de diseñar un sistema de monitoreo especifico y consistente en materia de evaluación. El diseño de un SMI es el resultado de un espacio de discusión y análisis que enfatiza el traspaso de destrezas, a través de reuniones periódicas con un grupo estable del programa social en cuestión, para asegurar la operación del monitoreo y su necesaria actualización en el tiempo. Por lo tanto, la primera etapa del SMI es la constitución del equipo del programa que participará en el análisis del diseño programático, en el análisis de la situación diagnóstica que sustenta la intervención, en la síntesis e interpretación del diseño (a través de la construcción de una Matriz de Diseño Evaluable del Programa) y en la identificación y validación de los indicadores. La condición ideal para que la metodología opere de manera expedita, es que los miembros de la institución convocados a integrar este equipo de trabajo, conozcan el programa que será analizado y además, que permanezcan vinculados a esta instancia desde el inicio y, al menos, hasta la generación de los indicadores. Una vez que el equipo de trabajo esté constituido y se hayan concordado las estrategias más apropiadas para operar, se deberá explicitar el compromiso, institucional y personal, que favorecerá la participación y permanencia de todos los integrantes en el proceso. El equipo de programa realiza un aporte basado en la experiencia operativa y el conocimiento en detalle de la realidad intervenida, así como de la lógica y diseño de la intervención. El equipo facilitador tiene la responsabilidad de conducir el proceso de análisis de intervención y la asistencia técnica en temas ligados a la evaluación y la planificación en política social. Igualmente, establece recomendaciones pertinentes para su implementación. El equipo facilitador de SMI trabaja sobre la base de la información entregada por el Programa sobre el diseño, y en cada etapa va sistematizando productos intermedios que permiten visualizar el avance del trabajo y fortalecer una retroalimentación permanente. Dado que uno de los objetivos instrumentales más importantes del SMI es transferir a los equipos programáticos las herramientas y habilidades para operar por sí solos esta metodología, con prescindencia de apoyos externos permanentes, la participación del equipo facilitador es temporal, en el entendido que le corresponderá apoyar al equipo de programa respectivo, en las etapas iniciales de construcción y puesta en operación del SMI, pero la responsabilidad principal de operación de esta metodología, a partir de la validación de indicadores, debiera corresponderle al equipo programático. 11

12 En términos muy generales, cabe señalar que la primera etapa en la construcción del sistema consiste en el análisis de las características del programa, tanto en base a información documental recabada sobre él, como en base a la experiencia programática de sus operadores. En base a lo anterior, se da paso a la segunda etapa que consiste en la construcción del Árbol de Problemas y el Árbol de Objetivos que permiten contrastar las especificidades de la situación diagnóstica que dio origen a la intervención, con las características reales del programa en análisis. A partir de esta comparación, se elabora la síntesis evaluativa del diseño, dando origen a una versión corregida de él, en el formato de la Matriz de Diseño Evaluable del Marco Lógico. Una vez que la Matriz ha sido construida se formulan los indicadores que harán posible el seguimiento y se vacían en una malla de verificación donde se detallan los momentos, mecanismos y agentes que intervendrán en la alimentación, análisis e interpretación de cada uno de ellos. Por último, se contempla la validación del trabajo realizado en espacios territoriales más descentralizados, privilegiando en esta etapa a aquellos equipos que poseen la experiencia de gestión de manera directa, con el fin de incorporar un juicio de realidad a los elementos que finalmente van a integrar el SMI concreto y que alimenta la programación de una estrategia de implementación en el programa. 12

13 Cuadro 2 Fases metodológicas de la construcción del Sistema ÁRBOL MDE MDE CRITERIOS MALLA Plan de trabajo Análisis información documental Reinterpretación del diseño Identificación de indicadores Modos de verificación Validación territorial Organización operativa Esquema de trabajo Identificación modo operativo Síntesis evaluativa del Diseño Set de Indicadores Detalle uso acordado Set validado SMI específico Equipo entrenado Lógica evaluativa 13

14 Pasos metodológicos para la construcción del Sistema La sección que se desarrolla a continuación, presenta de forma detallada cada uno de los pasos o etapas metodológicas que se deben ir cumpliendo en el diseño de un Sistema de Monitoreo Interno. En consecuencia, se entienden como fases sucesivas y secuenciales, cuyos productos son insumos o condiciones para las fases posteriores. 1. Análisis del Diseño Programático a) Cuál es su Objetivo? Esta etapa del trabajo tiene por objetivo sensibilizar al equipo de trabajo respecto al diseño real y operativo de la intervención. Se enfatiza una perspectiva analítica que permita reflexionar en torno a los principales aciertos y obstáculos que el equipo tiene que enfrentar en su trabajo diario. b) En qué consiste un análisis de diseño? El análisis del diseño es una herramienta clave en el SMI 1, pues entrega información que permite establecer una mirada interpretativa y analítica sobre las intenciones, la práctica y las posibilidades futuras del programa. Es la primera aproximación que realiza el equipo a los principales contenidos del modelo de intervención y propuesta global del programa. Se trabaja sobre la base del diseño existente, porque la intención evaluativa que adopta el SMI es un compromiso con los resultados y el continuo perfeccionamiento de los programas sociales. Esto hace que el diseño del programa sea uno de los insumos más relevantes de la evaluación, para el desarrollo de un modelo específico de monitoreo en cada programa. Este análisis debe considerar, a lo menos, los siguientes aspectos: La descripción, objetivos y población objetivo del programa. Modelo de intervención programática. Estrategia de trabajo del programa a nivel nacional. Aspectos claves que favorecen y/o dificultan la intervención. 1 Y en cualquier tipo de evaluación aplicada, sobre la cual se realiza observación y se emite un juicio. 14

15 c) Cómo se desarrolla el análisis del diseño? Se realiza una reflexión conjunta en la que se identifica la lógica global del programa y su modelo de intervención a nivel de diseño y operación concreta. La reflexión se encuentra apoyada en una metodología que contempla los siguientes pasos: a. Se recoge y se analiza de manera interpretativa toda la información documentada de la que dispone el programa. Esta información debe estar orientada a la descripción, objetivos, modelo de intervención (si lo tiene), estudios evaluativos del programa y sistemas de información y control con los que se cuenta. b. Se realiza una discusión del equipo de trabajo, que es guiada por el equipo facilitador, en la que se exponen aquellos aspectos que no quedan claros a partir de la sola lectura de los documentos. Sobre la base de esta retroalimentación, se esboza una propuesta común. c. Se establecen los acuerdos básicos a nivel de diseño y estrategia de intervención 2 que, filtrados por los criterios de realidad que aporta el equipo operador, permite realizar un primer diagnóstico del programa. d) Productos esperados de esta fase. Se pueden distinguir productos en dos niveles: Desde el equipo programático Equipos de programa sensibilizados con una mirada analítica del programa, que les permite visualizar aquellos aspectos que la práctica de operación cotidiana hace invisibles a la mirada interna. Desde el Monitoreo Radiografía del programa, que permita comprender su 2 Se entenderá por Estrategia de Intervención la manera particular en que un determinado agente una institución o una instancia programática, define la situación que afecta a un grupo y la forma en que intenta alcanzar los objetivos propuestos en el programa. Por lo mismo, su carácter estratégico está dado porque implica una visión de futuro que indica cuál es la nueva situación a la que se quiere llegar y los cambios que se espera generar en la población objetivo de la intervención. Secretaría Ejecutiva. Comité de Ministros Social

16 lógica de conjunto. Reconocimiento de elementos estratégicos que potencian y/o vulneran al programa. 2. Análisis de la Situación Diagnóstica que sustenta al Programa a) Qué objetivo tiene el análisis del diagnóstico para el diseño del SMI? Esta etapa de trabajo tiene por objetivo delimitar el diagnóstico que fundamenta la existencia del programa. Dicho diagnóstico abstrae aquellos elementos fundamentales que permitan actualizar y ordenar la realidad en la cual opera el programa; y en tanto permite delimitar el ámbito de intervención al cual puede aspirar aquél, constituye un apresto para la construcción de la Matriz de Diseño Evaluable. b) Construcción del diagnóstico: Árbol de Problemas El diagnóstico de la realidad social en la cual opera el programa es una abstracción que delimita y organiza las condiciones particulares que viven las personas que son afectadas por un problema social concreto. Se trata de hacer una caracterización de las situaciones que enfrentan las personas y que fundamentan una intervención en dicha población. En el diagnóstico se identifican los principales problemas y las principales relaciones causaefecto que existen entre éstos, por medio de un Árbol de Problemas 3. El Árbol de Problemas es un instrumento analítico que permite precisar de manera acotada la carencia o déficit principal que a cada programa le corresponde abordar, con un reconocimiento de sus principales causas y efectos. Tiene esa denominación porque presenta el desagregado de la situación problema a través de un abanico esquemático de sus relaciones. No olvidemos que: 3 El Árbol de Problemas es una técnica más, entre otros métodos existentes, que permite la construcción de un diagnóstico, que en este caso se efectúa desagregando el problema en el sinnúmero de relaciones causa efecto que lo determinan. Se ha optado por el uso de esta técnica, básicamente porque la lógica con la que trabaja facilita la organización coherente de los antecedentes del problema en análisis. 16

17 El problema central es entendido como una adecuada síntesis del problema social que justifica la existencia del programa, con las delimitaciones y las características correspondientes. Las causas son aquellos factores que estarían incidiendo en la existencia de la situación problema. Son los principales por qué de la situación identificada, para reconocer los factores que la determinan de manera evidente. Los efectos son las evidencias del problema. Puede ser una agudización del problema central o una simple consecuencia lógica. Debemos destacar que el árbol de problemas se refiere a una situación que se da en la realidad, por lo que la denominación de las causas y efectos del problema central debe referirse a un diagnóstico actualizado y concreto. Por ello, estas dimensiones del árbol de problemas no deben referirse a aquellas situaciones que son producto de la intervención del Programa. Hay que tener en cuenta que la conceptualización de una situación como causa o efecto es relativa al problema que se considere; en concreto, es posible y correcto que una misma circunstancia sea considerada causa para un problema y efecto para otro. Cuadro 3 Esquema del Árbol de Problemas LOS EFECTOS QUE EL PROBLEMA GENERA EL PROBLEMA LAS CAUSAS QUE ORIGINAN EL PROBLEMA 17

18 18

19 c) Árbol de Problemas - Árbol de Objetivos La utilidad del árbol de problemas, no es sólo la identificación de la situación social que justifica una determinada intervención y las posibles causas asociadas a la generación de dicho problema. Esta técnica sirve, sobre todo, para transformar el árbol de problemas y las relaciones causa - problema - efecto ahí identificadas, en alternativas para la intervención, al convertir estas relaciones en imágenes positivas sobre la realidad en la que se va a intervenir. De esta forma, al momento de construirse la Matriz de Diseño Evaluable que servirá al monitoreo del programa, la definición de propósito, objetivos y productos debiera verse facilitada por la información que el equipo ha volcado en el Árbol de Problemas y, a partir de éste, en el de objetivos. La definición de cada uno de los niveles de la Matriz, como se verá más adelante, debe sustentarse en decisiones concordadas colectivamente por el equipo de programa. Pero esto se puede ver enormemente facilitado por el ejercicio realizado previamente a través del árbol de problemas. Cuadro 4 Esquema del Árbol de Objetivos LOS RESULTADOS DE LA INTERVENCIÓN LOS OBJETIVOS LAS PRINCIPALES ESTRATEGIAS DEL PROGRAMA 19

20 d) Productos esperados de esta fase. Esta etapa contempla productos en dos ámbitos: Desde el equipo programático Equipo de trabajo que tiene una visión consensuada sobre el diagnóstico que fundamenta la existencia y orientaciones estratégicas del Programa. Desde el Monitoreo Se elabora un diagnóstico base del Programa actualizado de acuerdo a la experiencia de equipo de programa. 3. Síntesis e Interpretación del Diseño a) Qué objetivo tiene realizar una síntesis e interpretación del diseño? Esta etapa de trabajo tiene por objetivo realizar una reinterpretación del programa en su conjunto, a nivel de diseño cómo debería funcionar - y de la operación real cómo funciona en realidad -. Pretende consensuar una mirada común al equipo de trabajo, que retrate sintéticamente la lógica procesual del programa. A nivel del diseño del SMI, su definición constituye un producto fundamental para las etapas posteriores, ya que se trata de la base que guiará la evaluación. b) En qué consiste la síntesis e interpretación del diseño? En esta etapa, se trata de identificar con precisión los principales elementos del diseño que son susceptibles de evaluar en el programa, de manera tal que permita relacionarlos de manera sistemática y clarificar las priorizaciones que sean pertinentes. 20

21 El resumen reinterpretativo es producto de una reflexión basada en el diseño y la realidad operativa del programa: establece una síntesis que permite comprenderlo de manera más clarificadora e incorporar los logros esperados mediante una ejecución exitosa. Esto significa que la definición del diseño marco de la evaluación no debe constituir una autoconfirmación de lo que se realiza, sino que debe tender a identificar los vacíos e inconsistencias del programa, para tener como resultado una ejecución perfeccionada del mismo. Lo anterior significa que esta síntesis debe ser un reflejo de todas aquellas expectativas y exigencias que se incorporan en la ejecución del programa para el óptimo logro de los resultados esperados. Su formulación debe incorporar las inquietudes evaluativas tendientes al mejoramiento del diseño global y ejecución del programa. La síntesis e interpretación del diseño, debe finalmente expresarse en una Matriz de Diseño Evaluable (MDE). Ésta consiste en un instrumento que permite organizar consistentemente, desde el momento mismo en que se reformula el diseño, en función de la operación real del programa, las acciones que deberán desarrollarse para cumplir los objetivos que el programa se ha propuesto, a través de la generación de determinados productos, también definidos a priori. Esta herramienta de diseño, opera con las definiciones básicas del Marco Lógico y sus distintos componentes, por lo que sirve, a la vez, como una herramienta de diseño y de evaluación, en la medida que se incorporan indicadores que sirven para tal efecto, siendo precisamente éste su principal atributo. La operatoria de este instrumento se apoya en los siguientes supuestos: Aplica la lógica relacional de la técnica del árbol de problemas, en el sentido que asume que los elementos de un programa y particularmente su estrategia de intervención, guardan entre sí una relación causa - efecto o medio - fin. Hace referencia no sólo a los componentes internos del programa, sino al entorno en el que su ejecución tendrá lugar. Por eso concede especial importancia al tema de las condiciones o factores externos, los cuales a su vez determinan la viabilidad real de las acciones, productos y objetivos definidos en el programa. c) Para qué sirve la MDE? 21

22 La verificación de la consistencia interna de un diseño, vaciado en esta matriz, pretende, ante todo, garantizar que el trabajo que los distintos actores vayan desarrollando, se ajuste al propósito y objetivos del plan general de trabajo que todos comparten. Esto, desde el punto de vista de la ejecución, en el entendido que la formulación de un diseño y el resguardo de su coherencia interna, permitirá guiar la intervención de acuerdo a los criterios y objetivos definidos en el diseño. Esto último, porque los diseños tienen una función directriz principal, en el sentido que destacan los aspectos a los que se debe conceder prioridad, y definen las orientaciones principales de la intervención, tanto desde el punto de vista de su estructuración interna como de la correspondencia del programa y sus definiciones con el contexto institucional en que se encuentra. Sin embargo, la MDE sirve también para consolidar criterios en torno a la intervención, pues no es extraño que distintos miembros de un equipo programático tengan definiciones distintas y particulares sobre lo que hacen. Al reinterpretar el diseño de un programa, el equipo que se encuentra a su cargo tiene la posibilidad de estandarizar las definiciones que se encuentran en la base misma de la intervención. Validar el diseño previamente (o ex-ante), utilizando esta técnica, implica organizar las acciones que se van a ejecutar, señalando oportunamente las responsabilidades de cada actor que intervendrá en el proceso, y las condiciones de las que dependerá la realización satisfactoria de lo programado. Y validar el diseño de lo que se realiza (ex-dure) en esta etapa de síntesis y reinterpretación, implica concordar criterios comunes que permitirán formular indicadores y definir parámetros pertinentes de evaluación. Aún cuando la metodología del Marco Lógico en su versión más ortodoxa, presenta diversos problemas de aplicación, dada la complejidad y rigideces que su lógica trae aparejadas, su utilización se justifica en la medida que es funcional a los requerimientos específicos de un área de trabajo determinada. Así por ejemplo, esta metodología ha sido pensada fundamentalmente para apoyar técnicamente el diseño de proyectos, pero otras experiencias han extendido su ámbito de aplicación a la formulación de programas y planes. Por lo mismo, la flexibilidad debe ser una característica esencial, permanente y transversal a todas las etapas de operación del programa. Desde el punto de vista técnico, la utilización del Marco Lógico, es decir, de la Matriz de Diseño Evaluable, se justifica por lo siguiente: Permite que en el diseño de un programa se planteen las preguntas fundamentales que permitirán analizar sus debilidades y anticipar los nudos críticos que enfrentará la implementación y la ejecución, aportando información clara y pertinente para la coordinación de acciones y la toma oportuna de las decisiones relativas a cada una de estas etapas. 22

23 Permite realizar un análisis sistemático y progresivo de los diferentes elementos que determinarán la viabilidad de la intervención. Es decir, los planteamientos contenidos en este instrumento, deben seguir una secuencia lógica de mayor a menor generalidad, de manera que se llegue efectivamente a la concreción de dichas acciones. Será precisamente el monitoreo y evaluación de éstas, lo que permitirá determinar el estado de avance en el cumplimiento del propósito, objetivos y productos establecidos en el diseño. Permite mejorar la fase de planificación, destacando las relaciones existentes entre los elementos propios de cada estrategia. En tanto instrumento de diseño, gestión y evaluación, la estructura de la MDE permite describir los factores externos de los programas de manera operativa, con indicadores precisos que pueden facilitar su seguimiento, para monitorear procesos de implementación o estados de avance en su ejecución. Esto implica asignar una alta valoración a la significación de los factores externos, a fin de apreciar las posibilidades de éxito o fracaso de las estrategias sugeridas por el programa. Facilita la buena comunicación y el entendimiento entre quienes están participando en el diseño y en la gestión de las acciones definidas en el diseño, partiendo de la base de un lenguaje común, provisto por el marco general de la planificación. Es decir, no sólo es una herramienta que apoya la formulación de la intervención sino también un instrumento en el que debiera apoyarse la ejecución, aspecto fundamental a tener en cuenta si se considera que la operacionalización efectiva de un diseño, depende del nivel de especificidad que éstos puedan tener para la concreción de sus objetivos. Permite recoger de manera precisa aquella información relevante para la evaluación del proceso; esto, porque al hacerse el monitoreo del programa, lo que se está haciendo, en rigor, es evaluar cada uno de sus componentes, esto es, todas aquellas acciones que se realizan en la intervención. Además de las ventajas que esto tiene desde el punto de vista de la evaluación, se pueden anticipar las necesidades de información que se requerirán para que ésta se lleve a cabo, identificando las fuentes de las que depende su disponibilidad oportuna y, de ser necesario, la instalación de un sistema de registro adecuado que permita recoger esa información y ponerla a disposición de los ejecutores en cualquier momento del proceso. Permite sistematizar el sentido del proceso social presente en el programa, para trabajar sobre la base de una marco común. Esto se logra porque esta herramienta facilita la definición precisa del diseño, cuidando la coherencia entre cada elemento que la compone y el conjunto de dimensiones del diseño. De esta forma, 23

24 cada celda de la Matriz de Diseño Evaluable debe ser elaborada e interpretada de acuerdo a la lógica global del conjunto que da cuenta de la intervención. Dado que la MDE es el reflejo del proceso social que involucra el programa, no constituye un producto estático e inalterable. Como herramienta de análisis, debe permitir sintetizar la realidad actualizada del programa, y por tanto debe ser definida en función de sus ciclos operativos. d) Cómo se desarrolla la MDE? La Matriz de Diseño Evaluable es un cuadro de doble entrada que incorpora la síntesis del diseño a nivel descriptivo y explicita las condiciones que se requieren para el desempeño exitoso del programa. Es decir, se trata de un formato tipo en el que se sistematizan y consolidan los elementos más importantes del diseño de un programa. Cuadro 5 Esquema de la Matriz de Diseño Evaluable Misión Institucional Propósito Objetivos Específicos Productos Actividades Población Objetivo Agentes Facilitadores Descripción Condiciones 24

25 En la construcción de la MDE se realizan los siguientes pasos: 1) Llenado de la columna de descripción 2) Llenado de columna de condiciones 3) Verificación conceptual 4) Revisión de su lógica interna e) Definición de componentes de la Matriz de Diseño Evaluable En la columna descripción se debe expresar de manera sintética el contenido de los conceptos enunciados en la primera columna para cada fila, con énfasis en los aspectos más relevantes de cada uno de ellos. Los conceptos involucrados en cada fila son: Misión institucional: Es el marco general que orienta la acción del programa. Expresa la relación que debe existir entre el programa y el objetivo institucional en que éste se desarrolla; debe explicitar una relación coherente con el ámbito de intervención de la institución de la cual forma parte el programa. Es claro que el programa por sí mismo no puede lograr esa misión institucional, por lo tanto, tiene que referirse siempre a condiciones que sobrepasan ampliamente las posibilidades de acción del programa. No se trata de una mirada optimista de su operación (lo que el programa quiere lograr), sino de espacios que van más allá de la intervención directa de éste. La idea es, por tanto, vincular este gran objetivo a las misiones institucionales de cada repartición de la cual dependa jerárquicamente el programa, como una manera de posicionarlo en una operación coordinada y coherente. A pesar de que este nivel de la matriz queda fuera de la evaluación o monitoreo, porque el ámbito ahí definido excede las posibilidades reales del programa de alcanzar ese macro objetivo, es necesario tenerlo siempre a la vista pues otorga un marco de coherencia general para la formulación y comprensión de los demás niveles de la intervención. 25

26 Propósito: Se le define como el objetivo general al cual contribuye el programa a largo plazo; es la situación que se espera alcanzar como consecuencia final de la intervención. Se trata, en definitiva, del efecto neto que el programa quiere lograr con la implementación de la estrategia o las acciones diseñadas. Está siempre referido a las condiciones de los sujetos de intervención (la población objetivo) y nunca debe señalarse en torno a las acciones de los ejecutores del programa. No puede referirse a ningún tipo de actividad del programa, sino directamente al logro de ella. Por lo tanto el propósito debe incorporar: El para qué se realizan las actividades del programa El para quién, haciendo referencia al grupo objetivo que se quiere atender. Objetivos Específicos: Se le define como la expresión más operacional del propósito u objetivo general. Corresponde al efecto inmediato de las acciones o actividades realizadas. Es el nivel más amplio en el que se pueden observar los resultados directamente atribuibles a la intervención realizada. Su especificación debe guardar exacta relación con el momento en que el sujeto de intervención egresa del programa. Al igual que el propósito, los objetivos específicos deben considerar: El para qué que es más detallado, específico o desagregado, y en un tiempo más inmediato que el propósito; El qué, referido al efecto generado en los sujetos de intervención recién egresados del programa. Productos: Es el logro inmediato de las actividades que se planifican para dar cumplimiento a los objetivos del programa. Por lo tanto es lo inmediatamente observable una vez que las actividades del programa han concluido. 26

27 Se encuentra en un momento intermedio entre las actividades y los objetivos específicos. Sin embargo no debe entenderse como la acción realizada, sino como el logro de esa acción (la actividad + un plus). Se le puede también llamar resultado inmediato, pero es preferible mantener su distinción por la utilización de este concepto en términos evaluativos. No considera en sí mismo un valor positivo nítido para el programa; si éste se limitase al nivel de los productos, sus efectos no le aportarían nada sustantivo a la situación diagnosticada inicialmente. Actividades: Es un plan operativo de intervención, que en lo más específico o concreto señala las acciones y programaciones que se realizan para llevar a cabo la estrategia de intervención elegida para obtener los productos. Expresa el plan de trabajo (el cómo) para lograr los productos, los objetivos específicos, el propósito y la contribución del programa a la misión institucional. Población Objetivo: Son aquellas personas hacia las cuales se dirige el accionar del programa. Es la población afectada por la situación diagnóstica que justifica la intervención. A fin de facilitar su delimitación, es importante considerar la cobertura y la focalización, de manera de definir lo más específicamente posible a los usuarios directos del programa. Conviene precisarlos para asegurar un análisis de consistencia del programa. La consideración de ambos criterios, permite verificar la pertinencia para cada actividad y/o procedimiento utilizado. Cada actividad puede tener una población objetivo específica, y las áreas de trabajo o componentes pueden abarcar poblaciones o grupos distintos en su naturaleza, paralelos y complementarios para efectos del Programa. Actores Facilitadores: Debido a que muchas veces los programas sociales tienen modelos de intervención muy complejos, necesitan un número considerable de actores que facilitan la ejecución del programa. De esta forma, los equipos planifican actividades destinadas a estos actores, por lo que es necesaria su consideración explícita, ya que el logro de los objetivos del programa pasa también por su participación. 27

28 Las Condiciones o Factores Externos: Se refieren a todos los factores o variables que puedan influir en el logro de las actividades planificadas por el programa y que son requisito para obtener los resultados que la intervención espera generar. Las condiciones son situaciones, eventos o decisiones que son necesarios para el logro del programa (de acuerdo a cada nivel de la matriz). Éstos pueden ser internos a los programas, es decir propios de la gestión, o bien elementos externos a ellos y que tienen un alto grado de influencia sobre el desarrollo de sus acciones. La importancia de las condiciones, es que su revisión permite determinar la viabilidad de la intervención, tal y como ha sido diseñada. Por lo mismo, la verificación de la coherencia interna de la matriz opera con una lógica progresiva inversa, es decir, parte por la revisión de las condiciones vinculadas a los agentes facilitadores y la población objetivo, para terminar con la revisión de las condiciones vinculadas al propósito. 28

29 Cuadro 6 El Diseño y sus Condiciones Propósito Objetivos específicos Productos CONDICIONES Actividades Población Objetivo f) Verificación de los contenidos de la matriz Verificación Conceptual La coherencia conceptual de MDE, es un procedimiento que tiene por objeto apreciar el grado de asimilación de cada uno de los conceptos que considera la Matriz y verificar la correspondencia que existe entre los contenidos del programa y cada uno de dichos conceptos. Se trata de constatar que al realizar el ejercicio de llenado de la MDE, se ha cuidado de incorporar los conceptos a los niveles de las filas ya descritos. Más allá de las especificidades conceptuales que esto involucra, conviene tener presente que el ejercicio de verificación conceptual es un paso imprescindible en el proceso de construcción de un sistema de monitoreo interno pues se trata de determinar la pertinencia de los contenidos que dan cuenta de las acciones programáticas que son objeto de análisis. En esta fase corresponde verificar si la hipótesis de la intervención y los supuestos que están en la base del diseño, han sido correctamente reflejados en los componentes que dan cuenta de la intervención y que son los elementos que, en definitiva, conformarán el material de base para el planteamiento de indicadores que harán posible el seguimiento. 29

30 En este proceso, debe revisarse cada celdilla de la columna de descripción, cautelando que el contenido expresado en ella sea suficiente como par dar cuenta de los componentes del diseño destacados a ese nivel. Verificación Interna Una vez que el contenido de la MDE esté revisado en su coherencia conceptual, se comienza a revisar la lógica contenida en la columna descripción, como forma de relacionar sistemáticamente los distintos casilleros de la MDE. La verificación interna de la MDE es, por lo tanto, un procedimiento analítico que consiste en comprobar si existe una relación de mutua implicancia entre cada nivel respecto del que le antecede. Para esto es imprescindible tener a la vista las definiciones correspondientes a cada componente de la matriz, esto es, misión, propósito, objetivos específicos, productos, actividades, agentes facilitadores, población objetivo y condiciones. Verificar la lógica de la columna descripción significa visualizar los niveles de coherencia entre los contenidos de cada celdilla en: Su consistencia mutua (como un todo); La suficiencia de los aspectos considerados. El procedimiento de verificación interna debe tener en cuenta los siguientes aspectos: Consistencia: Es una propiedad interna del diseño y la forma en que se organizan sus elementos constitutivos. La verificación de la consistencia busca comprobar que cada componente de la matriz aparezca claramente conectado al resto de manera coherente y con una lógica analítica común. El chequeo se realiza con la revisión vertical y horizontal de los componentes de la matriz. Es clave por lo tanto la consideración de las condiciones, sean internas o externas, identificadas en la misma MDE. En la medida que existan condiciones claves, no incorporadas, ello le restará viabilidad al diseño. Se debe cuidar que no existan vacíos que puedan debilitar lo diseñado. No deben existir elementos extraños, raros o de difícil conexión con el conjunto. El Programa sólo podrá incorporar en su diseño aquellos vacíos claves (necesarios y viables); de otro modo debe acotar su intervención. Encontramos problemas de inconsistencia cuando, por ejemplo, los objetivos específicos rebasan el límite que marca el propósito; algunas actividades que describimos son 30

31 condición de otras; el cumplimiento de las condiciones depende del programa; los productos son más ambiciosos que los objetivos específicos o más específicos que las actividades; etcétera. En todos estos casos es necesario revisar la MDE y reubicar o reformular las dos casillas que dan origen a la discordancia; este es un procedimiento sencillo porque el solo diagnóstico de la falta de consistencia orienta fuertemente la solución. Coherencia entre el programa y el problema: Se trata de un análisis específico de consistencia que consiste en verificar la relación proporcional entre el programa y el problema social que aborda. Es la vinculación del programa como un todo con el medio social externo donde opera. En este análisis no se debe observar desnivelación o asimetría entre el programa y el problema, por lo tanto: Cuando el diseño de programa es sobrepasado por el problema, es conveniente acotar más el problema a atender. Si es el programa el que excede al problema, éste debe replantearse cuando el programa puede lograr más efecto. Pertinencia: Se refiere al grado de ajuste entre la intervención diseñada y las condiciones sociales a intervenir. Guarda relación con la consideración de las características peculiares de la Población Objetivo y su contexto. Para comprobar el grado de pertinencia en el diseño se debe revisar: Que el programa no integre formas, características y/o procedimientos que se contrapongan a los modos habituales de comportamientos, creencias y posturas de ninguno de los sujetos participantes en la operación. Que no existan aspectos sobrantes o inadecuados entre un nivel y otro. Suficiencia: 31

32 Comprueba que se han considerado los elementos necesarios y suficientes en el diseño operativo del programa para ir generando los efectos esperados en cada nivel de la matriz. La verificación de las condiciones internas y externas de la matriz permite probar la suficiencia. Se debe pretender trabajar sólo con las condiciones que tengan alguna probabilidad de interferir o ayudar a que el programa alcance sus pretensiones. En síntesis, la verificación de la lógica interna apunta a revisar los niveles de coherencia entre los contenidos de cada fila, la consistencia de ellos como un todo y la suficiencia de los aspectos considerados. g) Qué productos se esperan de esta etapa? Se espera que al terminar esta etapa de trabajo, se obtengan productos en dos ámbitos: Desde el equipo programático Equipos programáticos que puedan reconocer los elementos de diseño que son pertinentes y necesarios a un sistema de evaluación de proceso. Asimismo, que puedan analizar y ordenar el diseño de acuerdo a un procedimiento lógico y funcional a la mirada evaluativa, distinguiendo sus componentes según la relación e importancia según los resultados esperados del Programa. Desde el Monitoreo Visión consensuada del programa. 32