Conjunto de Herramientas de Planificación, Seguimiento y Evaluación del Administrador de Programas

Transcripción

1 Conjunto de Herramientas de Planificación, Seguimiento y Evaluación del Administrador de Programas División de Servicios de Supervisión Agosto Herramienta Número 2: Definición de la Evaluación I. Introducción El conjunto de herramientas es un complemento de las directrices de programación del UNFPA. En él se proporciona orientación y opciones al personal de las oficinas del UNFPA en los países para mejorar las actividades de planificación, seguimiento y evaluación (PS&E) en el contexto de la gestión basada en resultados. También resulta útil para administradores de programas en la sede y a nivel nacional. En esta herramienta se definen el concepto de evaluación, su razón de ser, su función en relación con el seguimiento y la auditoría, y su función en el contexto de los criterios de gestión basada en resultados. El contenido se basa en un análisis de una variada bibliografía sobre evaluación de los medios académicos y de organismos de desarrollo internacionales como el PNUD, el UNICEF, el PMA y la OCDE, así como de organismos donantes bilaterales, como la USAID. II. Qué es la evaluación de programas? La evaluación de programas es un instrumento de gestión. Es un proceso de duración determinada que trata de valorar de manera sistemática y objetiva la pertinencia, el rendimiento y el éxito de los programas y proyectos concluidos y en curso. La evaluación se realiza con carácter selectivo para dar respuesta a determinadas preguntas e impartir orientación a los encargados de tomar decisiones y los administradores de programas, así como para obtener información que permita determinar si las teorías e hipótesis básicas que se utilizaron al formular el programa resultaron válidas, qué surtió efecto o no, y por qué. La evaluación generalmente tiene por objeto determinar la pertinencia, la eficiencia, la eficacia, el efecto y la sostenibilidad de un programa o proyecto 2. 1 Esta herramienta fue publicada por primera vez en noviembre Las definiciones de estos términos se presentan en la Herramienta Número 1: Glosario de términos sobre seguimiento y evaluación, y se examinan más a fondo en la segunda parte de la Herramienta Número 5: Preguntas de evaluación y normas de medición.

2 III. Para qué se evalúa? Los principales objetivos de la evaluación de programas son los siguientes: Fundamentar las decisiones de operaciones, de política o de estrategia relacionadas con intervenciones de programas en curso o futuras; Demostrar la rendición de cuenta 3 ante los encargados de tomar decisiones (donantes y países en que se ejecutan programas). Se prevé que el mejoramiento del proceso de toma de decisiones y el aumento de la rendición de cuenta culminen en mejores resultados y un uso más eficiente de los recursos. Entre otros objetivos de la evaluación de programas figuran los siguientes: Propiciar el aprendizaje institucional y contribuir al volumen de conocimientos sobre lo que surte efecto y lo que no, y por qué; Verificar/mejorar la calidad y la gestión de los programas; Determinar las estrategias eficaces para su ampliación, expansión o repetición; Modificar las estrategias ineficaces; Medir los efectos/beneficios de las intervenciones de programas y proyectos; Dar a los interesados la oportunidad de opinar sobre el producto y la calidad de los programas; Justificar/validar los programas ante los donantes, asociados y otros grupos interesados. IV. Qué relación existe entre el seguimiento y la evaluación? El seguimiento y la evaluación están íntimamente vinculados. Ambos constituyen instrumentos de gestión necesarios para aportar elementos de juicio al proceso de toma de decisiones y demostrar la rendición de cuenta. Ninguno de los dos reemplaza al otro. Ambos comprenden las mismas etapas (véase el Recuadro 1) y, sin embargo, generan tipos diferentes de información. La generación sistemática de datos de seguimiento es vital para lograr evaluaciones eficaces. 3 La rendición de cuenta es la obligación de justificar la utilización de recursos, las decisiones y los resultados del ejercicio de facultades y el cumplimiento de funciones oficiales, incluidas las funciones delegadas a una dependencia o persona subordinada. Los administradores de programas tienen la obligación de presentar pruebas a los interesados y patrocinadores de que el programa resulta eficaz y se ejecuta de acuerdo con los requisitos jurídicos, fiscales, de cobertura y servicios. 2

3 Recuadro 1. Etapas de la evaluación El proceso de evaluación normalmente comprende las siguientes etapas: Definición de normas a partir de las cuales se evaluarán los programas. En la matriz del marco lógico del UNFPA, esas normas se definen en los indicadores de programa; Investigación del rendimiento de las actividades/procesos/ productos seleccionados que se someterán a evaluación sobre la base de esas normas. Se realiza a partir del análisis de indicadores cualitativos y cuantitativos seleccionados y del contexto del programa; Síntesis de los resultados del anterior análisis; Formulación de recomendaciones basadas en el análisis de los hallazgos; Incorporación de las recomendaciones y enseñanzas aprendidas en los procesos programáticos y otros procesos de adopción de decisiones. El seguimiento observa continuamente la evolución del rendimiento respecto de lo previsto mediante la reunión y análisis de datos sobre los indicadores establecidos con fines de seguimiento y evaluación. Proporciona información continua sobre el nivel de progresos que se van registrando hacia el logro de resultados (productos, efectos directos, fines) mediante sistemas de registro de información y de presentación de informes periódicos. El seguimiento observa la evolución de los procesos programáticos 4 y los cambios operados en las condiciones de los grupos e instituciones a los que están dirigidos como resultado de las actividades del programa. También determina los puntos fuertes y débiles de un programa. La información sobre el rendimiento generado por el seguimiento aumenta el aprendizaje a partir de la experiencia y perfecciona el proceso de toma de decisiones. La administración y las entidades de implementación de los programas son los que normalmente realizan el seguimiento. La evaluación consiste en un análisis periódico a fondo del rendimiento del programa. Se apoya en los datos generados por las actividades de seguimiento y la información obtenida de otras fuentes (por ejemplo, estudios, investigaciones, entrevistas detalladas, debates de grupos de interés, encuestas y otros). Con frecuencia (es decir, no siempre) las evaluaciones se realizan con la asistencia de evaluadores externos. 4 La transformación de insumos en productos por medio de actividades. 3

4 Cuadro 1. Características del seguimiento y la evaluación Continuo Seguimiento Observa la evolución, supervisa, analiza y documenta los progresos registrados Se centra en los insumos, las actividades, los productos, los procesos de implementación, la continuación de la pertinencia, los resultados probables a nivel de efectos directos Responde qué actividades se realizaron y qué resultados se obtuvieron Alerta a los administradores acerca de los problemas y brinda opciones para la adopción de medidas correctivas Autoevaluación de los administradores de programas, los supervisores, los interesados locales y los donantes Evaluación Periódica: en etapas importantes como la mitad de período de la implementación del programa, al final del programa o al cabo de un período sustancial después de finalizado el programa Análisis a fondo; compara la planificación con los logros reales Se centra en los productos respecto de los insumos, los resultados respecto del costo, los procesos utilizados para alcanzar resultados, la pertinencia general, el efecto y la sostenibilidad Responde por qué y cómo se obtuvieron los resultados. Contribuye a la elaboración de teorías y modelos para el cambio Brinda a los administradores opciones de estrategia y de política Análisis interno y externo a cargo de los administradores de programas, los supervisores, los interesados locales, los donantes y evaluadores externos Fuentes: UNICEF, PMA, mayo de V. En qué momento del ciclo de programación se necesitan los resultados del seguimiento y la evaluación? Durante el análisis de la situación y la determinación de la orientación general del programa se estudian las enseñanzas extraídas de la implementación de programas anteriores y se tienen en cuenta en las estrategias del programa; Durante el diseño del programa los datos de indicadores obtenidos durante el ciclo de programas anterior sirven de datos de referencia para el nuevo ciclo. Los datos de indicadores también permiten que los diseñadores de programas establezcan metas claras que puedan someterse a seguimiento y evaluarse; Durante la ejecución del programa el seguimiento y la evaluación velan por la observación ininterrumpida de los progresos del programa y el ajuste de las estrategias para alcanzar mejores resultados; 4

5 Al finalizar el programa la evaluación a fondo de la eficacia, el efecto y la sostenibilidad del programa permite aprovechar el conocimiento adquirido con buenas estrategias y prácticas para el diseño del próximo ciclo de programas. VI. Qué relación existe entre la evaluación y la auditoría? Al igual que la evaluación, la auditoría valora la eficacia, la eficiencia y la economías del programa y la gestión financiera y recomienda mejoras. Sin embargo, el objetivo y el centro de atención de la auditoría difieren de los de la evaluación. Recuadro 2. La auditoría y la evaluación centran su atención en objetivos diferentes Evaluación = Rendición de cuenta + Aprendizaje Auditoría = Rendición de cuenta A diferencia de la evaluación, la auditoria Fuente: UNDP, no determina la pertinencia ni el posible efecto o sostenibildad de los resultados del programa. La auditoría verifica el cumplimiento de las normas, reglamentos, procedimientos o mandatos establecidos de la organización y valora la idoneidad de los controles internos. También valora la exactitud y equidad de las transacciones e informes financieros. La auditoría de la gestión valora los aspectos administrativos de las actividades de una dependencia. Pese a que centran su atención en objetivos diferentes, la auditoría y la evaluación son instrumentos con los que el personal directivo puede obtener una valoración crítica de las actividades de la organización a partir de la cual introducir mejoras. VII. Qué función desempeña la evaluación en la gestión basada en resultados? En la actualidad las organizaciones de desarrollo internacionales como el UNFPA hacen mucho hincapié en el desarrollo de la capacidad nacional, el buen gobierno y la transparencia del sector público. En ese contexto, la evaluación, junto con el seguimiento permanente de los progresos registrados por los programas y proyectos, es un importante instrumento de la gestión basada en resultados. Al valorar lo que surte efecto y lo que no, y por qué, la evaluación proporciona información que refuerza el proceso de toma de decisiones de la organización y promueve una cultura de responsabilidad en los organismos de implementación de los programas. Las enseñanzas que se ponen de relieve en la evaluación permiten al UNFPA mejorar el rendimiento de los programas y el desempeño de la organización. Al mejorar el rendimiento y mostrar más y mejores resultados, los proyectos y programas que reciben la asistencia del UNFPA pueden obtener mayor financiación. En el Recuadro 3 se esbozan, sin responder a un orden de prioridades en particular, algunas características y beneficios previstos de la introducción del seguimiento y la evaluación basados en resultados en el Fondo. 5

6 Recuadro 3. Beneficios previstos del fortalecimiento del seguimiento y la evaluación basados en resultados en el UNFPA SI El personal directivo superior se empeña decididamente en utilizar los resultados del seguimiento y la evaluación en el proceso de toma de decisiones (ese empeño influye en el modo de dirección); El personal realiza actividades de seguimiento y evaluación y utiliza los datos así obtenidos en todas las etapas del ciclo de programas; El personal aplica los criterios de seguimiento y evaluación en todas las esferas de actividad del UNFPA, por ejemplo, en la administración de programas y la gestión financiera y de recursos humanos; El personal que participa en las actividades de seguimiento y evaluación se esfuerza por hacerlo con objetividad, y aclara los criterios y valores en que fundamenta sus juicios; El personal es el responsable de la obtención de resultados y asume riesgos para alcanzarlos; El personal aprovecha las enseñanzas adquiridas y las aplica en la administración de programas; El personal recibe el reconocimiento de la organización por el logro de buenos resultados y por los esfuerzos desplegados para hacer frente a los riesgos. ENTONCES El UNFPA será más eficiente y estará en mejores condiciones para adaptarse a los rápidos cambios del entorno; Aumentará la calidad y la eficacia de la asistencia del UNFPA; El UNFPA y sus asociados alcanzarán resultados; Aumentará la credibilidad del UNFPA; Es posible que se destinen más fondos a la asistencia del UNFPA; El personal tendrá un mayor sentido de realización y satisfacción profesional; aumentará la productividad. Fuente: Adaptado de UNICEF,

7 Fuentes OCDE. Improving Evaluation Practices: Best Practice Guidelines for Evaluation and Background Paper, Patton, Michael Quinn. Utilization- Focused Evaluation The New Century Text, tercera edición, Sage Publications, PMA. WFP Principles and Methods of Monitoring and Evaluation, período de sesiones anual de la Junta Ejecutiva. Roma, 22 a 26 de mayo de PNUD. Monitoreo y evaluación orientados a la obtención de resultados: Manual para los administradores de programas, Oficina de Evaluación y Planificación Estratégica, Scriven, Michael. Evaluation Thesaurus, cuarta edición, Sage Publications, UNFPA. RBM at UNFPA, Oficina de Gestión Basada en los Resultados, abril de Se puede encontrar en la siguiente dirección en la Web: UNFPA. Institutionalization of Results-based Management at UNFPA, junio de Se puede encontrar en la siguiente dirección en la Web: UNICEF. Democratic Evaluation: A proposal for strengthening the evaluation function in International Development Organizations, documento de trabajo número 3, mayo de UNICEF. EVALUATION A UNICEF Guide for Monitoring and Evaluation Making a Difference?, Oficina de Evaluación, USAID. Managing for Results at USAID, ponencia preparada por Annette Binnendijk para el Curso práctico sobre gestión y evaluación de la actuación profesional, Nueva York, 5 a 7 de octubre de

8 La presente herramienta está sujeta a mejoras constantes. Acogemos con agrado cualquier observación y sugerencia que Ud. pueda tener acerca de su contenido. También le alentamos a que nos envíe información sobre la experiencia obtenida con programas financiados por el UNFPA, así como con otros programas de población que puedan servir para ilustrar las cuestiones tratadas en esta herramienta. Sírvase enviar sus contribuciones a: Fondo de Población de las Naciones Unidas División de Servicios de Supervisón Daily News Building 220 East 42 nd Street New York, NY Teléfono: (212) Facsímil: (212) Correo electrónico: dos@unfpa.org Esta herramienta se puede encontrar en el sitio del UNFPA en la Web: 8