HOJAS DE INFORMACIÓN COMPLEMENTARIA DE TRABAJO DE MONITOREO Y EVALUACIÓN I. Introducción al monitoreo basado en resultados Higher Education for Development (HED) usará su sistema de monitoreo y evaluación basado en resultados para administrar de una forma efectiva las actividades de la sociedad y demostrar su impacto. El sistema de Monitoreo y Evaluación (Monitoring and Evaluation, M&E) de HED va más allá del seguimiento del desempeño basado en la medición de datos de entrada y salida, y utiliza herramientas lógicas de planeación para definir claramente un marco de resultados e identificar medidas adecuadas de resultados e impactos. HED integra el monitoreo basado en resultados en todas las etapas del proceso de desarrollo de la sociedad. Para garantizar cimientos sólidos, iniciando en la fase de Convocatoria (Request for Applications, RFA), HED necesitará planes de monitoreo y evaluación con cada solicitud, lo que incluirá referencias ilustrativas basadas en futuros estudios representativos para determinar objetivos de desempeño que a su vez se fundamenten en el punto en el que inicia el trabajo de la sociedad. Como parte del proceso de negociación de la subasignación, HED, previa consulta con directores de sociedades seleccionadas, finaliza el Plan de Gestión del Desempeño (Performance Management Plan, PMP) 1 y define indicadores, fuentes de datos y metodologías de recolección longitudinal de datos para medir el desempeño y los resultados de la sociedad. El PMP ofrecerá un marco para orientar la medición de los logros alcanzados a través de intervenciones de proyecto, y facilitará decisiones informadas de gestión para garantizar la obtención de los resultados esperados. Después de la finalización del PMP, la sociedad, bajo la dirección de HED, recolectará datos para establecer una base y definir los objetivos de la gestión del desempeño durante el curso de la sociedad. Además de los indicadores personalizados, identificados especialmente para cada sociedad, HED da seguimiento al desempeño de sus socios educativos más importantes a través de un grupo de indicadores estándares del desarrollo de la capacidad humana e institucional y del impacto del desarrollo. Los indicadores estándares se obtienen de la Meta 2 de la nueva Estrategia Educativa de USAID, y buscan seguir y medir el avance hacia el logro de los resultados correspondientes en educación superior. 1 El formato PMP de HED se apega a la guía de USAID para el desarrollo e implementación de planes de gestión del desempeño, como se estipula en The Performance Management Toolkit, A Guide to Developing and Implementing Performance Management Plans, Servicios de Consultoría en Negocios de IBM, Oficina de Coordinación de Programas y Políticas, número de contrato: AEP-C-00-99-00034-00, abril de 2003. Esta publicación se encuentra disponible en línea en http://pdf.usaid.gov/pdf_docs/pnact871.pdf. Complemento de Monitoreo y Evaluación 1
II. Uso de la plantilla de las hojas de trabajo para monitoreo y evaluación A. Acerca de la plantilla La plantilla de las hojas de trabajo, que utiliza el software Microsoft Excel, tiene dos propósitos: El primero es guiar a los solicitantes/socios potenciales en su diseño conceptual de la sociedad para la que presentaron solicitud. Además, de asignarse fondos de sociedad a una institución, dicha institución deberá tener un plan prefabricado para guiar la implementación del proyecto. El segundo propósito es ofrecer a los solicitantes aceptados/socios fondos asignados una plantilla para rastrear la información necesaria que deberá ser reportada al donador del Gobierno de Estados Unidos (United States Government, USG) con respecto a la implementación del programa de la sociedad. La plantilla consiste en cinco hojas de monitoreo y evaluación. A continuación se describen estas cuatro hojas, así como las responsabilidades correspondientes al solicitante/socio. Indicadores estándares de educación superior: Esta hoja de trabajo resume los indicadores estándares que HED rastrea y reporta en todas sus sociedades de educación superior. Responsabilidad del solicitante: Aquellos solicitantes a los que se adjudique un programa deberán recolectar y reportar esta información a HED. Por lo tanto, los solicitantes deberán considerar esto en su Marco de Resultados (Results Framework, RF) incorporando los indicadores bajo los objetivos relevantes (identificados por el solicitante/socio), e incluir estos indicadores y unidades de medida en el PMP y en el Plan de Implementación de la Sociedad (Partnership Implementation Plan, PIP) (ver más adelante) como corresponda. No obstante, los datos no necesitan ser reportados al momento de la solicitud. Para ayudar con la revisión de su solicitud, por favor indique en la columna D a cuál objetivo y resultado intermedio y/o dato de salida se mapea cada indicador de su RF. Indicadores de producción más limpia [condicional]: La hoja de trabajo incluye indicadores relativos a la implementación de procesos y tecnologías de producción más limpia por parte de las pequeñas y medianas empresas (Small and Medium-size Enterprises, SME). Estos indicadores son condicionales y dependerán de las actividades del proyecto acordadas e identificadas por los socios, previa consulta con el Centro Mundial del Medioambiente (World Environment Center, WEC). Responsabilidad del solicitante: Los solicitantes no necesitan modificar esta hoja como parte de su proceso de solicitud. Sin embargo, deberán recolectar y reportar información de estos u otros indicadores similares del proceso de producción más limpia. Por lo tanto, los solicitantes deberán considerar esto en su RF incorporando estos u otros indicadores similares de acuerdo con los objetivos relevantes (identificados por el solicitante/socio), e incluir estos indicadores en el PMP y en el PIP (ver más adelante). El WEC guiará y ayudará en la definición de los indicadores, de los datos iniciales y de los métodos de recolección de datos. Sin embargo, el solicitante será responsable solamente de incluir en los reportes de avance cualquiera de los indicadores de producción más limpia acordados cuando los datos estén disponibles. Marco de Resultados (RF) - Personalizado: Las solicitudes deben utilizar la plantilla lógica del marco para desarrollar un Marco de Resultados (RF) riguroso y formular una estrategia de sociedad coherente y bien diseñada. El RF establecerá una relación de causa y efecto dentro de la jerarquía de resultados, revelará supuestos subyacentes y, como tal, servirá de base para el desarrollo de todos los documentos relacionados con M&E. Responsabilidad del solicitante: Los solicitantes/socios deberán llenar esta hoja de trabajo basados en los factores contextuales y particularidades del programa para cuya implementación están presentando solicitud. Los solicitantes deben llenar todas las columnas (jerarquía de Complemento de Monitoreo y Evaluación 2
resultados, indicadores y supuestos) de esta hoja. No obstante, no necesitan llenar todas las líneas; solamente tantas líneas como objetivos, resultados y datos de salida el solicitante considere adecuado para la sociedad. Como se mencionó anteriormente, los solicitantes/socios deben incluir los indicadores estándares donde consideren que deban ser colocados dentro de su RF. Plan de Gestión del Desempeño (PMP): El PMP es una herramienta que ayuda a administrar el proceso y las responsabilidades relativos a la recolección de datos. La plantilla permitirá a los solicitantes esbozar un enfoque sistemático a la gestión basada en resultados y proporcionará una descripción detallada del enfoque del monitoreo del desempeño de la sociedad con respecto a los objetivos en función del tiempo Responsabilidad del solicitante: En la plantilla del PMP, las columnas para objetivos, resultados e indicadores se llenarán automáticamente desde la hoja de trabajo del RF. Los solicitantes/socios potenciales deben llenar las siguientes cinco columnas (desagregación, definición precisa y unicidad de medida, fuente de datos, medios de verificación y frecuencia de la recolección de datos). Las últimas dos columnas (valor inicial y objetivo de fin de proyecto) serán llenadas contra la asignación exitosa de los fondos. Plan de Implementación de la Sociedad (PIP): Los solicitantes deben presentar una lista detallada de las actividades anticipadas de la sociedad y el calendario de implementación. El plan de implementación documentará una secuencia lógica de la evolución de los eventos, lo que permitirá a la sociedad avanzar hacia la producción de los resultados esperados. Los solicitantes utilizarán la plantilla de hoja de trabajo para definir las actividades y fases principales de los trabajos que se realizarán para alcanzar los objetivos deseados. Responsabilidad del solicitante: Como en el caso de la hoja del PMP, las columnas correspondientes a objetivos, resultados y datos de salida se llenarán automáticamente. Posteriormente, los solicitantes deben identificar las actividades relevantes para el logro de cada objetivo, resultado y dato de salida, e indicar cuándo se llevarán a cabo dichas actividades. ***Se debe tomar en cuenta que, en caso de que un solicitante reciba la asignación de fondos, el RF, el PMP y el PIP serán finalizados previa consulta con HED y el Departamento de Estado (Department of State, DOS) después de la asignación. No obstante, su solicitud será calificada con base en qué tan bien su diseño del programa es presentado en estas hojas de trabajo. B. Ilustración del marco Los solicitantes/socios potenciales deben revisar la guía para desarrollar un marco de gestión del desempeño en el documento de USAID, The Performance Management Toolkit, A Guide to Developing and Implementing Performance Management Plans, que está disponible en http://pdf.usaid.gov/pdf_docs/pnact871.pdf. No obstante, los vínculos causales entre los elementos del marco pueden ser resumidos gráficamente como lo muestra a continuación la Figura 1. Además de estos elementos, también se debe identificar los indicadores para medir cada resultado anticipado. Complemento de Monitoreo y Evaluación 3
Figura 1. Jerarquía de objetivos del plan de gestión del desempeño Jerarquía de objetivos META Objetivo estratégico Resultado intermedio Indicadores de impacto (evaluación) BENEFICIOS Efectos más generalizados, que por lo general no son medidos dentro del alcance de la sociedad IMPACTOS Mejoras sostenibles en las condiciones o el bienestar humano. RESULTADOS Cambios en cuanto a comportamiento, práctica o acceso DATOS DE SALIDA ACTIVIDAD Indicadores de monitoreo DATOS DE SALIDA Entrega de bienes y servicios, productos de actividades ACTIVIDADES DATOS DE ENTRADA Recursos de soporte para las actividades C. Definiciones clave Indicadores: Los indicadores son una herramienta muy útil que ayuda a los gerentes de proyecto a medir el avance hacia el alcance de los objetivos, así como a usar información para tomar decisiones críticas y a dirigir el proyecto de la sociedad hacia el éxito. Los buenos indicadores son medidas directas, objetivas, relevantes, unidimensionales y prácticas de los resultados con los que se relacionan. Los indicadores deben ser identificados para medir cada resultado anticipado. Cada enunciado de resultado puede tener más de un indicador; sin embargo, la regla general es elegir el menor número posible de indicadores para cada enunciado. Algunas veces es suficiente un indicador y, generalmente, se usan no más de dos o tres indicadores por enunciado. Meta: La meta es el propósito fundamental de la sociedad, y expresa el impacto a largo plazo que la sociedad espera lograr. Por lo general, el enunciado de meta captura un cambio de desarrollo mayor y es de naturaleza aspiracional. Cada sociedad tiene solamente una meta. Por lo general, los indicadores a nivel de meta se basan en la población y no son específicos de los beneficiarios de la sociedad solamente. Objetivos: Los enunciados de objetivos capturan el avance a mediano plazo que la sociedad espera lograr al final del plazo que le corresponde; estos enunciados se escriben en tiempo presente. Un proyecto de sociedad puede tener más de un objetivo, aunque generalmente tienen entre uno y tres, pero no más. Los indicadores a nivel de objetivo miden los resultados del proyecto de la sociedad. Estos indicadores pueden incluir el % de incremento, el % de reducción en prácticas negativas, medidas de la mayor calidad de los servicios, cambios en las percepciones, etc. Resultados intermedios: Los enunciados de resultados capturan los logros que serán alcanzados al final del proyecto de la sociedad, y generalmente son expresados en tiempo pasado. En el contexto del marco Complemento de Monitoreo y Evaluación 4
lógico, estos enunciados capturan un cambio en las actitudes, en las habilidades o en el comportamiento, que son resultado directo de los datos de salida. Una sociedad puede tener más de un resultado, aunque los resultados anticipados generalmente se limitan a garantizar una estrategia coherente y enfocada. El avance a este nivel es una precondición necesaria si la sociedad quiere alcanzar sus objetivos estratégicos. Los indicadores de los resultados intermedios miden los resultados de la sociedad, y aunque su desarrollo debe ser personalizado para el proyecto de cada sociedad, pueden incluir: Cambios en las propuestas o en la tasa a la que las instituciones o los beneficiarios individuales de la sociedad usan su conocimiento o habilidades como resultado de su participación en la sociedad; Expansión de los programas, los servicios o el alcance: Cambios en las percepciones, actitudes o comportamientos propiciados por la sociedad; Cambios en la organización o gestión de los sistemas objetivo de la sociedad; Otros cambios y mejoras con respecto a la dirección de los objetivos estratégicos de la sociedad, que miden el buen uso de los resultados de la sociedad por parte de los beneficiarios del proyecto. Datos de salida: Los datos de salida representan los productos tangibles que la sociedad producirá como resultado de un grupo de actividades relativas al programa (servicios, entregables, productos). Cada resultado puede tener más de un dato de salida, aunque generalmente no tienen más de dos o tres. Complemento de Monitoreo y Evaluación 5