LA EVALUACION Y EL MONITOREO DE PROGRAMAS DE PREVENCIÓN DEL ABUSO DE DROGAS

Transcripción

1 LA EVALUACION Y EL MONITOREO DE PROGRAMAS DE PREVENCIÓN DEL ABUSO DE DROGAS En esta presentación quiero compartir algunas ideas sobre el sentido, uso y enfoques de la evaluación, más que hablarles de las técnicas propias de la misma, lo que considero más relevante e interesante para el grupo. En primer lugar quiero hablar sobre el SENTIDO DE LA EVALUACIÓN, el Porque y el Para Que (DIAPOSITIVA Siguiente por favor ( 2) El Monitoreo y la Evaluación de programas de prevención de la drogadicción en los niños, tiene el propósito de dar cuenta sobre lo que están logrando los programas y proyectos que se están implementando, sus dificultades y sus logros, su eficiencia y eficacia, este es el campo principal al que esta presentación busca contribuir. El monitoreo y la evaluación de este tipo de proyectos tiene ordinariamente tres tipos de destinatarios: El primer destinatario son los DONANTES: Las ONG internacionales y otras organizaciones incluyendo las agencias bilaterales o los gobiernos de países desarrollados están interesados, cada día con mayor fuerza, en la evaluación de los programas que apoyan o que desarrollan a través de alianzas con organizaciones locales. Este interés tiene que ver con el concepto de responsabilidad social, o la llamada en ingles accountability, que cobra gran importancia en la labor de estas organizaciones. Hasta hace pocos años el interés principal de estas organizaciones era monitorear si los fondos entregados se habían utilizado de acuerdo a lo planeado en el proyecto aprobado por ellos, como una condición para la continuación del apoyo. Sin embargo en los últimos años se ha dado un cambio de enfoque y existe creciente interés por preguntas más relevantes, tales como si se están apoyando proyectos significativos, si sé esta 1

2 produciendo el cambio esperado como consecuencia de los mismos, y si se esta avanzando hacia el cumplimiento de las metas planteadas por los proyectos. En otras palabras si se esta teniendo efecto e impacto social esperado. - El segundo destinatario de la evaluacion es el equipo del PROYECTO mismo, con el propósito de la cualificación de su practica y el fortalecimiento de la institución implementadora, sea esta una ONG o una organización estatal. Con frecuencia para muchas ONG locales el propósito de cumplir con los requerimientos de sus patrocinadores, ha sido el principal o único sentido de la evaluación. Sin embargo, también este hecho ha estado cambiando y las ONG son cada día más conscientes de que no es suficiente presentar información sobre el cumplimiento de lo planeado en los proyectos. El sentido de la evaluación es responder a una pregunta mas importante con referencia a si se esta contribuyendo al cambio deseado, a cumplir aquello que se plantea como propósito o meta institucional y del proyecto, en nuestro caso la prevención del abuso de drogas. Es decir, no interesa solamente saber si se ha actuado eficientemente, sino si nuestras acciones han sido eficaces para producir el cambio buscado por el proyecto en beneficio de los niños y jóvenes, y deseablemente si este tiene impacto a mediano y largo plazo, en la reducción de la problemática. En el caso de la prevención del uso de drogas, el aspecto más relevante de la evaluación de los proyectos y programas, es responder a la pregunta sobre si lo que se hace en el proyecto, contribuye a cumplir las metas que nos hemos planteado en referencia a los Niños, Niñas y Adolescentes. Esto tiene que ver con las respuestas a preguntas sobre sí nos hemos planteado los proyectos adecuados para contribuir a la mejora de las situaciones de la niñez y la jventud que pretendemos, si lo estamos logrando, y las razones, porque sí o por que no. 2

3 Esta información es base para el aprendizaje institucional, para la programación y revisión institucional, y es el mecanismo que nos permite ser socialmente responsables con los grupos y las situaciones con las cuales nos hemos comprometido. - El tercer grupo de destinatarios son los BENEFICIARIOS del proyecto, ultimo en orden, más no en prioridad. Un aspecto importante del monitoreo y la evaluación es el de proporcionar información para los grupos humanos con y por los cuales trabajamos, los usuarios, padres, maestros, u otros multiplicadores con quienes trabajemos, así como para los niños, niñas y jóvenes en nuestro caso. Esto hace referencia especial a los proyectos que por su carácter y enfoque sean participativos, lo que representa una tendencia importante y creciente en la investigación y en el trabajo educativo y social actual, que posibilita una mejor inserción, apropiación y sostenibilidad de los proyectos. Para ello es condición necesaria presentar información a los grupos humanos con quienes se trabaja sobre el propósito del proyecto, sobre la situación inicial que se pretende afectar, así como sobre los avances, logros y dificultades, obtenidos con los esfuerzos del mismo. Compartir con los usuarios el propósito de un proyecto permite su identidad con el mismo y facilita la participación. Es igualmente importante, y la información puede ser un primer mecanismo para ello, involucrarlos tanto en el diagnostico como en la planeación de actividades, en su monitoreo y evaluación. (SIGUIENTE, POR FAVOR, - 3) La Evaluación tiene también diferentes Propósitos. No solo es deseable que una evaluación sirva simultáneamente para diferentes tipos de usuarios o destinatarios como se mencionó anteriormente, sino también para diferentes propósitos. 3

4 - El primero y más evidente de estos propósitos son los Reportes que deben elaborarse sobre el proyecto. Tradicionalmente cuando se habla de reportes se piensa en los donantes, quienes indudablemente son los destinatarios más frecuentes de los reportes de proyecto. Sin embargo, los reportes pueden y deben tener diferentes formas y diferentes destinatarios. Todos los actores, stakeholders o implicados en un proyecto son posibles consumidores de información de reportes: el equipo y la dirección de la organización para su cualificación, los beneficiarios para fortalecer su participación real, el publico en general para diseminación de ideas, problemas o logros, los organismos internacionales y los gobiernos, para el seguimiento y promoción de políticas y programas. - El segundo propósito que quiero enfatizar, es el de producción de información de diferente tipo a partir de las evaluaciones, con destino especifico a la cualificación de los programas. Al respecto manifestaba Nelson Ortiz, oficial de derechos de la niñez en UNICEF en una entrevista que le hice hace algunos años, con respecto al uso que para la gerencia de los programas, que debe tener la evaluación: La evaluación es un proceso que procura determinar, de la manera mas sistemática y objetiva posible, la pertinencia, eficacia, eficiencia e impacto de actividades a la luz de objetivos específicos. Constituye una herramienta administrativa de aprendizaje y un proceso organizativo orientado a la acción para mejorar, tanto las actividades en marcha, como la planificación, programación y toma de decisiones futuras. UNICEF 1 En otras palabras, es la forma como la organización puede observar si lo que hace da el resultado esperado y contribuye al cumplimiento de las metas que la organización se propone, o en su defecto, en que dirección deben hacerse modificaciones para que esto sea posible, es decir donde y cuando deben operarse cambios para la cualificación de los programas que se 1 Citado por Ortiz Nelson Junio del

5 desarrollan, con el fin de cumplir mejor con los objetivos y lograr las metas. La evaluación se convierte así en una herramienta para el equipo del proyecto. - El último propósito de la evaluación, muy relacionado con el anterior, se refiere a la Toma de Decisiones sobre los Programas. Las decisiones sobre los proyectos, su programación y continuidad, deben estar basadas en información valida y adecuada. Dicha información debe provenir del monitoreo y la evaluación sobre los programas y proyectos que se desarrollan. Esto se refiere tanto a la toma de decisiones internas en las organizaciones que implementan los proyectos, como la toma de decisiones por parte de los patrocinadores, así como a las decisiones de política. El monitoreo y la evaluación bien planeados y apropiadamente llevados a cabo, deben responder a preguntas tales como las siguientes: Estamos cumpliendo con las actividades que nos propusimos? (p.ej: estamos realizando las actividades que se plantearon en el proyecto, talleres, campañas, etc., y de acuerdo a lo programado?) Nuestras acciones están teniendo el efecto que buscan? (Vg. la aprobación de leyes, la creación de centros, la atención a menores, la asistencia, información o participación de los niños, jóvenes o educadores u otros) Este tipo de efectos esta teniendo impacto en mejorar las condiciones de la niñez, con respecto a la problemática que nos interesa? (en nuestro caso como ha evolucionado la problemática de la drogadicción). Las respuestas a estas preguntas permitirán tomar decisiones adecuadas sobre la pertinencia de las estrategias de trabajo que estamos usando, y sobre su eficacia en el nivel de la planeación institucional y orientara su enfoque y estrategias de trabajo. También permitirán a los donantes decidir sobre sus prioridades de apoyo y la continuidad de sus proyectos, y a los gobiernos tomar decisiones sobre las políticas y programas que se debe impulsar con 5

6 el propósito de dar las mejores respuestas a problemáticas, y hacer las inversiones mas adecuadas en programas. Quiero hacer breve referencia a Cualitativo y lo Cuantitativo,, Siguiente, por favor - 4) Los Enfoques en la Evaluación: lo Cuando se aborda el tema de la evaluación de procesos de desarrollo social, los cuales por sus características son procesos complejos que involucran aspectos actitudinales, valórales, y comportamentales, estos son más complejos de evaluar, que los cambios materiales y tangibles. Ello requiere de una apertura hacia aproximaciones alternativas en la evaluación y el monitoreo, mas adecuadas al tipo de procesos descritos. La evaluación de programas de prevención requiere de un enfoque amplio y flexible que pueda dar cuenta de las diferentes dimensiones de los problemas abocados, y que por lo tanto incluya estrategias y metodologías tanto cualitativas como cuantitativas. Como lo señala Ortiz, se pueden identificar dos tipos de estrategias de evaluación las cuales, más que antagónicas, han de considerarse complementarias: La evaluación cualitativa que se aplica a aquellas variables que pueden ser cuantificadas y analizadas a través de métodos cuantitativos de tipo estadístico o econométrico La evaluación cualitativa, que se aplica a aquellas áreas o variables no susceptibles de ser cuantificadas. Este tipo de evaluación complementa y clarifica los datos cuantitativos y permite contextualizar y dar sentido a los resultados y recomendaciones. Ortiz (2000) En nuestro caso, es recomendable la combinación de los dos tipos de estrategias, considerando que lo cuantitativo proporciona la base para el conocimiento de la situación inicial y de su evolución en los parámetros más generales, pero puede dejar oscuros las dimensiones más cualitativas del proceso del proyecto y las razones por las cuales el cambio se da o no se da. Lo cualitativo ilumina y permite interpretar datos cuantitativos, 6

7 lo cuantitativo puede contribuir a la definición de prioridades, líneas de acción y dar cuenta de algunas de las dimensiones del cambio. En este sentido, con frecuencia se presenta confusión entre medición y evaluación. No se debe equiparar evaluación a medición, ni a la posición positivista de las ciencias exactas. Se debe adoptar una posición mas abierta en la cual se reconoce la necesidad de evaluar, pero no se considera la medición de los aspectos cuantificables o la estadística como la única forma de evaluar. (Oakley, 2000). Cuando se trata de fenómenos cualitativos relacionados con procesos humanos, cambio de actitudes, de opinión, procesos de desarrollo, las formas mas adecuadas de evaluar frecuentemente no son el simple conteo de actividades o de materiales, sino el monitoreo de los procesos, los cuales requieren de formas más creativas y abiertas de concebir, tanto la evaluación como el monitoreo. En síntesis, nos interesa ver si existe cambio, que cambia y cambia. porque La evaluación hace referencia necesariamente al cambio. La evaluación debe buscar: identificar si hubo cambio, describir el cambio analizar el cambio 2 Un problema frecuente en los proyectos educativos y sociales es la presunción ingenua, sin confirmar, de que por efecto de las actividades desarrolladas por el proyecto, se da automáticamente el cambio esperado en consistencia con los objetivos del mismo. Parte del propósito de una evaluación de proceso es confirmar si esto es así. La evaluación debe ser sensible, detectar el cambio tanto como la ausencia del mismo. Con frecuencia se presupone la inevitable existencia de cambios 2 (Nelson Ortiz, UNICEF- Oficial de Derechos de la Niñez: Oficina Regional, Colombia) 7

8 en la dirección deseada por un proyecto, sin el diseño de los mecanismos necesarios para detectarlo, describirlo y evaluarlo. Esto puede llevar a que se estén utilizando escasos recursos disponibles en acciones ineficientes o poco eficientes, no las óptimas para propiciar o desencadenar los cambios posibles y deseados. Desafortunadamente, la frecuente falta de monitoreo y evaluación de proyectos puede dejar pasar desapercibidos casos donde se están invirtiendo recursos y esfuerzos institucionales sin percatarse que no se están logrando los resultados esperados. Una buena evaluación es una evaluación sensible para detectar los cambios o su ausencia, y que permita identificar los factores que generan cualquiera de las dos situaciones, así como estimular la reflexión para generar prácticas que de manera incremental vayan mejorando la situación de niños y jóvenes. Esta línea de pensamiento nos lleva a una posición más reflexiva y comprometida, donde no se trata de dar cumplimiento estricto al desarrollo de un proyecto, como quien cumple juiciosamente una tarea escolar, sino de comprometernos con el cumplimiento de unas metas, la promoción de un cambio en las condiciones de la niñez y la juventud. La evaluación se convierte así en una aliada del agente social o educativo, de la organización local ejecutora, y de la ONG o agencia internacional donante, para el cumplimiento de sus objetivos y metas. (Siguiente, por favor. - 5) Quiero hacer mención especifica al proceso de monitoreo. El punto inicial central y de proceso de cualquier Sistema de Evaluación es el monitoreo. Este proporciona la información necesaria para la evaluación, así como también el mecanismo para que un sistema de Monitoreo y Evaluación, cumpla uno de sus propósitos fundamentales, el de enriquecer, modificar o consolidar las prácticas de un proyecto o programa, según su adecuación a los propósitos del mismo. 8

9 Un monitoreo inadecuado es invariablemente la explicación del porque un determinado proyecto no puede ser evaluado de manera significativa, situación desafortunadamente frecuente en proyectos de desarrollo educativo o social. (Oakley 2001). El monitoreo proporciona la materia prima para la evaluación y es una de sus principales herramientas. Por otra parte, con frecuencia se confunde el monitoreo con el seguimiento, este ultimo se trata de una observación especifica sobre una situación, no necesariamente del proceso, continua y repetida en el tiempo, y por lo tanto no necesariamente conducente a hacer una observación continuada del desarrollo de un determinado proyecto o estrategia. El monitoreo implica una serie continua de dos o más mediciones en tiempos diferentes. Cuando nos interesa la cualificación de programas o la evaluación del efecto y el impacto de los mismos, el monitoreo del proceso es esencial e implica el compromiso con la observación de proceso, incluyendo un análisis critico de la practica, de la evolución de los cambios, que permita mejorarla y dar cuenta de estos a través del tiempo (Oakley 2000). Dos principios básicos en la puesta en marcha de los llamados sistemas monitoreo son: (I) en primer lugar, que estos sean una parte integral del manejo o gerencia del proyecto, e idealmente deben estar bajo la responsabilidad de una unidad especial de monitoreo, o por lo menos con una responsabilidad claramente asignada dentro del equipo, y (II) en segundo lugar, que el monitoreo sea un proceso estructurado y continuo para la recolección de información y datos, su almacenamiento, análisis y uso, y no algo se hace periódicamente o como una actividad adicional a la rutina del proyecto. Mientras la evaluación puede involucrar un insumo externo, el monitoreo es normalmente una responsabilidad interna del proyecto. El monitoreo proporciona información a la evaluación, pero tiene una función mas amplia. Siguiente, 6 9

10 Siguiente, 6 En cuanto al enfoque del monitoreo, es importante distinguir claramente entre lo que podríamos llamar practicas convencionales de monitoreo y enfoques alternativos, mas recientes e innovadores y más adecuados a proyectos de proceso, y a problemáticas cualitativas como es el caso del abuso de drogas y de su prevención. El primero podría llamarse enfoque ortodoxo o de escritorio, que muchas agencias de desarrollo han seguido tradicionalmente; un sistema detallado de monitoreo que se basa en la selección de indicadores que se establecen a priori, antes de la implementación del proyecto y que sirven de base al monitoreo durante la duración del mismo. Se podría decir que tal enfoque tiene primordialmente una función de control en términos de proporcionar la información para los futuros reportes a los donantes, y que fundamentalmente sirve a las necesidades y los requerimientos de estos. Este enfoque es inconveniente si se maneja de manera inflexible, teniendo en cuenta que la naturaleza de los proyectos sociales y de educación no formal, es cambiante de acuerdo a condiciones del contexto y a imprevistos. Por contraste, el segundo enfoque del monitoreo, más reciente e innovador, es el monitoreo de proceso el cual es teóricamente más flexible y adaptable. Más que definir todos los elementos de un sistema de monitoreo desde el comienzo del proyecto, en este enfoque, si bien se deben tener previsiones iniciales en referencia a los propósitos, metas y objetivos, así como registrar la situación inicial, el sistema se desarrolla y evoluciona desde la experiencia durante la implementación del proyecto. En este enfoque innovador, los involucrados (stakeholders), y principalmente los actores primarios, tienen un rol clave, ya que no son utilizados simplemente como los objetos de ejercicios destinados a verificar los cambios cuantitativos, sino que de manera más relevante, ellos mismos sugieren y describen los cambios que se están llevando a cabo. El monitoreo se hace como un proceso estructurado, pero flexible, que permite percibir los cambios y responder a estos. 10

11 En un enfoque de proceso, el uso de información informal (frecuentemente verbal) es importante, debido a que esta puede ser valiosa para evaluar la reacción que provocan las actividades del proyecto y la evolución de las situaciones en las comunidades. Esta es información más oportuna y rápida que puede tener influencia sobre la toma de decisiones en la práctica cotidiana del proyecto. El monitoreo de los cambios asociados con proyectos de prevención del abuso de drogas como los que nos ocupan, aun cuando contiene elementos cuantitativos importantes de considerar, depende más de dar seguimiento a un proceso cualitativo, y esto se hace básicamente a través de la descripción. Situaciones similares en el campo de los proyectos sociales, han llevado a la investigación y evaluación social a la necesidad de un replanteamiento fundamental de los sistemas de monitoreo, de tal manera que estos puedan ser capaces de recolectar, almacenar e interpretar los procesos de cambio que se han llevado a cabo. (Siguiente, - 7). Con este proposito indicadores de tipo cuantitativo como cualitativo, serán necesarios, los cuales nos darán elementos de medida y descripciones de procesos. RESULTADOS TANGIBLES =========== CUANTITATIVO (MEDIDA) (JUICIO) PROCESOS DE CAMBIO ============= CUALITATIVO (DESCRIPCIÓN) (INTERPRETACION) 11

12 (Siguiente, por favor -8) Enfaticemos en La Función del Monitoreo El propósito fundamental de los sistemas de monitoreo, es el de recolectar los datos de proceso, la información y la descripción relacionada con el desarrollo y progreso del proyecto, y sobre su impacto. No hay limitación en el rango de métodos que pueden ser usados, como por ejemplo: revisiones documentales, encuestas, grupos focales, recuperación de historia oral, etc. Este tipo de instrumentos son más congruentes con el involucramiento de los participantes en procesos de monitoreo, y más sensibles hacia los cambios cualitativos. Se abre aquí un espacio para la creatividad que permite adecuar los métodos a las características de los proyectos y de los procesos involucrados en los mismos, aspecto importante en la temática de prevención de la drogadicción que nos incumbe, y de la población con la cual se trabaja. (Siguiente, - 9) Hay algunos riesgos importantes a tener en cuenta en el desarrollo de una evaluación, Es necesario tener en cuenta que a medida que el proyecto se mueve desde los insumos hasta los efectos y luego a los impactos, la influencia de los factores ajenos al proyecto es creciente y hace más difícil que los indicadores seleccionados puedan medir el cambio ocasionado exclusivamente por el proyecto. Este hecho debe ser reconocido en el ejercicio y no se deben realizar esfuerzos infructuosos por identificar cambios con el propósito de poder reflejar el indicador seleccionado. En segundo lugar, el impacto puede tomar un periodo de tiempo largo para ocurrir, y para ser evidente, y poner a prueba la utilidad de los indicadores para capturar este cambio. Los procesos cualitativos de cambio pueden, por su esencia, desarrollarse de manera lenta con el resultado de que la recolección periódica puede a veces carecer de sustancia que observar. En tales circunstancias existe el peligro de que el equipo haga registros inexactos en su afán por observar algún progreso. Otra consideración de tipo técnico es también el potencial para la subjetividad en la descripción de las observaciones hechas sobre el proyecto y sobre su progreso. Dadas las dificultades inherentes en la evaluación de lo que 12

13 constituye cambio, en especial en variables no tangibles tales como actitudes y valores presentes en los proyectos sobre prevención de la drogadicción, y en el hecho de que las acciones y eventos pueden ser explicados e interpretados de diferentes maneras, es necesario confrontar información de diferentes fuentes y describir claramente la forma como se obtuvo la información en la evaluación. Por ultimo, el ejercicio completo puede ser costoso y consumidor de tiempo. El registro de las descripciones y observaciones puede ser una tarea demandante, para la cual no todos los miembros del equipo dispongan del tiempo, o sean adecuados. Puede hacerse necesario la inclusión de personal nuevo o de proporcionar capacitación a miembros del equipo, lo que podría ser difícil de sobrellevar para proyectos con escasos recursos. Las anteriores consideraciones justifican la recomendación de que el sistema de monitoreo y evaluación debe tener correspondencia con la envergadura y los recursos de proyecto, tanto humanos como financieros. Debe ser útil y no una carga excesiva. (Siguiente, -10) Finalmente, quiero compartir algunas consideraciones sobre un sistema de monitoreo y evaluación adecuado El sistema debe ser, mínimo pero costo- efectivo, debe ser comprensible tanto para el equipo del proyecto, como para las contrapartes, y no debe requerir reportes onerosos o innecesarios; El sistema debe estar diseñado de tal manera que desarrolle capacidades analíticas y reflexivas en todos los involucrados, y no ser meramente el resultado de un ejercicio mecánico de actividades programadas con anterioridad; 13

14 El sistema debe tener la capacidad de alimentar de manera consistente y de proporcionar información de calidad sobre el producto, el resultado, y el impacto en el ciclo del proyecto - tanto para dar cuenta sobre el proceso, como con el propósito de permitir aprendizajes. (Siguiente, por favor - 11) El sistema debe enfatizar en la toma de decisiones y en el análisis y no debe estar orientado meramente a la recolección de información o de datos per se. El sistema debe estar basado en la mayor participación posible y de manera realista, valorar las contribuciones de los diferentes grupos partícipes del proyecto (stakeholders). Debe reconocer la diversidad en las poblaciones participantes, entre estas las de género, y debe buscar y asegurar que tanto los niños como las niñas, y los demás participantes en el proyecto, puedan contribuir. el sistema debe reconocer el valor de fuentes alternativas de información, tanto verbal como visual, y de las percepciones de las personas locales que han estado directamente involucradas en el proyecto. El sistema debe reconocer que el aspecto crucial de la evaluación del desarrollo social es precisamente el monitoreo y debe enfatizar esta función como opuesta a la evaluación ex pos facto; El análisis y la interpretación deben llevarse a cabo regularmente y no dejarse únicamente como eventos anuales. Un ejercicio regular que permita al proyecto desarrollar una comprensión sobre los que esta pasando, debe ser claramente preferido a un ejercicio anual, el cual enfrentara al proyecto con la inhabilidad de entender en una sola oportunidad todos los cambios que se han llevado a cabo durante el año. 14

15 Finalmente, es importante enfatizar que toda buena evaluación debe ser analítica, debe partir de la descripción para la reflexión, y debe ser el elemento fundamental para la prescripción del futuro de la acción responsable. Desde esta perspectiva debe ser sensible, y detectar el cambio, tanto como la ausencia de cambio. (Siguiente. 12) Comentario Final sobre el Enfoque de la Evaluación: La Dimensión Ética Es necesario, al iniciar el diseño de la evaluación, explicar claramente los propósitos de la misma: para que y para quien queremos evaluar e incluir dentro del diseño de la evaluación la dimensión de la cualificación de los programas en relación con sus objetivos y metas sociales. La dimensión prioritaria de la evaluación debe ser la de servir a los beneficiarios a quienes los programas están dirigidos, en este caso los niños, niñas, jóvenes y sus comunidades. Para ello se debe buscar la cualificación progresiva de los programas y la mayor garantía posible para el logro del efecto deseado. Una organización y por ende una evaluación, que no se pregunta sobre si lo que esta haciendo esta teniendo el efecto esperado, sobre que tan adecuada es su labor, y a que nivel esta contribuyendo al cumplimiento de los derechos de la niñez y la adolescencia, no es una evaluación socialmente responsable y por lo tanto carece de sentido. Este es el reto que tenemos por delante. Muchas gracias. 15