CURSO DE DIRECTORES/AS DE ACTIVIDADES JUVENILES. Mayte Jiménez

Transcripción

1 MODELOS Y TÉCNICAS DE EVALUACIÓN Y SEGUIMIENTO CURSO DE DIRECTORES/AS DE ACTIVIDADES JUVENILES Mayte Jiménez

2 Por qué son necesarios el seguimiento y la evaluación? Hay que reconocer la importancia de un seguimiento y evaluación de buena calidad. Poder demostrar que un proyecto o actividad ha alcanzado los objetivos previstos, ayuda a asegurar que los recursos se utilizan de la manera más eficaz, eficiente y apropiada posible. Los contenidos de esta materia, tienen el propósito de brindar a quienes tienen poca experiencia, la confianza y las capacidades necesarias para abordar el ciclo completo del proyecto o actividad, tanto en términos de planificación del mismo, como de las correspondientes actividades de seguimiento y evaluación.

3 Por qué son necesarios el seguimiento y la evaluación? En primer lugar, veamos una definición de los términos seguimiento y evaluación. El seguimiento se refiere al examen y acopio de datos, lo que ayudará a determinar si se están alcanzando los objetivos fijados. El seguimiento es una parte fundamental de la evaluación y los datos recopilados se integran en el proceso general de evaluación. La evaluación se refiere por lo tanto al acopio sistemático de información realizado durante la ejecución, o después, de un proyecto o actividad, a fin de emitir un juicio acerca de la eficacia de los resultados y ofrecer bases para las decisiones relativas a actividades futuras. Las actividades de seguimiento y evaluación ayudan a determinar si un programa ha logrado los resultados esperados.

4 Por qué son necesarios el seguimiento y la evaluación? El seguimiento debe realizarse de manera continua para que se alcancen las metas y los objetivos del proyecto, y para reajustar la programación sobre la base de las lecciones aprendidas hasta el momento. Las evaluaciones internas son importantes para medir la eficacia, la eficiencia y los avances del proyecto, así como para estimular entre el personal y los grupos beneficiarios del proyecto el sentido de apropiación de éste, (que lo hagan suyo).

5 Etapas de la evaluación. En la evaluación de la mayor parte de las intervenciones educativas convendrá utilizar diversas técnicas de investigación para evaluar el proyecto en las distintas etapas. Esas etapas son las siguientes: la determinación de las metas, objetivos y procedimientos del programa, comprendida la evaluación inicial de las necesidades (evaluación formativa). el proceso de ejecución del programa (evaluación de proceso) la medición de los resultados y los impactos (evaluación de resultados)

6 A qué debe aspirar la evaluación?. Diseñar el proceso para obtener la información necesaria mediante diversos métodos. Estimular la elaboración de indicadores, puntos de referencia e iniciativas claros. Acopiar y analizar datos durante todo el ciclo del proyecto en relación con los objetivos y resultados deseados. Determinar los fallos, en caso de no haberse alcanzado algunos objetivos (o ninguno). Hacer los ajustes necesarios sobre la base de la experiencia y de las lecciones aprendidas. Retroalimentar con información a todos los participantes en el programa. Utilizar los resultados finales para contribuir a la planificación y ejecución de iniciativas futuras.

7 DINÁMICA DE REFLEXIÓN De qué hay que preocuparse? Nos dividimos por grupos de 3 o 4 personas y responderemos a las siguientes preguntas. Cuál es la finalidad de la evaluación? A quién le sirve? El diseño de la evaluación respalda la iniciativa que se realiza en el terreno? La investigación genera nuevos conocimientos? Se usa la evaluación como instrumento para conceder autonomía y capacidad de decisión a las personas que sirve? Después exponemos las conclusiones al gran grupo.

8 Quién evalúa?. Los participantes y los receptores Qué se debe evaluar?. La ejecución del programa, cómo se desarrolla. Las pautas y métodos del personal. Los recursos disponibles.

9 Métodos de evaluación. Como establecer un modelo de evaluación: ➀ Objetivo: determinar lo que se ha de evaluar. ➁ Preguntas: formular preguntas apropiadas para la evaluación. ➂ Indicadores: saber qué información acopiar para responder a esas preguntas ➃ Calendario: saber cuándo acopiar los datos ➄ Acopio de datos: organizar el acopio de datos fuentes, métodos, muestra, instrumentos

10 Indicadores. Cómo sabrá si se han alcanzado las metas y los objetivos? Un indicador es la prueba del fenómeno sobre el que está haciendo preguntas, o información que lo representa. Por ejemplo: Los indicadores le ayudan a evaluar los progresos en curso del proyecto (indicadores de proceso) y a determinar si se han logrado o no resultados previstos (indicadores de resultados). Los indicadores definen los datos que se acopiarán y deben estar directamente relacionados con las metas y los objetivos esenciales del proyecto. Pueden ser vistos (observados), oídos (respuestas de participantes), leídos (archivos de una organización), sentidos (clima de la reunión), tocados u olidos. Es la prueba que respondealas preguntas.

11 Indicadores de proceso. Los indicadores de proceso se refieren a una actividad en curso del proyecto y pueden incluir: El aumento del número de personas que asisten. La realización de las actividades del proyecto. El grado de satisfacción de los participantes.

12 Indicadores de resultados. Entre los ejemplos de indicadores de resultados. un mayor conocimiento del desarrollo y funcionamiento del proyecto, por parte del equipo de monitores, de manera grupal e individual. una mayor implicación de los monitores en el desarrollo del proyecto, en todos sus aspectos (planificación, ejecución y evaluación).

13 Indicadores. Características Los indicadores deberán tener las siguientes características: ser directos ser específicos ser útiles ser prácticos ser adecuados ser apropiados no ser demasiado numerosos!

14 Calendario, programación y recolección de datos El acopio de datos puede efectuarse en varios momentos: los datos se examinan durante el ciclo de reflexión. al comienzo del programa, o actividad específicos. durante la ejecución. a mediados de la ejecución del programa. al final del programa, el evento o la actividad según un periodo determinado (cada mes, cada trimestre o anualmente) después del programa, para determinar los resultados a un plazo más largo.

15 DINÁMICA DE DISTENSIÓN Arca de Noé Cada uno/a de los participantes tiene un trozo de papel en el que está escrito el nombre de un animal. Deben encontrar animales semejantes para formar un grupo, pero sin hablar ni hacer sonidos, solo haciendo mimo.

16 Formularios de acopio de datos. Investigación cuantitativa y cualitativa. Investigación cuantitativa La investigación cuantitativa supone el acopio sistemático de elementos o datos que se pueden contar y codificar numéricamente. Qué es la investigación cuantitativa y cuándo debe utilizarse? Los datos cuantitativos son útiles para obtener un panorama general de una situación y para efectuar un muestreo de un número relativamente importante de personas. En una investigación cuantitativa se formulan preguntas como: cuánto? o cuántos?.

17 Formularios de acopio de datos. Investigación cuantitativa y cualitativa. Investigación cualitativa Comprende el análisis de datos no numéricos como el texto de las transcripciones de entrevistas, u observaciones del investigador, y formula preguntas como qué?, cómo? y por qué?. Estos métodos se suelen utilizar cuando el investigador desea ahondar en el tema y estudiar respuestas a preguntas que no son fáciles de categorizar o que no son previsibles. Los métodos cualitativos permiten, buscar diferencias entre los individuos y los grupos. Al reconocer que los seres humanos interactúan de un modo en que no lo hacen los objetos de las ciencias naturales, los métodos cualitativos suelen estar concebidos para tomar plenamente en cuenta la contribución que aportan a los datos tanto el participante como el investigador, en su calidad de seres sociales.

18 Formularios de acopio de datos Características de la investigación cuantitativa y cualitativa. Investigación cualitativa Investigación cuantitativa Preguntas formuladas Quién, qué, cómo, por qué? Cuánto, cuántos? Tipo de pregunta De respuesta abierta De respuesta cerrada Interacción Diálogo u observación a través de: película, vídeo, teatro, cartografía, etc. Formulario Semiestructurado o no estructurado A quién? Muestreo con fines específicos. Se escoge una muestra pequeña pero representativa. Preguntas-respuestas Controlado Muestreo formal. Se escogen aleatoriamente cantidades más grandes. Se pueden evaluar las probabilidades estadísticas Nivel En profundidad En superficie y extensivo Análisis Interpretación Formalización y análisis estadístico

19 Características de la investigación cuantitativa y cualitativa. Métodos comunes (deberían utilizarse técnicas participativas en ambas categorías) Investigación cualitativa Entrevistas: entrevistas individuales en profundidad narrativas incidente crítico : esto es, en relación con un hecho específico en que se explora la respuesta individual o colectiva al mismo. grupo de discusión Texto escrito: método del diario de archivo Observación: observación participante observación no participante Técnicas del proyecto: respuestas a estímulos presentados. asociación de palabras. escenificación. Investigación cuantitativa Encuesta: cuestionarios transversal (situación en un determinado momento) cohorte (seguir a un grupo a lo largo del tiempo). Ensayos controlados: aleatorios experimentales Datos de archivo: (datos secundarios) análisis más avanzado de estadísticas existentes Observación: Conteo, por ejemplo, de los que han participado activamente en una actividad.

20 Técnicas de investigación cualitativa Entrevistas detalladas. Pueden realizarse con informadores clave, por ejemplo, personas que han estado estrechamente asociadas al proyecto y tienen una comprensión particular al respecto. Pueden efectuarse con personal del proyecto, organizaciones copartícipes o participantes en el proyecto. Grupos de discusión y mesas redondas. Un grupo de discusión suele reunir de cuatro a ocho personas, generalmente relacionadas por un factor común (por ejemplo, pueden ser todos usuarios o monitores, en función del tema central del proyecto). El grupo se utiliza para debatir sobre cuestiones clave que son esenciales para la evaluación. Puede ser útil recurrir a técnicas que susciten el debate, como fotografías, grabaciones, pinturas, etc.

21 Técnicas de investigación cualitativa Observación. Observe, por ejemplo, la dinámica de los grupos. Quién acude a las reuniones? Qué preguntas se plantean? Quién participa? Está bien representada la comunidad? Examen de expedientes. Examine ejemplos de trabajos que han sido producidos. Formularios de retroinformación. Puede descubrir lo que piensa la gente de los servicios que presta el proyecto pidiéndoles que rellenen un breve formulario de retroinformación. Qué es lo que les pareció más útil? Cómo mejorarían la actividad? Talleres de evaluación y reuniones de examen. Son reuniones especiales destinadas a obtener reacciones de los participantes en el proyecto. Pueden utilizarse técnicas similares a las que se emplean con los grupos de discusión.

22 Síntesis: un plan completo de evaluación I Definir la evaluación II Acopiar información III Analizar la información IV Cómo utilizar la información Preguntas: Qué desea saber? Indicadores: Cómo lo obtendrá? Quién dirigirá la evaluación? Hágala participativa! Piense en lo siguiente: Fuentes Métodos (cualitativa, cuantitativa, participativa) Calendario Muestras Instrumentos Análisis Interpretación Difundir y compartir las enseñanzas extraídas ( tanto las buenas como las malas!) A quién? Cuándo? Cómo? Que sea simple!

23 Síntesis: un plan completo de evaluación Asegúrese de que la evaluación sea explícita y sencilla. Concéntrese en qué es lo que necesita saber?, quién utilizará la información? y para qué? Esta es una presentación muy resumida de la evaluación. El propósito era de qué modo la facilita la elaboración del modelo lógico. Muchos otros recursos disponibles pueden ayudar en cuanto a los aspectos técnicos de la evaluación. Un modelo lógico es una herramienta que puede proporcionar un marco coherente para guiar el proceso de evaluación. El modelo lógico facilita una evaluación eficaz ya que nos ayudará a: Determinar qué es lo que se debe evaluar Definir preguntas apropiadas para su evaluación sobre la base del programa. Saber qué información acopiar para responder a las preguntas de su evaluación, los indicadores. Determinar cuándo recolectar los datos. Determinar las fuentes de datos, y los métodos e instrumentos de acopio. Examinar posibilidades de examen y difusión de datos.