MÉTODOS DE EVALUACIÓN N F.C.L.

Transcripción

1 MÉTODOS DE EVALUACIÓN N F.C.L. Maneras de Documentar Cambios en PRÁCTICAS José M. Huerta, Ph.D. Especialista en Evaluación SEA

2 Tipos de Evaluación Definición n de Evaluación 1. Evaluación n de la Planificación 2. Evaluación n Formativa A. Evaluación n de Implantación B. Evaluación n de Progreso 3. Evaluación Sumativa

3 Etapas de la Evaluación Planificar la Evaluación Diseñar la Evaluación Recopilar Datos Analizar Datos Diseminar los resultados NOTA: Los diferentes grupos de interés s (los que se afectan del proceso, la clientela, los que toman decisiones, los colaboradores) deben involucrarse en todas las etapas del proceso.

4 Criterio de Selección n de los Grupos de Interés Representan grupos con interés s en el estudio y utilización n de resultados Tienen poder para implantar los hallazgos o influencia en los que tienen poder Creen que es necesaria la evaluación Les interesa la utilización n de los resultados Compromiso de asistir a las reuniones

5 Cambios en práctica (1) Proveer visitas a las diferentes organizaciones en diferentes momentos. Esto incluye los seguimientos para determinar si los miembros han cambiado las prácticas

6 Cambios en práctica (2) Una vez concluído el programa, en la reunión n en los clubes. Aquí se puede solicitar que levanten las mano los miembros que han efectuado cambios en prácticas.

7 Cambios en práctica (3) Mediante el cuestionario. (Encuesta personal) Circular el número n que corresponda a la palabra que mejor describa la frecuencia en que realizan cada una de las siguientes prácticas.» Nunca a veces a menudo Siempre Comer juntos en familia Hacer ejercicio Usa cinturón n de seguridad Sigue límites l de velocidad Rinde plamillas cada año a o

8 Cambios en práctica (4) Se puede administrar el mismo cuestionario en forma de pre- prueba y post-prueba, prueba, o antes y después s del programa.

9 Cambios en práctica (5) En la misma post-prueba prueba se puede realizar una post-prueba prueba y luego una pre-prueba. prueba. Después s del programa» Nunca a veces a menudo Siempre Comen juntos en familia Antes del programa» Nunca a veces a menudo Siempre Comían juntos en familia

10 Cambios en práctica (6) Se puede utilizar un grupo de comparación. Es decir, un grupo similar que no haya participado en programas de FCL y compararlo con otro que sí haya participado.

11 Cambios en práctica (7) En caso de no tener acceso a los participantes en una segunda ocasión, emtonces se puede usar la encuesta por correo. Debe proveer instrucciones claras. Una mejor alternativa es el convocarlos a un lugar para impartirles el cuestionario. Se puede dar seguimiento por correo. Tome los nombres, direcciones y teléfonos de los participantes.

12 Cambios en práctica (8) Algunas veces son posibles las observaciones. Los agentes agrícolas en visitas rutinarias a las fincas pueden observar que algunos agricultores han sembrado la nueva variedad de plátanos recomendada en el adiestramiento ofrecido hace tres meses. Las observaciones deben ser al azar. Se debe llevar un manual de observaciones.

13 Cambios en práctica (9) En algunos casos no es posible observar a los participantes para obtener información n sobre el cambio en práctica. Por ejemplo, para establecer cambio en comportamiento en los niños participantes, se podría a utilizar a sus padres para observar el cambio. Como resultado del campamento de verano Ha leído su hijo libros adicionales SI sobre el tema que ha estudiado? NO

14 Cambios en práctica (10) Otra estrategia para documentar el cambio en práctica es el utilizar a unos informantes claves, como puede ser el caso de los maestros. Como resultado del taller sobre el manejo del estrés s en el adolescente ofrecido en el campamento de verano Podría a estimar el número n de estudiantes en su curso que han utilizado algunas de las técnicas t de manejo del tiempo? Número estudiantes Número N total en su salón n

15 Técnicas Cualitativas Grupales Grupo Focal Grupo Nominal Análisis del Campo de Fuerzas Incidente crítico Encuesta por Correo de Delphi Análisis Casual Foros Comunitarios

16 Grupo Focal Requiere entre personas por sesión Los participantes deben ser homogéneos Se recomiendan varias sesiones Se promueve diálogo y participación No se busca el consenso La duración n es entre 1 1/2 y 2 horas Debe haber moderador y un asistente. Se debe hacer la minuta inmediatamente.

17 Ejemplo de Grupos Focales en la Evaluación?Qué estrategias del taller les han gustado más? Qué aspectos cambiarían an del taller? De qué manera el taller les ha ayudado en su vida? Qué dificultades tienen para implantar las prácticas recomendadas en el taller? De qué manera pueden adiestrar a otros?

18 Planificación n Grupo Focal Decidir sobre el tópicot Establecer la población Realizar las invitaciones Comité establecerá las preguntas Al final estas se reducen a entre 6-86 Se prueban las preguntas Se coordina hora, lugar y refrigerios.

19 Grupo Nominal Generalmente consta de preguntas Se utiliza oral-escrito Combina trabajo individual-colectivo Se buscan consensos Los participantes representan grupos Se obtienen datos en orden de prioridad

20 Ejemplo Grupo Nominal Bienvenida a los participantes: explicación n y propósito Ejemplo: Identificar cuatro aspectos positivos y cuatro negativos del taller ofrecido sobre Manejo del Estrés. Esto es trabajo individual y escrito. Tienen 15 minutos Explique las ideas. Están n se colocarán n en la pizarra. Seguirá una votación n individual, donde se puede establer un sistema para puntuar las primeras 3 o 5 alternativas Se cuentan los puntos y se pone por orden en la pizarra Habrá oportunidad de cambiar el orden por consenso, estableciendo argumentos. Al final queda un orden establecido por consenso grupal.

21 Análisis del Campo de Fuerzas Se utiliza para documentar las fuerzas que ayudan al cambio en un grupo de personas u organización, n, y las fuerzas que lo repelen. Es muy útil para es determinar necesidades e implantar recomendaciones de las evaluaciones. Estado actual Estado deseado Fuerzas a favor de una mayor participación n del líder l Fuerzas en contra del cambio

22 Incidente Crítico Se utiliza para preguntar a los participantes que mencionen incidentes específicos donde se documente que la organización n está realizando una labor excelente, y otra donde se diga lo contrario. Esta sección n se puede integrar dentro del cuestionario. Incidente Positivo Incidente Negativo

23 Encuesta por correo de Delphi Fue desarrollada para predecir el futuro. Se usa cuando los expertos están dispersos geográficamente Se requieren participantes con conocimiento especializado Es una serie de encuestas por correo en varias etapas con los mismos participantes Determina un consenso elevado

24 Procedimiento de Delphi Identificar propósito y objetivos Identificar un panel de participantes, no más m s de 50 Diseñar preguntas abiertas sobre el tópico t en cuestión Enviar el C1 a los participantes Analizar la encuesta y diseñar preguntas cerradas basado en las ideas generadas en el cuestionario 1 Enviar el c2 y recolectar las que se completaron Analizar los datos y enviar c3 : media grupal, desviación estándar las respuestas individuales, y solicitar si están de acuerdo con los resultados. So no lo están, proveer razones. Se analiza y considera opción n de c4. Se envía a el informe final e informe de los hallazgos del proceso.

25 Análisis Casual Técnica muy útil para generar ideas, establecer necesidades comunitarias y recomendaciones de un estudio de evaluación. Las causas y las consecuencias no están aisladas. Funciona con grupos pequeños (5-8 personas)

26 Procedimiento de análisis Casual Columna 1: Recomendaciones principales generadas en el estudio Columna 2: Causas para las recomendaciones. Cada recomendación n puede tener más m s de una causa Columna 3: Consecuencias si no se atienden las causas Colunna 4: Establezca una calificación n donde 5 es la recomendación n más m s difícil de implantar. Colunna 5: Califique la recomendación n del 1-5, 1 donde 5 es la más m s crítica, basado en el grado crítico de la recomendación, n, si esta no se implanta.

27 Foros Comunitarios Técnica muy buena para presentar diseñar, implantar y presentar recomendaciones de un estudio participativo. Debe haber representación n de los diferentes grupos. Se citan en la comunidad, se establecen los objetivos del estudio, las preguntas claves, se establece el método m, se valida el formulario del estudio y se generan recomendaciones basados en los hallazgos. Es muy importante que los líderes l fomenten la participación, tanto para asistir a los foros, como para que los asistentes a los mismos participen activamente Esta participación n fomenta sentido de pertenencia

28 Recomendaciones generales Involucre a los beneficiarios en todas las etapas del estudio. Valide los diferentes procedimientos del estudio antes de implantarlos (métodos, formularios) Adiestre a los que van a recopilar datos Utilize más s de una metodología Disemine los resultados y establezca un plan de acción n para implantar los cambios