Evaluando Programas de Intervención en Actividad Física Andrea Torres, MPH Centro Colaborador CDC/OMS para Actividad Fisica y Salud División de Actividad Física y Salud CDC
Visión General Evaluación: Definición y Principios Manual de evaluación de Actividad física 6 Pasos Elementos de evaluación en Latino America
Qué es Evaluación? El examen y la valoración sistemática de las características de un programa y sus efectos. La evaluación es diseñada para generar información que pueda ser utilizada por quienes tengan interés en la mejoría o efectividad de un programa o iniciativa.
Para qué Evaluar? Para evaluar los efectos y costos de un programa. Por responsabilidad Para progresar Para identificar las mejores prácticas Como herramienta de planeación Para investigación
Conocimiento y herramientas escenciales para la evaluacion de programas Aprender a definir terminos basicos de evaluacion. Aprender a aplicar estandares de evaluacion. Aprender a trabajar con los interesados. Revisar enfoques de evaluacion. Revisar modelos de evalucion y utilizandolos para enfocar la evaluacion. Saber si el programa esta listo para ser evaluado Disenar metodos de recoleccion de datos Recolectar datos Analizar datos Escribir reportes de evaluacion.
La evaluación debe ser planeada con base en: El programa Grupos objetivo y necesidades Objetivos reales y alcanzables El programa esta listo para ser evaluado?
Proceso de implementacion de una la evaluación Identificar necesidades Establecer metas y objetivos medibles Evaluar progresos hacia los objetivos
Terminología de Evaluación Eficacia: Probar las intervenciones bajo condiciones ideales con un diseño óptimo del estudio. Efectividad: Probar las intervenciones basadas en campo no el trabajo de intervención como proyecto, para una población definida en el mundo real. Eficiencia: Resultados en comparación con los esfuerzos para obtenerlos frecuencia de costos o costo efectividad.
Evaluación Que voy a medir? Problema Grupos afectados Barreras Acceso Oportunidades Presupuesto. Personal Equipo Infraestructura Cubrimiento Calidad Conocimiento Actitudes Habilidades Auto-estima Cambios en Actividades implementadas Comportamiento Indicadores de Salud Cambios en Resultados atribuibles a la intervencion Terminologia? EVALUACION FORMATIVA EVALUACION DE PROCESO EVALUACION SUMATIVA /RESULTADOS/IMPACTO MONITOREO DE MONITOREO DE MONITOREO DE RESULTADOS EVALUANDO RECURSOS PRODUCTOS CORTO PLAZO MEDIANO PLAZO LARGO PLAZO IMPACTO EVALUACION DE PROGRAMAS Source: Janet T. Bertrand, 2005
Evaluación Formativa Que tiene mayor probabilidad de funcionar? Mejores prácticas en promoción de salud Idea o concepto de desarrollo Desarrollando y haciendo pilotos de materiales. Grupos focales
Evaluación Formativa Grupos focales y entrevistas con compañeros sobre sus necesidades Revisando las mejores prácticas de otros programas como Agita Sao Paulo Prueba piloto e una compañía.
Evaluación de Proceso El programa se implementó como se proyectó? Calidad de los componentes del programa Tasa de asistencia Concientización de la audiencia sobre el mensaje Apropiación del mensaje aprendido Satisfacción de los participantes
Evaluación de Proceso Compañías involucradas Talleres realizados Promotores entrenados Compañías participantes en eventos comunitarios
Evaluación de Impacto y Resultados Efectos a corto y largo plazo del programa Estado o la condicion que el programa quiere cambiar en la poblacion objetivo. Efectos en la comunidad
Evaluación de Impacto y Resultados Nivel de Actividad Física en la comunidad. Disminucion de factores de riesgo (sobrepeso) Tasas de enfermedad y de costos.
Evaluación de Impacto y Resultados Nivel del resultado esperado: Estado de cierta condicion en un momento especifico: nivel de actividad fisica. Cambios en el resultado esperado: Diferencia del nivel de actividad fisica en diferentes momentos. Efecto del programa: proporcion de el cambio atribuible unicamente al programa
Evaluación de Impacto y Resultados Identificar un resultado o meta relevante para su programa. Evidencia previa: modelos y teorias Interesados: cada programa tiene su racional.
Evaluación de Impacto y Resultados Modelo de creencia en salud Modelo ecologico Aumento de percepcion de amenaza de no adoptar un comportamiento y del beneficion de adoptarlo Intervencione s en multiples niveles: individual, familiar, ambiente, lugar de trabajo, politicas Cambio en el comportamiento
Evaluación de Impacto y Resultados Programa de reduccion de comportamientos delincuanciales en jovenes Programa Resultados a corto plazo Resultados a largo plazo Adultos mentores de jovenes en riesgo Jovenes se exponen a los valores y comportamientos del mentor Jovenes usan su tiempo libre positivamente Jovenes reducen su expocision a pares que generen influencias negativas Jovenes disminuyen sus comportamientos de delincuencia Multiples dimensiones puden ser medidas para este resultado
Mecanismo de Evaluación de Programas Manual de Evaluación de Actividad Física
Manual de Evaluación de Actividad Física 1. Comprometer a los interesados Incluir personas interesadas en el programa: ejecutantes, socios, participantes, posibles oponentes y tomadores de decisión. 2. Describir el Programa Claramente Hacia donde se dirige el problema, descripción de las fases de planeación, implementación y mantenimiento del programa, y finalmente, definir y comunicar como trabajan unidas todas las fases (Ej. el modelo lógico").
Descripcion del programa Step 1. Describir el programa Proposito Teoria/racional Objetivos Estrategia Resultados esperados
Metodo de Evaluación de Programas Manual de Evaluación de Actividad Física 3. Aclarar el Enfoque Realice una pregunta clara y sencilla y asegure su vínculo con el problema. Incluya procesos de aclaración y/o resultados de evaluaciones de interés 4. Recolección de datos Planee la recolección de datos, seleccione grupos de control adecuados, Diseño de valores de línea de base apropiados y decisiones acerca del tiempo necesario para construir una medición adecuada cambio
Estructura de Evaluación de Programas Manual de Evaluación de Actividad Física 5. Desarrollar Conclusiones Análisis de datos e interpretación. 6. Comunicar Resultados Promover la importancia de los productos tangibles de la evaluación, diseminarlos y hacerles seguimiento (adecuadamente)
www.iuhpe.org
Observaciones en Evaluación Todas las intervenciones en Actividad Física deben ser evaluadas. La evaluación comienza con la planeación del programa. Existen muchos programas buenos, pero muy pocos bien evaluados. Involucre interesados principales Las asociaciones, comunidades y universidades pueden ser muy útiles.
Observaciones en Evaluación Evaluación de proceso así como de resultado Cuantitativo y cualitativo Adaptar la evaluación tanto a los interesados como a la situación. La evaluación es comunmente subvalorada comparada con la ciencia Adecuados recursos deben ser destinados para evaluación. 10% es recomendado.
Observaciones en Evaluación Los resultados de la evaluación deben ser usados para ajustar los programas y las políticas Compatir resultados con los interesados En América Latina se necesita entrenamiento académico y práctico. El manual de actividad física del CDC proporciona un buen marco de referencia.
GRACIAS!