EVALUACIÓN DE PLANES, PROGRAMAS Y PROYECTOS DE PREVENCIÓN

Transcripción

1 TEMA 9: EVALUACIÓN

2 EVALUACIÓN DE PLANES, PROGRAMAS Y PROYECTOS DE PREVENCIÓN Qué no es una Evaluación? Una propuesta realizada una vez finalizado el programa. Una memoria o compilación de las actividades realizadas. Una valoración unidireccional (técnicos/as). Cuando lo que resulte no oriente en la toma de decisiones. Qué es Evaluación? Una actividad programada de reflexión sobre la acción, basada en procedimientos sistemáticos de recolección, análisis e interpretación de información, con la finalidad de emitir juicios valorativos fundamentados y comunicables sobre las actividades, resultados e impactos de esos programas, proyectos, planes y formular recomendaciones para tomar decisiones que permitan ajustar la acción presente y mejora la acción futura (Nirenberg, O, et all, 2000).

3 TIPOS DE EVALUACIÓN Quién evalúa Su función El contenido de la evaluación La perspectiva temporal Interna Externa Sumativa ( proceso) Formativa (final) Conceptual o de diseño Del proceso de aplicación y gestión Ex ante Intermedia Ex - post De resultados e impacto

4 Usos y formas de la evaluación Usos Formas de evaluación Conocer resultados y conjunto de efectos de los programas Tomar decisiones sobre acciones Elegir entre programas Ayudar al desarrollo y mejora de las acciones sociales Seguimiento del desarrollo de programas en relación a objetivos/expectativas iniciales Acumular información sobre cuestiones, programas y contextos sociales Evaluación de resultados o impacto Evaluación respondiente y comparativa Evaluación formativa Evaluación de proceso Conocimiento público, reflexión social

5 TIPOS DE EVALUACIÓN A. De necesidades y el análisis del problema (hacerse juntos). B. De diseño y conceptualización del programa (análisis lógico y de coherencia del programa). C. Evaluación del proceso (procedimiento). Diseño de la recogida de información. Decidir qué tipo de información/variables se van a recoger. Recogida de la información: Selección de técnicas de recogida de información. Selección de instrumentos de recogida de información. Elección de una estrategia muestral (dónde: aleatorio, homogéneo, cuándo: depende del tipo de programa, quién: usuarios y técnicos). Procedimiento de aseguramiento de la calidad de la información (fiabilidad y validez): Realizar comparaciones entre grupos y/o en tiempo, utilizar el análisis estadístico: diseños experimentales, cuasiexperimentales con pretest postest y grupos de comparación, diseños de series temporales). Planteamiento de análisis de datos. Análisis de datos e informes de resultados. D. Evaluación de resultados (descripción y análisis de los efectos conseguidos).

6 Tipología de evaluaciones (1) Evaluación Objetivo Limitaciones Recursos Necesidades Analizar el volumen y características del problema de intervención Definición de la realidad Estadísticas y datos secundarios, encuestas a la población o expertos, técnicas de grupo, foro comunitario, etc. Evaluación del diseño /conceptualizac ión del programa Analizar la población objetivo y problemas de cobertura y el conjunto de actividades que constituyen el programa y los recursos Ausencia de modelos de intervención suficientemente contrastados que orienten los resultados Reconocimiento de la investigación básica aplicada a las Ciencias Sociales

7 Tipología de evaluaciones (2) Evaluación Objetivo Limitaciones Recursos Evaluación de la evaluabilidad Análisis previo de la capacidad del programa Muchos programas no son evaluables por carecer de objetivos, problemas de implementación, etc.. Técnicas de análisis documental y entrevistas con diseñadores, análisis de la realidad empírica del programa, LCREP (listado de cuestiones relevantes en la evaluación de programas), etc. Evaluación de la implementación Instrumentalizar los esquemas teóricos prefijados Discrepancias entre el diseño y la realidad y la adaptación de uno y otro aspecto, lo cual conduce a redefinir el programa Descripción del programa en base a apropiados instrumentos metodológicos, selección de actividades que definen el programa mediante muestra de unidades de análisis para obtener información con validez externa

8 Tipología de evaluaciones (3) Evaluación Objetivo Limitaciones Recursos Evaluación de la cobertura Calcular la tasa de cobertura, las barreras de accesibilidad al programa, etc. Indefinición de las unidades de análisis, accesibilidad física, falta de aceptación y de motivación Dar a conocer el programa a la población,, generar espacios de participación, marketing social, etc. Monitoreo y seguimiento del programa Realizar una evaluación continua ( de proceso, desempeño del producto, de calidad, etc..) Falta de recursos ( económicos, técnicos..) para el seguimiento sistemático del proceso, así como de formación para llevarla a cabo. Indicadores, soportes documentales, sistemas de información sistematizados, metodología de análisis periódico de la información recogida, etc.

9 Tipología de evaluaciones (3) Evaluación Objetivo Limitaciones Recursos Evaluación del impacto Analizar los efectos del programa sobre la población Confusión entre ésta evaluación y la de resultados Recolección de información de forma exhaustiva y concluyente sobre el programa. Evaluación de resultados Evaluación por objetivos, analizar los logros o no del programa Prever la identificación previa de los posible efectos y consecuencias Recolectar información de forma exhaustiva y proceder a su sistematización

10 Tipología de evaluaciones (4) Evaluación Objetivo Limitaciones Recursos Meta- evaluación Someter los resultados de la evaluación a una nueva evaluación La objetividad y la falta de recursos técnicos, económicos y cualificación profesional Programa diseñado, ejecutado y resultados obtenidos Evaluación económica Centrar el análisis en el costo del programa con relación a los resultados que se obtienen Logar le coherencia entre la eficacia, eficiencia y efectividad Análisis del costo beneficio y de la efectividad, eficiencia y eficacia del programa

11 MOMENTOS DE LA EVALUACION Evaluación del diseño: evaluabilidad de la evaluación (LCREP: calidad y barreras) Evaluación de la implementación Evaluación del proceso Evaluación de resultados Evaluación del impacto Meta - evaluación

12 LISTADO DE CUESTIONES RELEVANTES EN EVALUACIÓN PROGRAMAS (L.C.R.EP) Dimensiones correspondientes a la calidad del proceso de planificación e implantación: Evaluación de necesidades. Definición de los objetivos. Criterios de selección del programa. Definición del programa. Grado de implantación. Diseño de la evaluación. Calidad de las operaciones. Recogida de información sobre contexto de implantación. Dimensiones relativas a las barrearas con las que se puede encontrar: Aceptabilidad de la evaluación. Implicación del evaluador. Finalidad de la evaluación. Costes de la evaluación.

13 1. Precisiones conceptuales: PARTES QUE INTEGRAN UN MODELO EVALUATIVO Marco teórico generales. Las dimensiones y variables: definiciones conceptuales y operativas. 2. Aspectos metodológicos: Abordaje metodológico general. Técnicas sugeridas / instrumentos. Fuentes. Actores participantes. Cronograma de aplicación y focos. 3. Matriz síntesis del modelo evaluativo: Dimensiones, variables para cada dimensión, indicadores para cada variables, técnicas y fuentes para la obtención de información, principales preguntas evaluativas. 4. Instrumento valorativo.

14 MATRIZ SÍNTESIS DEL MODELO EVALUATIVO: DIMENSIÓN VARIABLES INDICADORES TECNICAS INSTRUMENTO Salud, educación, Edad, sexo, tipo de droga, enfermedad, autoestima.. Nº de hombre y mujeres Puntuación en autoestima Nº de drogas que consume Tipos de droga Entrevista, grupo de discusión, observación,.. Cuestionario de autoestima Planilla de observación Historia social Etc

15 EL PROCESO DE LA EVALUACIÓN (1) 1. Programación de la evaluación: Definición del sujeto objeto de evaluación.( dimensión) Establecimiento de la finalidad ( objetivo técnico- político usuario) Identificación de las audiencias ( participantes). Determinación del nivel de análisis ( cuantitativa- cualitativa). Clasificación de las dimensiones de análisis o criterios de valor (sustantivas, gerenciales o instrumentales, estratégicas o de atributos). Definición de las variables (de estructuras, de procesos, de resultados: de productos, de efectos, de impactos). Selección de las técnicas de evaluación ( indicadores, observación...). Determinación de las técnicas e instrumentos para la recolección de la información. Determinación de la secuencia de actividades. Identificación de responsables y actores participantes. Establecimiento de la duración, frecuencia y periodicidad. Estimación de los recursos necesarios (humanos y materiales). Coste

16 2. Ejecución de la evaluación: EL PROCESO DE LA EVALUACIÓN (2) Desarrollo de las actividades y la aplicación de las técnicas e instrumentos. Sistematización, procesamiento y análisis de la información. Elaboración de informes (incluyendo conclusiones y recomendaciones). Devolución a los actores y diseminación de conclusiones. 3. Evaluación de la evaluación (metaevaluación): Análisis de la utilidad de los hallazgos. Apreciación sobre la viabilidad del proceso evaluativo y del uso de sus resultados. Juicio acerca de la pertinencia metodológica y la ética. Análisis de la confiabilidad de los hallazgos y procedimientos.

17 TÉCNICAS CUANTITATIVAS Y CUALITATIVAS EN EVALUACIÓN DE PROGRAMAS Encuesta. MÉTODOS CUANTITATIVOS Entrevista estructurada: informantes claves o grupal. Técnicas de autoinforme. Observación estructurada. Indicadores sociales, económicos y de salud. Datos de archivo sobre usuarios. Datos de archivo sobre el programa Análisis de cartografía (mapeo). Censo participativo (cobertura). Estudio de seguimiento de cohortes Estudios de grupos control o testigo. Entrevista abierta. Método Delphi. Grupos de discusión. Observación participante y etnografía. Analizadores sociales: el socioanálisis. Informe pautado. Entrevista semiestructurada: informantes claves o grupal. Juicios de Expertos. Historias de vida. MÉTODOS CUALITATIVOS Apreciaciones rápidas. Técnica del taller: taller con aplicación de cuestionario y taller de confrontación. Taller de análisis de articulación organizacional. Taller de análisis de procesos decisorios.

18 DIFERENCIAS ENTRE EVALUACIÓN Y SEGUIMIENTO EVALUACIÓN SEGUIMIENTO Emitir juicios sobre la validez, bondad y utilidad de la intervención. Exige importantes recursos. Se puede realizar tanto internamente como por evaluadores externos. Conclusiva ( tomar decisiones) Información aislada de los elementos del Programa (parte del proceso). No implica un coste demasiado elevado. En principio se debe realizar internamente Informativa.

19 EL SEGUMIENTO DEBE CONTEMPLAR La participación de la población objetivo. La gestión del programa. El cumplimiento de la normativa legal que pueda afectar a las actuaciones insertas en el programa. La evolución del contexto socioeconómico donde se desarrolla la intervención. La ejecución del programa, sus resultados directos y sus costes. Desvíos o atrasos respecto a los plazos previstos. Escenarios futuros ( evolución).

20 CONTROL VERSUS EVALUACIÓN Concepto: Proceso planificado y pormenorizado que permitirá relacionar coherentemente los aspectos técnicos, materiales y humanos asegurando así el cumplimiento global de los objetivos. Proceso de control: Establecer estándares: expresas cualidades o cantidades que han de aparecer en las evidencias obtenidas acerca de un indicador en relación con determinado criterio que nos permita una valoración. Medir el desempeño con esos estándares. Corregir desviaciones. Herramientas del control de gestión: Cuadro de mando integral. Balance de puntos y fuertes en la gestión. Análisis comparativo inter organizaciones. Auditorias (de gestión, de calidad, económica ). Autoevaluación.

21 LA EVALUACIÓN EXTERNA DEFINICIÓN: Proceso de obtención de información válida y fiable que habrá que analizar, interpretar, valorar y comunicar, al objeto de conocer la realidad e indicar, si fuese necesario, las consiguientes propuestas de mejora REQUISITOS DE LA EVALUACIÓN EXTERNA: Tener legitimación institucional (avalada por la Universidad, Organismos ). Hacerse pública (sus resultados). Realizada por evaluadores externos (independencia de los mismos). Rigurosa y objetiva (instrumentos y técnicas fiables). Contextualizada en la Organización que se aplique. Carácter comprehensivo y global (recursos, procesos y resultados). Negociada y consensuada con los sujetos objeto de evaluación. Intencional (para mejorara, no para controlar). Consecuente (que se adopten las medidas pertinentes que resulten de la misma). Qué contemple la metaevaluación (evaluación de la evaluación).

22 CRITERIOS O INDICADORES DE CALIDAD A EMPLEAR EN LA EVALUACIÓN DE ORGANIZACIONES: REQUISITOS. REQUISITOS DE CONSTRUCTO. 1. Significatividad: El indicador recoge y hace referencia a alguna propiedad del objeto. 2. Relevancia: La propiedad referida es de tipo esencial. 3. Teleologicidad: Los datos recogidos en el indicador están en congruencia con los fines y objetivos de la evaluación pretendida. 4. Caducidad: Los datos recogidos por el indicador tienden a ser permanentes. 5. Utilidad: Con los datos recogidos por el indicador se pueden realizar influencias y predicciones. 6. Coherencia: El indicador ofrece datos integrados en un sistema de indicadores.

23 PASOS A TENER EN CUENTA EN LA EVALUACIÓN Fines de la Evaluación Objetivos Selección de ámbitos (dimensiones) Selección de técnicas Metodología Aplicación de instrumentos Recogida de información Análisis de la información A la Organización INFORME DE EVALUACIÓN Comunicación Difusión y publicidad A la sociedad

24 INFORME DE EVALUACIÓN (Ballesteros, R, 1996) (1) 1. Portada: Nombre del plan, programa o proyecto evaluado. Nombre del evaluador. Quién solicitó la evaluación. A quién va dirigido. Fechas y duración de la evaluación. Fecha del informe y firma del evaluador. 2. Resumen: Objetivos de la evaluación. Breve descripción del plan, programa y/o proyecto. Principales hallazgos en función de los propósitos de la evaluación. Importantes recomendaciones que se derivan de la evaluación. 3. El objeto a evaluar (el plan, programa, proyecto ): Datos sobre la planificación del plan, programa, proyecto. Descripción de los recursos y acciones e infraestructuras que requiere. Formulación de la teoría del plan, programa, proyecto. Metas y objetivos. Unidades a las que se ha sometido el plan, programa, proyecto. Contextos de implantación. Grado o nivel de implantación del plan, programa, proyecto.

25 INFORME DE EVALUACIÓN (Ballesteros, R, 1996) (2) 4. Estudio valorativo: Objetivos de la evaluación. Barrearas. Contextos evaluados. Sujetos / unidades. Operaciones observadas (variables, indicadores, instrumentos y medición científica). Diseño. Procedimiento. Análisis de datos. 5. Resultados (descriptivo). 6. Discusión. 7. Conclusiones y recomendaciones.