CURSO SOBRE TÉCNICAS DE ANÁLISIS Y EVALUACIÓN DE POLÍTICAS PÚBLICAS. UNIVERSIDAD DEL PAÍS VASCO Cursos de verano San Sebastián, de julio 2006

Transcripción

1 CURSO SOBRE TÉCNICAS DE ANÁLISIS Y EVALUACIÓN DE POLÍTICAS PÚBLICAS UNIVERSIDAD DEL PAÍS VASCO Cursos de verano San Sebastián, de julio 2006 De la teoría a la práctica en la evaluación de políticas públicas María Bustelo Universidad Complutense Sumario 1. El carácter sistemático de la evaluación 2. El carácter valorativo como una de las características específicas de la evaluación 3. El necesario carácter integral u holístico de la evaluación de las políticas públicas 4. La importancia del contexto en la evaluación. Su carácter político 5. El proceso de evaluación como un proceso metodológicamente amplio 6. El carácter práctico y aplicado de la evaluación 7. A modo de conclusión 1

2 Introducción Muchos elementos han ido emergiendo como parte de la teoría de la evaluación de lo que se ha venido a llamar Evaluación de programas La teoría de la evaluación se ha ido conformando a base de los intentos por solucionar los problemas prácticos con los que se enfrentaban los/as evaluadores/as (Shadish, Cook y Levinton, 1991) Sin embargo, dicho corpus teórico tiene una serie de implicaciones prácticas que, en muchos casos, no se reconocen plenamente Cómo podemos traducir la teoría en la práctica de la evaluación de políticas públicas? 1. El carácter sistemático de la evaluación Recoger y analizar sistemáticamente una información que nos permita determinar el valor o mérito de algo (Stufflebeam y Shinkfield, 1987) No es sólo un juicio de expertos, implica un proceso sistemático de elaboración de criterios, recopilación, análisis y enjuiciamiento sistemático Es un proceso metodológico que requiere de una aplicación de pautas y técnicas sistemáticas 2

3 Las funciones de la evaluación. Un proceso sistemático para... La retroalimentación o mejora (improvement) El control de responsabilidades y la rendición de cuentas (accountability) Ilustración para acciones futuras (enlightenment) Adaptado de (Stufflebeam y Shinkfield, 1987) 2.El carácter valorativo y el enjuiciamiento sistemático Los 4 niveles de análisis HALLAZGOS empíricos, hechos, datos e información que se recoge INTERPRETACIONES: explicaciones sobre los hechos y datos JUICIOS: valoraciones acerca de los hallazgos y sus interpretaciones RECOMENDACIONES: sugerencias sobre posibles líneas de acción Adaptado de Patton (1986) Implica su consideración como elemento sistemático en el proceso de evaluación Siguiendo la secuencia lógica de los cuatro niveles del análisis Proporcionando y clarificando una base lógica que justifique las perspectivas de valoración utilizadas para interpretar y valorar los resultados 3

4 3. El carácter integral de la evaluación TIPOLOGÍA DE EVALUACIONES SEGÚN EL CONTENIDO O FASE DEL PROGRAMA Evaluación de Diseño: Analiza y valora el diseño y conceptualización del programa. Evaluación de Proceso: Analiza y valora el proceso de puesta en práctica del programa, es decir, cómo se ejecuta, pone en práctica y funciona. Evaluación de Resultados: De outputs o productos: Analiza y valora la calidad de lo que produce un programa (actuaciones, actividades, materiales, etc.). De outcomes o efectos: Analiza y valora los efectos que son producidos por los outputs Enfoques de evaluación Según Stufflebeam y Shinkfield (1987) CUASIEVALUACIONES ENFOQUE POR OBJETIVOS ENFOQUES EXPERIMENTALISTAS EVALUACIONES VERDADERAS ENFOQUES ORIENTADOS A LA TOMA DE DECISIONES (Cronbach, Weiss, Stufflebeam) ENFOQUES CENTRADOS EN EL CONSUMIDOR (Scriven) ENFOQUES CENTRADOS EN EL CLIENTE (Stake) ENFOQUES ORIENTADOS A LA UTILIZACIÓN (Patton) ENFOQUES CENTRADOS EN LA PARTICIPACIÓN (Guba y Lincoln, Fetterman, Monnier) 4

5 Lo que no es evaluación La evaluación de programas y políticas no es: Investigación Seguimiento o monitoreo Incluye, pero va más allá de la evaluación del rendimiento de destinatari@s Memoria Observatorio Auditoría Incluye, pero va más allá de la evaluación económica 4. El carácter político y la importancia del contexto Las políticas y programas que se evalúan son resultado de decisiones políticas La evaluación se hace para alimentar el proceso de toma de decisiones La evaluación en sí misma, por su misma naturaleza, adopta una postura política Adaptado de Carol H. Weiss (1987) Esto implica: Capacidad de respuesta Sensibilidad social y política Credibilidad y aceptación (participación) Temporalidad Flexibilidad Realismo Formación ética 5

6 5. La evaluación como un proceso metodológico amplio 1º Delimitación de la unidad de evaluación, diagnóstico de la situación evaluativa, incluyendo la identificación de stakeholders y sus necesidades informativas 2º Definición y negociación de criterios, preguntas e indicadores 3º Elección y diseño de instrumentos y técnicas de recopilación de información 4º Recopilación de la información: sistemas, actores, espacios y tiempos 5º Análisis, interpretación y valoración a la luz de los criterios de evaluación 6º Informe de evaluación, comunicación y difusión de los resultados La definición de criterios de evaluación Son importantes porque determinan: Las variables a estudiar: lo QUE se evalúa Los criterios de valor con los se establecen juicios posteriormente Tres reglas de oro: CLARIDAD: Hay que definirlos claramente y operacionalizarlos CONSENSO: Debe haber acuerdo en la definición PRIORIDADES: No todos son igualmente importantes en cada momento y contexto 6

7 Fuentes para establecer criterios de evaluación 1. El programa o proyecto a evaluar: fines, objetivos y teoría del programa 2. El contexto y momento de la evaluación 3. Las preocupaciones de l@s stakeholders y especialmente de l@s profesionales 4. El estado de la cuestión en el área a tratar 5. Evaluaciones de programas similares 6. Y una guía que nos oriente a modo de lista de comprobación general 6. El carácter práctico y aplicado El uso y la utilidad (1) La evaluación ha de ser, ante todo, útil y práctica. Útil, porque la información que nos ofrezca debe ser una pertinente y fácilmente aplicable y utilizable. Práctica, porque debe estar orientada hacia la acción. Si no se utiliza la información, los esfuerzos y energías empleados no merecerán la pena. Esto implica Tener en cuenta el contexto específico Identificar e implicar a stakeholders desde el diseño Ajustar el proceso de evaluación a los destinatarios Presentar los resultados a tiempo 7

8 6. El carácter práctico y aplicado El uso y la utilidad (2) La importancia de las recomendaciones Son el vínculo formal entre una evaluación y su uso (Torres, Preskill y Piontek, 1996) Las recomendaciones deben también seguir la secuencia lógica y sistemática de los niveles de análisis anteriores Los diferentes tipos de uso Instrumental Conceptual Persuasivo Democrático Para el aprendizaje de la comunidad política y científica Para el aprendizaje organizativo A modo de conclusión Creciente importancia de la teoría de la evaluación; y de su aplicación práctica Necesidad de una cultura de evaluación en torno a las políticas y administraciones públicas: publicaciones, formación, institucionalización Reconocimiento de la complejidad de los evaluandos y de los múltiples usos de la evaluación Encontrar el adecuado punto entre calidad y relevancia, entre institucionalización y frescura, entre estandarización y flexibilidad La evaluación como una práctica inter y multidisciplinar, integral e incluyente 8