La institucionalización n de la evaluación: primeros pasos de la Agencia

Transcripción

1 La institucionalización n de la evaluación: primeros pasos de la Agencia Antonio RAMIRO SÁNCHEZS Director de Comunicación n e Información Septiembre 2008

2 CREAR AGENCIA Desarrollar nuevo Organismo público (Órganos de Gobierno; Estructura de gestión; Evaluación y Calidad) Impulsar Calidad PRIMEROS PASOS Comunicar y Aprender: Espacio referente / Formación Realizar evaluaciones: Plan de Trabajo 2007 Establecer / Fortalecer: - Cultura de Evaluación - Foros intercambio / Gestión conocimientos - Transparencia

3 PLAN DE TRABAJO 2007 : EVALUACIÓN DE PROGRAMAS Y POLÍTICAS PÚBLICAS P Acuerdo del Consejo de Ministros de 30 de marzo de 2007 por el que se aprueban los programas y políticas públicas que serán objeto de evaluación por la Agencia en Los programas y políticas públicas aprobados constituyen el Plan de Trabajo para 2007 de la Agencia y son los siguientes: A) La evaluación anual del PROGRAMA NACIONAL DE REFORMAS de España, centrándose en: 1. la incidencia de las medidas adoptadas para la racionalización del gasto farmacéutico; 2. la efectividad de las políticas en materia de seguridad energética; 3. los programas de fomento de las actividades de investigación, desarrollo e innovación, y 4. las líneas de financiación para el fomento de la actividad emprendedora. B) Se evaluarán también los siguientes programas: 5. los trámites administrativos para la creación de empresas; 6. el registro nacional de derechos de misión de gases de efecto invernadero, y 7. la calidad de los servicios de los museos de titularidad estatal.

4 PRÓXIMO FUTURO REALIZACIÓN DE EVALUACIONES CON ÉXITO Lecciones aprendizaje Credibilidad independencia - rigor transparencia CONTRIBUIR A LA INSTITUCIONALIZACIÓN : un sistema público de evaluación PROMOCIÓN DE LA CULTURA EVALUADORA (Estatuto AEVAL, artículo 6.1.a): Promover la cultura de evaluación. )

5 SISTEMA DE EVALUACIÓN: Factores exógenos y endógenos Sistema políticoadministrativo: descentralización Sistema de evaluación Demanda de evaluaciones (de las AAPP) Recursos teóricos, técnicos e infraestructuras Oferta de evaluaciones (cantidad, calidad y organización) AEVAL = fomento cultura + formación evaluadora + directrices + metodologías. Sistema Legal y voluntad política (integrar Eval. en el ciclo de políticas públicas) Sistema Educativo (formación) Sistema fiscal, presupuestario (integrar Eval. en auditorías, Trib.Cuentas Influencias externas Organismos supranacionales (Com. Europea, OCDE, ONU ) Medios de comunicación (interés político, debate público..) Sociedad civil (academia, empresas, ONGs ) Progreso científico-técnico (publicar, difundir, alcance ) Normas culturales y Ética Sistema Normas sociales: tradición instituciones, cultura (demandas de transparencia y RC)

6 HACIA UNA CULTURA EVALUADORA Con qué medir el grado de institucionalización de la evaluación? Considerando el número de organizaciones existentes A través de las normas y reglamentación en esta materia Contabilizando las evaluaciones realizadas Existencia de una comunidad epistémica nacional A través de eventos de la comunidad de evaluadores Revistas científicas y documentos divulgativos Programas universitarios de capacitación Y a través de la constatación de que se ha adoptado: una cultura de evaluación

7 Qué es CULTURA de EVALUACIÓN? N? Condiciones sociales e institucionales que ayuden a crear una comprensión común de qué significan las palabras y acciones relativas a esa actividad, dentro de la que tienen lugar interacciones entre diversos actores que requieren mínimos de negociación y tolerancia en la discusión y la aceptación de criterios de referencia, en cuanto a los juicios que llevarán a valorar las políticas públicas (Kushner, 1998) Un proceso y unas prácticas cotidianas que impliquen comprensión de los principios y fundamentos del monitoreo y de la evaluación, valoración de la perspectiva histórica, un lenguaje compartido, y la incorporación de voces independientes dentro de la evaluación y de la voluntad de aplicar las lecciones aprendidas. Los resultados deberán permitir a las personas retroalimentar y/o reorientar planes, políticas y programas como una expresión cotidiana de la institución para aprender de su experiencia y lograr eficacia, eficiencia, impacto, sostenibilidad y divulgación del conocimiento (ONU: Unicef, 1997)

8 Qué REQUIERE la CULTURA de EVALUACIÓN? La evaluación bien realizada es un elemento clave y una mejor práctica democrática al servicio del buen gobierno. Requiere: Vocabulario común (comprensión, glosarios) Núcleo de valores e intereses compartidos (por instituciones, por evaluadores) Reglas del juego de carácter relacional y negociador con tolerancia ante las divergencias Experiencia del proceso y no sólo razonamiento: aprendizaje y usos de la evaluación; insertarla en núcleo y bucle de la política

9 CULTURA Y VALORES DE EVALUACIÓN Los Principios de buen gobierno (Libro Blanco de la Gobernanza europea): afectarán también a los criterios de valor de la evaluación 1. Apertura: Impone a las Instituciones comunitarias trabajar de forma más abierta. Comunicación activa, lenguaje más accesible y medidas que conduzcan a la confianza de los ciudadanos en las instituciones comunitarias. 2. Participación: Se entiende que la calidad, la pertinencia y la eficacia de las políticas exigen una amplia participación ciudadana tanto en la fase de formulación como de implementación 3. Responsabilidad: Que exige la clarificación del papel de cada institución comunitaria que interviene en la toma de decisiones (rendición de cuentas). 4. Eficacia: Que exige que las medidas adoptadas produzcan los resultados buscados sobre la base de unos objetivos claros, de una evaluación de su futuro impacto y en su caso de la experiencia acumulada. 5. Coherencia: que exige que las políticas y acciones europeas sean coherentes y fácilmente comprensibles (Transparencia).

10 Valores organizativos de RESISTENCIA a la evaluación: CULTURA Y VALORES DE EVALUACIÓN En el terreno organizativo se encuentran, a menudo, las mayores resistencias a los valores que propugna la evaluación La mayoría de las RESISTENCIAS están en el orden de no asumir los principios del buen gobierno: No hay apertura y confianza para compartir datos La participación, cuando se acepta, se ve como algo demasiado complejo e ineficaz La responsabilidad y rendir cuentas de lo hecho infunde temor Las cuestiones de eficacia se personalizan y se trata de evitar su valoración Los resultados de la evaluación se viven como una amenaza y no como un aprendizaje para la mejora, lo que impide conocer la coherencia de las políticas. Se pretende preservar zonas de opacidad en contra de la transparencia

11 CULTURA Y CAMBIO INSTITUCIONAL Cualquier cambio institucional es un proceso muy complejo que depende del apoyo político continuado, de las culturas y estructuras de las organizaciones (y de los temores y recelos existentes), del liderazgo que lo impulsa, de los gestores que lo desarrollan y del compromiso colectivo existente ( masa crítica implicada en el cambio). La Agencia tiene un doble cometido: producir cambios para la mejora institucional hacia dentro (Organismos de la Administración General del Estado involucrados en Planes) y hacia fuera (Organismos Públicos, otras Administraciones / Convenios)

12 VOCABULARIO COMÚN: Prácticas y polisemia evaluadora Múltiples interpretaciones = calcular el valor de qué? La evaluación se utiliza para actividades diferentes ( prácticas evaluadoras?): Un informe interno realizado por una ONG para conocer los resultados de sus proyectos de desarrollo y la efectividad de su gestión Una auditoria de control realizada por un organismo superior que tutela las actividades de una institución El trabajo de un equipo de sociólogos que analizan los efectos sobre un colectivo de ciudadanos de una medida de carácter social Un grupo de economistas que estiman el impacto económico de un programa de creación de empleo Un organismo público que contrata a una consultora para revisar su estructura y sus funciones. Una unidad presidencial que monitorea el cumplimiento de metas ministeriales.

13 NUESTRA DEFINICIÓN En la Agencia entendemos por Evaluación : el proceso integral de observación, medida, análisis e interpretación encaminado al conocimiento de una intervención pública, sea esta una norma, programa, plan o política, para alcanzar un juicio valorativo, basado en evidencias, respecto a su diseño, puesta en práctica, resultados e impactos.

14 Emitir juicios valorativos en la evaluación El resultado de una evaluación es un juicio valorativo sobre una política: -De pertinencia, entendida como la medida en la cual una política o programa, sus opciones metodológicas y su lógica de intervención, responden a las necesidades de la población. -De focalización, referido a la medida en que la política llega a su población objetivo. -De cobertura, que se refiere a cuántos de sus posibles beneficiarios un programa entrega sus beneficios. -De proceso, el que se refiere a las actividades y procedimientos que se realizan durante la implantación de la política para determinar el modo de la actuación de ésta. -De eficiencia, para determinar si los resultados que se obtienen son adecuados a los medios utilizados. -De eficacia, referido a la medida en la cual existen pruebas de que los objetivos de la política o programa se han logrado. -De efectividad, para valorar la medida en que una política o programa ha alcanzado el conjunto de efectos sobre la población objetivo que se habían previsto. -De satisfacción, entendida como el sentimiento subjetivo por parte de los beneficiarios respecto de la política o programa.

15 Primeras constataciones (el primer año) a Importancia de desarrollar una cultura de evaluación en las AAPP: * escasa cultura evaluadora (capacidades / expertos / dirección de evaluaciones); * escaso conocimiento experiencias * promoción de usos Comunidad externa de evaluadores (existen muchas experiencias.): * Universidades; * Consorcios, Ongs, Consultoras,. * Organismos multilaterales, financieros.. Demandas de Foros / Talleres / Seminarios Redes de intercambio para el aprendizaje Cooperación interinstitucional para establecer unidades (o vinculaciones) especializadas de evaluación

16 Agencia Estatal Estatal de de Evaluación n de de las las Políticas Públicas P y y la la Calidad de de los los Servicios