LA EVALUACIÓN. 1. El concepto de evaluación: diferentes propuestas. Logroño, 4 de Junio de Lara González y Monika Mena

Transcripción

1 LA EVALUACIÓN Logroño, 4 de Junio de 2011 Lara González y Monika Mena 1. El concepto de evaluación: diferentes propuestas 1

2 ?... La evaluación? Qué entendemos por evaluación? VEAMOS VUESTRAS PROPUESTAS La evaluación es un proceso Entendemos la evaluación como una actividad programada de reflexión sobre la acción, basada en procedimientos sistemáticos de recolección, análisis e interpretación de información, con la finalidad de emitir juicios valorativos y fundamentados y comunicables sobre las actividades, resultados e impactos, y formular recomendaciones para tomar decisiones que permitan ajustar la presente acción y mejorar la acción futura. Basado en Nirenberg, O. y otras (2000): Evaluar para la transformación. Innovaciones en la evaluación de programas y proyectos sociales. Ediciones Paidós, Buenos Aires. 2

3 El Concepto de evaluación oficial La evaluación es una función que consiste en hacer una apreciación, tan sistemática y objetiva como sea posible, sobre un proyecto en curso o acabado, un programa o un conjunto de líneas de acción, su concepción, su realización y sus resultados. Se trata de determinar la pertinencia de los objetivos y su grado de realización, la eficiencia en cuanto a su desarrollo, la eficacia, el impacto y la viabilidad. Una evaluación debe proporcionar unas intervenciones creíbles y útiles, que permitan integrar las enseñanzas sacadas en los mecanismos de elaboración de las decisiones, tanto de los países de acogida como de los donantes. Fuente: Comité de ayuda al Desarrollo - OCDE : Manual de la ayuda al desarrollo. Principios del CAD para una ayuda eficaz. Mundi Prensa. Madrid Pág. 178 Tipologías de evaluación SEGÚN LOS AGENTES: 1. Interna 2. Autoevaluación 3. Externa 4. Mixta 5. Participativa o Integrada 3

4 Tipologías de evaluación SEGÚN EL OBJETO: 1. De procesos (sistematización) 2. De resultados 3. De efectos y cambios (impacto) SEGÚN PATTON (1990): 1. Formativa 2. Sumativa Tipologías de evaluación SEGÚN EL MOMENTO: 1. Evaluación previa (Línea de base o diagnóstico) 2. Evaluación ex ante (diseño) 3. Evaluación simultánea o durante 4. Evaluación final 5. Evaluación ex - post 4

5 2. Las funciones de la evaluación... Para que sirve todo esto? Tres funciones clásicas de la evaluación EVALUACIÓN INFORMACIÓN CONTROL APOYO A LA GESTIÓN APRENDIZAJE FUTURAS ACCIONES 5

6 Más utilidades... Desarrollo de capacidades Gestión del cambio Transparencia, Rendición de cuentas Según ELOLA y Toranzos (2000): - Función simbólica - Función política - Función de conocimiento - función de mejoramiento - Función de desarrollo de capacidades MEJORAR Crecimiento como organizaciones II PARTE Cómo se pone en marcha una evaluación ex post? ITINERARIO 6

7 D E C I S I Ó N D E E V A L U A R P L A N I F I C A C I Ó N D E L A E V A L U A C I Ó N L O S T E R M I N O S D E R E F E R E N C I A ( T o R ) R E C O G I D A D E I N F O R M A C I Ó N ( T R A B A J O D E C A M P O ) I N F O R M E S o c i a l i z a c i ó n F u e n t e : E l a b o r a c i ó n p r o p i a Itinerario evaluación ex post de 1.DECISIÓN DE EVALUAR 2. ELABORACIÓN PARTICIPATIVA DEL PLAN Creación del equipo de trabajo Consulta aportes equipo de trabajo Aprobación de plan de trabajo Elaboración de las categorías e instrumentos para recoger información 3. TRABAJO DE CAMPO (Equipo) - Recogida de la información - Análisis de la información 4. Elaboración participativa del informe final- SOCIALIZACION 7

8 Esquema de TDR y/o PLAN DE EVALUACIÓN PREGUNTAS 1- Por qué? 2.- Para qué? 3.- Para quién? 4.- Quiénes? 5.- Desde dónde? 6.- Qué? 7.- Cómo? 8.- Cuándo? 9.- Cuánto? APARTADOS Antecedentes y justificación Objetivos y resultados Clientes/ Sujetos-as Agentes Modelo (criterios) Áreas a evaluar (categorías) Metodología Cronograma Presupuesto Hay tres debates clave: Quien realiza la evaluación Que modelo la enfoca (criterios y categorías) Que herramientas utilizamos para recoger la información 8

9 Los agentes de la evaluación pueden ser... Internos Externos Mixtos Involucrados 59 segundos Considerar las ventajas y desventajas según 5 CRITERIOS 1. Lo objetivo frente a lo subjetivo 2. El papel de la población beneficiaria 3. La metodología utilizada 4. Los costes 5. Veracidad, fiabilidad y validez Fuente: Lara González (Manual de evaluación Págs., 83-88) 9

10 2º debate: que modelo utilizamos? La evaluación del EML Propone un modelo tridimensional: Componentes de evaluación VIABILIDAD PERTINENCIA IMPACTO EFICACIA EFICIENCIA La sostenibilidad del proyecto en el largo plazo Logro de Resultados Dirección y utilidad del proyecto Logro de objetivos INSUMOS PRODUCTOS OBJETIVO OBJETIVO ESPECÍFICO GENERAL Jerarquía de objetivos Efectos del proyecto Políticas de apoyo Aspectos institucionales Aspectos financieros Factores tecnológicos Aspectos socioculturales Dimensión de Genero Medio ambiente Factores de desarrollo Fuente:IUDC- UCM, Cedeal NORAD: Evaluación de proyectos de ayuda al desarrollo. Manual para evaluadores y, gestores. Madrid Pág

11 Criterios claves para la evaluación ex post desde la propuesta de la OCDE CRITERIOS DE EVALUACIÓN Eficacia Eficiencia Pertinencia En qué medida se han alcanzado o se esperan alcanzar los objetivos propuestos. Hasta que punto los resultados alcanzados derivan de una buena utilización de los recursos. La adecuación de los resultados y los objetivos de la intervención al contexto en que se realiza. Valoración de la utilidad del proyecto Estimación de la capacidad de continuación de Sostenibilidad las acciones de manera autónoma. Impacto Sumatoria de todos los efectos que la acción ha tenido sobre el medio y los cambios que ha generado en el largo plazo (económico, técnico, social, cultural, político, ecológico, relaciones de género, etc.) Fuente: Lara González (Manual de evaluación Págs., 17) Lo importante es concretar esos criterios en categorías analíticas (preguntas clave) CRITERIO DE EVALUACIÓN EFICACIA Cobertura, EFICIENCIA CATEGORÍA (VARIABLE) Indicador Item Instrumento PERTINENCIA (adecuación) SOSTENIBILIDAD Conectividad Coherencia IMPACTO 11

12 Concretando el trabajo de campo LOS INSTRUMENTOS- HERRAMIENTAS Pueden ser: Primarias y Secundarias Cuantitativas y Cualitativas Fuente: Lara González (Manual de evaluación) Tabla: Instrumentos básicos para la evaluación DE CARÁCTER SECUNDARIO Análisis documental: - documentos internos de la organización - documentos del proyecto o intervención - otros documentos complementarios Cuantitativas (estructuradas) Cualitativas (semi- estructuradas) DE CARÁCTER PRIMARIO Encuesta oral Medición directa (escalas) Auto- rellenado Entrevista a informantes clave Taller grupal Observación directa Elaboración propia basada en la bibliografía. 12

13 Fuentes de documentación secundaria que no debemos olvidar si ponemos en marcha una evaluación de impacto de genero Documentos internos de la organización Plan estratégico de la organización o su departamento responsable (en su defecto, objetivos y líneas de acción institucionales) Documentos del proyecto y su seguimiento Diagnóstico o línea de base Documentos externos complementarios Mapas, gráficos, fotos de la zona Planes de acción operativa anual (en su defecto planes de trabajo anual de la organización) Estudios de viabilidad previa Estudios gubernamentales (estadísticas, censos, etc.) Organigrama y tareas Protocolos propios Sistematizaciones de otras experiencias similares Memorias institucionales Formulación del proyecto Planes de trabajo del equipo Plan de capacitación Informes de seguimiento (avance de indicadores, resultados) Estudios de historias de vida del barrio, zona o grupo determinado Investigaciones sobre la situación de desigualdad entre hombres y mujeres realizado por otra entidad Otras investigaciones ligadas a nuestra intervención (salud, educación, empleo, etc.) Acuerdos, estudios o políticas gubernamentales nacionales o locales Balances económicos, auditorias Fuente: Elaboración propia. Documentación ligada al seguimiento (actas de reuniones, diarios de campo, entrevistas, talleres, censos de asistencia a talleres, planillas de recibido de materiales, etc.) Planes gubernamentales locales, acuerdos de alcaldías, etc Dos herramientas claves para la evaluación: LA ENTREVISTA LA OBSERVACIÓN Fuente: Lara González (Manual de evaluación) 13

14 Entrevistas grupales y observación directa durante el trabajo de campo de la evaluación Entrevista grupal Observaciones directas Entrevistas grupales y observación directa durante el trabajo de campo de la evaluación Entrevista grupal Observaciones directas 14

15 Claves para elegir los instrumentos Verificar si los datos ya existen Determinar si los datos a recoger están accesibles y no son confidenciales Identificar quién va a administrar la herramienta Identificar quién la va a interpretar y saca las conclusiones. Determinar el cuándo, en base a la realidad de la población involucrada Fuente: Basado en PROJECTSTAR (2004): Americorps program applicant. Ferformance measuremente toolkit Corporation for National and Community Service, USA. Proceso para crear la herramienta Equipo debate Plan de trabajo Define criterios de evaluación generizados: Eficacia, eficiencia, pertinencia, sostenibilidad e impacto Construye y consensua categorías para cada criterio o componente de evaluación Agrupa las categorías que van dirigidas a un mismo grupo: organización de mujeres: líder del comité de agua, alcaldía cada una requiere unas preguntas distintas Diseña la herramienta necesaria para recoger la información de ese grupo desde esas categorías previamente definidas y consensuadas en el equipo de evaluación Valida el instrumento RECOGE LA INFORMACIÓN ANALIZA LA INFORMACIÓN desde las categorías definidas y las herramientas del análisis de género (apartado 3 del manual) 15

16 GRACIAS 16