Importancia. Qué es TdC? Componentes. Cómo hacerlo. Ejemplo

Transcripción

1

2 Agenda 2

3 Profesor Leigh Linden Profesor Asistente de Economía University of Texas, Austin (Ph.D. Massachusetts Institute of Technology) Leigh Linden es Profesor en el Departamento de Economía de la University of Texas at Austin. Su investigación se centra en la capacidad de los servicios sociales para mejorar el bienestar de los niños, especialmente en áreas empobrecidas. En este sentido, el Profesor Linden ha analizado los procesos de producción educativa y los problemas de toma de decisiones en el núcleo familiar que determinan la asignación de oportunidades educacionales dentro de la familia. Metodológicamente, Linden se especializa en el uso de experimentos aleatorizados de gran escala.

4 Diseño I Lógica de programa y teoría de cambio Leigh Linden Profesor Asistente de Economía y Asuntos Públicos University of Texas, Austin leigh.linden@austin.utexas.edu 4

5 Objetivos de aprendizaje Al finalizar esta presentación serán capaces de: 1. Entender la función que desempaña la Teoría de Cambio y su rol dentro del marco común de una evaluación 2. Definir y distinguir entre niveles de resultados usando el material de referencia presentado 3. Elaborar una Teoría de Cambio para su propio proyecto 5

6 Esquema Big picture What it is Example Components How to Importance 1. Qué es la Teoría de Cambio? 2. Introducir ejemplo de un proyecto 3. principales

7 1. Qué es la Teoría de Cambio?

8 Nuestra meta: Aprender de evaluaciones rigurosas de Example Components How to Importance programas Evaluación Evaluación de programas RCTs Monitoreo Evaluación de impacto 8

9 Para quiénes son las evaluaciones? Académicos Donantes Example Sus constituyentes Components How to Importance Políticos / responsables de política Tecnócratas Implementadores Proponentes, Escepticos Beneficiarios 9

10 de una Evaluación de Programa Example Components How to Importance Evaluación de necesidades Cuál es el problema? Teoría de Cambio Evaluación de procesos Cómo, en teoría, podemos resolver el problema? El programa funciona como fue planificado? Evaluación de impacto Objetivos se cumplieron? En qué magnitud? Análisis costo-efectividad Dadas la magnitud y el costo Cómo se compara con las alternativas? 10

11 Qué es la Teoría de Cambio? Una teoría de cambio es una hoja de ruta que nos dice hacia donde vamos (resultados) y cómo llegamos (proceso). 11

12 En otras palabras. Creo que deberías ser más explícito aquí en el segundo paso. 12

13 Hipótesis causal P: Cómo espero que se produzcan los resultados? R: Si [insumos] y [actividades] producen [productos] esto debería conducir a [resultados] que al final contribuirán al [objetivo]. 13

14 Usuarios y Utilidad Planes estratégicos y Desarrollo de Proyectos Descripción / Comunicación Monitoreo y Evaluación Aprendizaje / Pensamiento 14

15 Utilidad de la Teoría de Cambio Herramienta técnica Forma de Pensar TdC Cultura Política 15

16 Teoría de Cambio: Producto vs. proceso Pensar en la teoría de cambio es un hábito no un producto. (Vogel 2012) 16

17 2. de un proyecto

18 : Un proyecto de tutorías en Chile Población objetivo: Jovenes vulnerables en su último año de educación secundaria Insumo: Profesionales de empresas selecionadas realizan una tutoría one-to-one con algunos de los estudiantes Misión: Mejorar la transición del colegio al trabajo, mejorar participación en educación terciaria 18

19 Visualizar Teoría de Cambio NECESIDADES INSUMOS / ACTIVIDADES PRODUCTOS RESULTADOS INTERMEDIOS RESULTADOS FINALES Tasas bajas de matriculación a educ. terciaria Falta de información sobre educ superior y mercado laboral Redes sociales y oportunidades de trabajo limitados Reclutar a mentores Capacitar a mentores Tutorías Estudiantes seleccionados reciben tutorías Expectativas de salarios Mayor valoración de redes sociales Oportunidades percibidas de carrera prof. Habilidades de busqueda de trabajo Experiencia de trabajo Actitudes sobre educación y trabajo Conocimientos sobre educ superior y mercado laboral Preparación laboral Mejor rendimiento educacional Mayor matriculación a educ terciaria Mejores redes sociales Tipo de educación / ocupación elegida 19

20 3.

21 Nivel de resultados Necesidades Insumos Actividades Productos Resultados Objetivos Recursos Acciones Productos y servicios Actitudes Conocimientos Capacidades Comportamiento (ACCC) Estado de desarrollo Instituciones / Contexto 21

22 Nivel de resultados Necesidades Insumos Actividades Productos Resultados Objetivos Recursos Acciones Productos y servicios ACCC Instituciones / Contexto Estado de desarrollo 22

23 Nivel de resultados Necesidades Insumos Actividades Productos Resultados Objetivos Recursos Acciones Productos y servicios ACCC Instituciones / Contexto Estado de desarrollo 23

24 Nivel de resultados Necesidades Insumos Actividades Productos Resultados Objetivos Recursos Acciones Productos y servicios ACCC Instituciones / Contexto Estado de desarrollo 24

25 Nivel de resultados Necesidades Insumos Actividades Productos Resultados Objetivos Recursos Acciones Productos y servicios ACCC Instituciones / Contexto Estado de desarrollo 25

26 Nivel de resultados Necesidades Insumos Actividades Productos Resultados Objetivos Recursos Acciones Productos y servicios ACCC Instituciones / Contexto Estado de desarrollo 26

27 Nivel de resultados Necesidades Insumos Actividades Productos Resultados Objetivos Recursos Acciones Productos y servicios ACCC Instituciones / Contexto Estado de desarrollo 27

28 Supuestos Supuesto: Una condición externa necesaria y positiva que debe cumplirse para que la cadena causal y el efecto (en una intervención) avancen. 28

29 Supuestos: Proyecto de Tutoría Aumenta la autoconfianza de los estudiantes Estudiantes postulan a instituciones de educación terciaria 29

30 principales de TdC Normalmente, una Teoría de Cambio: Incluye un diagrama (ver arriba) Incluye un breve resumen de tu hipótesis (Si...entonces...). Incluye una narrativa: un relato breve y convincente que explica la ruta 30

31 4. Cómo hacer una TdC?

32 ? Hacía atrás El diseño de una Teoría de Cambio se elabora para atras Empieza con tu evaluación de necesidades Salta a tu impacto deseado / estado de desarrollo Identifica los diferentes ACCCs y la relación entre ellos (mapeo de resultados) Define los productos e insumos de tu intervención Discute los supuestos 32

33 ? vs. 33

34 II: Un programa de transferencias monterias condicionadas (TMC) en Colombia Población objetivo: Estudiantes de secundaria de bajos recursos Insumos: Estipendio a estudiantes condicionado en su asistencia escolar Misión: Mejorar tasas de asistencia y graduación en la educación secundaria; mejorar puntajes de prueba 34

35 TMC: Teoría de Cambio NECESIDAD INSUMOS / ACTIVIDADES PRODUCTOS RESULTADOS RESULTADOS FINALES 35

36 TMC: Teoría de Cambio NECESIDAD INSUMOS / ACTIVIDADES PRODUCTOS RESULTADOS RESULTADOS FINALES Altas tasas de deserción en educ secundaria Costos de oportunidad altos por tiempo de estudiantes INSUMOS / ACTIVIDADES PRODUCTOS RESULTADOS RESULTADOS FINALES Altos costos para ahorrar 36

37 TMC: Teoría de Cambio NECESIDAD INSUMOS / ACTIVIDADES PRODUCTOS RESULTADOS RESULTADOS FINALES Altas tasas de deserción en educ secundaria Costos de oportunidad altos por tiempo de estudiantes INSUMOS / ACTIVIDADES PRODUCTOS RESULTADOS Menos deserción Mejores tasas de asistencia Altos costos para ahorrar Mejores puntajes en pruebas 37

38 TMC: Teoría de Cambio NECESIDAD INSUMOS / ACTIVIDADES PRODUCTOS RESULTADOS RESULTADOS FINALES Altas tasas de deserción en educ secundaria Costos de oportunidad altos por tiempo de estudiantes Altos costos para ahorrar INSUMOS / ACTIVIDADES PRODUCTOS Mejor acceso a fondos cuando estudiantes necesitan pagar gastos escolares Más recursos destinados a gastos educacionales Posibles cambios en asignación de recursos entre niños del hogar Menos deserción Mejores tasas de asistencia Mejores puntajes en pruebas Reducción número de estudiantes trabajando 38

39 TMC: Teoría de Cambio NECESIDAD INSUMOS / ACTIVIDADES PRODUCTOS RESULTADOS RESULTADOS FINALES Altas tasas de deserción en educ secundaria Costos de oportunidad altos por tiempo de estudiantes Altos costos para ahorrar INSUMOS / ACTIVIDADES Estudiantes que cumplen objetivos de asistencia reciben pago Pago se efectúa en periodos establecidos Mejor acceso a fondos cuando estudiantes necesitan pagar gastos escolares Más recursos destinados a gastos educacionales Posibles cambios en asignación de recursos entre niños del hogar Menos deserción Mejores tasas de asistencia Mejores puntajes en pruebas Reducción número de estudiantes trabajando 39

40 TMC: Teoría de Cambio NECESIDAD INSUMOS / ACTIVIDADES PRODUCTOS RESULTADOS RESULTADOS FINALES Altas tasas de deserción en educ secundaria Costos de oportunidad altos por tiempo de estudiantes Altos costos para ahorrar Registrar estudiantes para pago de estipendio Entregar tarjetas bancarias a estudiantes Recolección de datos de asistencia Administrar pagos cuándo corresponde Estudiantes que cumplen objetivos de asistencia reciben pago Pago se efectúa en periodos establecidos Mejor acceso a fondos cuando estudiantes necesitan pagar gastos escolares Más recursos destinados a gastos educacionales Posibles cambios en asignación de recursos entre niños del hogar Reducción número de estudiantes trabajando Menos deserción Mejores tasas de asistencia Mejores puntajes en pruebas 40

41 5.

42 Teoría de Cambio y la Vida de un Proyecto Definir pregunta de investigación Establecer intervención Diseñar experimento de campo Levantamiento de datos Entrada de datos Monitoreo de intervención Análisis Difusión & Política 42

43 Teoría de Cambio y la Vida de un Proyecto Definir pregunta de investigación Establecer intervención Diseñar experimento de campo Levantamiento de datos Entrada de datos Monitoreo de intervención Análisis Difusión & Política 43

44 Teoría de Cambio permite enfocarse en procesos y resultados Para personas del programa, ayuda mantener el enfoque en los resultados - mirada en la meta Implementadores de programas normalmente están preocupados por las actividades y los productos: Cuántas capacitaciones hemos realizado? A cuántos beneficiarios hemos alcanzado? Deberíamos alejarnos de hacer intervenciones por hacer intervenciones hacia desarrollo que explícitamente cumple con objetivos y metas de mayor alcance. Para evaluadores, nos recuerda considerar los procesos Evaluadores están muy enfocados en evaluar cambias en resultados. Pero a veces se hace la vista gorda en cuento a cómo ese cambio ocurrió. Llamamos a esto el problema de la caja negra. 44

45 Problema de caja negra: Juventud y empleo Problema: Jóvenes desempleados Intervención: Desembolso de préstamos 45

46 Resolver el problema de la caja negra Bajo empleo juvenil Intervención Facilitar grupos de préstamos y distribuir préstamos a jóvenes Evaluación de necesidades Intervención diseño/insumo Actividades Préstamos distribuídos a jóvenes Caja Negra Jóvenes están motivado a crear negocios Productos Supuestos Jóvenes usan préstamos para crear negocios Jóvenes usan préstamos para comprar ropa Resultados No hay crecimiento en empleo juvenil Resultado final

47 Identificando fallo en teoría vs. fallo en implementación Intervención exitosa Insumos Actividades Productos Resultados Objetivo Implementación fallida Insumos Actividades Productos Resultados Objetivo Teoría fallida Insumos Actividades Productos Resultados Objetivo

48 En vez de un resumén promover mejor desarrollo de teorías Cuál es tu pregunta de investigación? Cómo esperas que tu programa resuelva el problema? Cómo diseñas tu intervención o cómo analizas una intervención dada? Cuál es tu explicación si no funciona el programa? Qué quieres medir, y cuándo? Cómo estrúcturas tu análisis de datos? Qué conclusiones puedes extraer y comunicar a las partes interesadas? 48

49 Gracias! Leigh Linden Profesor Asistente de Economía y Asuntos Públicos University of Texas, Austin leigh.linden@austin.utexas.edu 49

50 Apéndice I: Terminología de niveles de resultados

51 Apéndice II: Nivel de resultados Línea de tiempo Cortes de referencia Grados de control Nivel de resultados: Resumen Dominios del cambio Objetivos Largo-plazo Después del proyecto o 5-10 años Resultados Intermedio Final del proyecto Productos En curso Durante el proyecto Actividades Día-a-día Durante el proyecto Insumos Inicial Al comienzo y durante el proyecto Marginal Parcial Completo a parcial (supuestos y riesgos) Completo Completo Sociedad, nivel de población o sistema Estado de desarrollo económico o social ACCC Actitudes Conocimientos Capacidades Comportamientos Productos y servicios (Acceso)

52 Apéndice III: de narrativa Teoría de Cambio: M&E Proyecto de Apoyo El M&E Proyecto de Apoyo tiene dos areas de actividad principales: la provisión de capacitaciones de M&E a partners ONG activos; y la documentación en formato de caso de estudio de los retos y prácticas de M&E de las ONGs. Estas actividades resultarán en un número de partners ONGs activos que estarán capacitados en M&E, así como un libro escrito y publicado sobre el tema de marcos adecuados para M&E. Estos productos facilitarán la adquisición de conocimientos, actitudes positivas y capacidades relacionados a marcos adecuados de M&E por parte de ONGs de desarrollo. Estos cambios deberían resultar en una mejora en la práctica de M&E adecuados por parte de ONGs de desarrollo, lo cual contribuirá a un desarrollo mundial más efectivo y eficiente.