Aspectos Operativos de una Evaluación de Impacto

Transcripción

1 Aspectos Operativos de una Evaluación de Impacto Ryan Cooper Abdul Latif Jameel Poverty Action Lab, LAC Santiago, 15 de abril de 1

2 Introducción Etapas de una evaluación de impacto de principio a fin. 3 pilares de la evaluación de impacto relevante. Ejemplo programa Servicio País en Educación. Productor y del consumidor de evaluaciones de impacto. Al final de cada sección destacaremos las principales preguntas que los productores y consumidores deben hacerse.

3 Consideraciones importantes 1. Relevancia a) Es la pregunta a evaluar relevante para las políticas públicas y la academia? b) Madurez del programa a ser evaluado. c) Se podrán generalizar los resultados? Cuánto de esto es controlable? 2. Confiabilidad del impacto estimado a) Estrategia de identificación adecuada y bien justificada. b) Poder estadístico. c) Protocolo de análisis definido ex ante. 3. Calidad de los datos a) Seleccionar, capacitar y pilotear. b) Monitoreo y control de calidad.

4 Pasos en una evaluación de impacto 1. Entender el contexto. [Relevancia] 2. Tener una pregunta. [Relevancia] 3. Diseñar la intervención. [Relevancia] 4. Diseñar la evaluación. [Confiabilidad] 5. Evaluar procesos. [Relevancia y Confiabilidad] 6. Levantar datos. [Calidad de datos] 7. Analizar el impacto. [Confiabilidad] 8. Medir Costo Efectividad. [Calidad de datos y Relevancia] 9. Validar y difundir los resultados. [Relevancia y Confiabilidad]

5 Pasos en una evaluación de impacto 1. Entender el contexto 2. Tener una pregunta 3. Diseñar la intervención 6. Levantar datos 5. Evaluar procesos 4. Diseñar la evaluación 7. Analizar impacto 8. Medir costoefectividad 9. Validar y difundir resultados

6 1. Entender el contexto Servicio País Cómo mejorar la educación en contextos vulnerables? Grandes esfuerzos en gasto público en Latinoamérica, con escasas mejoras en resultados educacionales. Dos miradas: Sólo las intervenciones tempranas sirven. Intervenciones tardías pueden funcionar. Algo de evidencia hay a favor de ambas miradas. Relevancia

7 1. Entender el contexto Esta evaluación se mueve en la segunda de esas miradas. Servicio País en Educación (SPE): Programa enfocado en 4 grado (~10 años). Duración de 3 meses / 15 sesiones. Enfoque en mejorar niveles de lectura. Durante el horario de clases: Sustituye horas en el colegio. Relevancia

8 1. Entender el contexto Cuál es la pregunta?: Qué necesidad o temática social trata el programa? Qué temas dentro de esta área presentan inciertos importantes para la política pública? Preguntas para consumidores: Para quiénes es útil esta información y por qué? Cómo ayudaría esta información al desarrollo de política pública locales? Preguntas para productores: Por qué es el contexto interesante desde una perspectiva de política pública y académica? Relevancia

9 Pasos en una evaluación 1. Entender el contexto 2. Tener una pregunta 3. Diseñar la intervención 6. Levantar datos 5. evaluar procesos 4. Diseñar la evaluación 7. Analizar impacto 8. Medir costoefectividad 9. Validar y difundir resultados

10 Cuándo utilizar una evaluación de impacto? Evaluar el impacto cuando el proyecto es: Innovador Replicable/escalable/expandible Estratégicamente relevante para reducir la pobreza Relevante para llenar algún vacío de conocimiento Sustancial en el impacto de políticas Cuando se deseen probar alternativas dentro de un programa, en algunas ocasiones utilizando datos administrativos Para observar el costo beneficios, costo efectividad 10

11 Respuestas de Evaluación de Impacto Cuál es el efecto de la información sobre comportamientos sexuales riesgozos y la prevalencia de VIH? Concesionar el cuidado básico de la salud lleva al incremento e igualdad del acceso? Los bonos a los vendedores generan mayores ganancias que descuentos a los precios del consumidor? Los microcréditos aumentan la productividad de los pequeños empresarios?

12 Respuestas de Evaluación de Impacto Cuál fue el efecto del programa en los indicadores de resultado? Cuánto mejor están los beneficiarios en respuesta al programa/política? Cómo cambiarían los indicadores si cambiara el diseño del programa? El programa es costo efectivo?

13 2. Tener una Pregunta Es clave: 1. Pensar qué se quiere contestar con la evaluación. 2. Preguntarse sobre la relevancia de la pregunta. 3. Asegurar que la pregunta no haya sido contestada. Servicio País se plantea 3 preguntas: 1. Puede el SPE mejorar las habilidades cognitivas y no cognitivas relacionadas con la lectura? 2. Existe alguna relaciones entre estas habilidades? 3. Qué tan costo efectivo es el programa? Relevancia

14 2. Tener una Pregunta Preguntas clave: Cuáles son las preguntas académicas y de política pública que buscará contestar la evaluación de impacto? Cuáles son los objetivos del programa? Sobre cuáles de estos es relevante analizar impacto? Preguntas para consumidores: Cuáles son las preguntas más importantes para la política pública o el programa? Cómo garantizar que las preguntas estén bien desarrolladas y puedan ser contestadas por una evaluación? Preguntas para productores: Cómo afecta el programa el comportamiento y percepciones de sus beneficiarios? Qué indica la evidencia y/o literatura académica sobre los potenciales ángulos de impacto para el programa? Relevancia

15 Pasos en una evaluación 1. Entender el contexto 2. Tener una pregunta 3. Diseñar la intervención 6. Levantar datos 5. Evaluar procesos 4. Diseñar la evaluación 7. Analizar impacto 8. Medir costoefectividad 9. Validar y difundir resultados

16 3. El Programa Programa implementado por la Fundación para la Superación de la Pobreza (FSP). 15 sesiones de tutorías en tiempo de clase. Los tutores son voluntarios universitarios. Grupos de ~6 estudiantes por tutor. Enfocado en escuelas vulnerables. Objetivos: 1. Mejorar actitudes frente a la lectura. 2. Mejorar niveles de lectura. 3. Impactar en los voluntarios. Esta evaluación sólo contesta las dos primeras

17 Cadena típica de resultados Insumos Financieros, humanos, y otros recursos utilizados para llevar a cabo actividades Presupuestos, personal, otros recursos disponibles Actividades Acciones llevadas a cabo o trabajo desempeñado para convertir los insumos en productos específicos Series de actividades realizadas para producir bienes y servicios Productos Resultado de convertir los insumos en cosas tangibles Bienes y Servicios producidos y entregados dentro del control del organismo de ejecución Resultados Cambios como resultado del uso de los productos por la población objetivo (comportamiento, utilidad, condiciones) No totalmente bajo el control del organismo de ejecución Resultados Finales El objetivo final del programa beneficios Metas a largo plazo Cambios en los resultados debidos a diferentes factores Implementación (OFERTA) Resultados (DEMANDA + OFERTA) 17

18 3. Diseñar la intervención Una Teoría de Cambio simple aplicable a SPE Bajos niveles de lectura Tutorías dadas por voluntarios universitarios Estudiantes reciben tutorías Mejores habilidades cognitivas y no cognitivas Análisis de Necesidades Intervención Insumo Producto Resultados Intermedios Mejor rendimiento académico Impacto Relevancia

19 En la práctica 3. El Programa

20 3. Diseñar la intervención Preguntas para consumidores y productores: De qué manera ataca nuestro programa a una necesidad particular? Cuáles son las alternativas? Está mi programa lo suficientemente maduro para evaluar su impacto? Tiene mi programa varios componentes? Tendría sentido testearlos por separado? Relevancia

21 Pasos en una evaluación 1. Entender el contexto 2. Tener una pregunta 3. Diseñar la intervención 6. Levantar datos 5. Evaluar procesos 4. Diseñar la evaluación 7. Analizar impacto 8. Medir costoefectividad 9. Validar y difundir resultados

22 Problema del Contrafactual (Contra Fáctico) Intervención Impacto Tiempo

23 Problema del Contrafactual (Contra Fáctico) Intervención Impacto Tiempo

24 Problema del Contrafactual (Contra Fáctico) Intervención Impacto Tiempo

25 Problema del Contrafactual (Contra Fáctico) 10 dulces 5 dulces Impacto de 5 dulces u Y ( u) Y ( u) 1 0

26 Modelo Causal 10 dulces 5 dulces Impacto de 5 dulces Peras con Manzanas!

27 Solución: Comparar Grupos ˆ Y ˆ 1 D 1 Y ˆ D dulces 5 dulces Impacto Promedio de 5díasde consumo de dulces.

28 Pero en general ˆ Y ˆ 1 D 1 Y ˆ D dulces 5 dulces Peras con Manzanas!

29 Qué me conviene? Aleatorización ˆ Y ˆ 1 D 1 Y ˆ D dulces 5 dulces Impacto Promedio de 5díasde consumo de dulces.

30 4. Diseño de la evaluación Lo primero, qué grupos incluir en la evaluación? Depende de la pregunta: en este caso: cuál es el impacto del SPE? Comparamos niños con SPE vs niños sin SPE. Tratamiento Con SPE Control Sin SPE Confiabilidad

31 4. Diseño de la evaluación 1. Poblacion Asignación Aleatoria 2. Muestra 3. Tratamiento Asignación Aleatoria de múltiples intervenciones 1. Población Elegible 2. Muestra de Evaluación 3. Asignación Aleatoria 1 4. Asignación Aleatoria 2 Comparación = Inelegible = Elegible Validez Externa Validez Interna = Inelegible = Elegible X Confiabilidad

32 4. Diseño de la evaluación Tratamiento Con SPE Control Sin SPE Confiabilidad

33 4. Diseño de la evaluación El diseño de la evaluación puede tener incidencia sobre la implementación del programa. Debe incluir un análisis de: Marco Muestral. Unidad de Aleatorización. Estratificación. Cálculo de Poder. Confiabilidad

34 4.1. Marco Muestral Se construye una lista de escuelas elegibles en base a los criterios de la FSP: Escuelas de bajo desempeño académico. 10 municipios en 2 regiones (RM y VIII). Dependencia de la escuela en algunos casos. Escuelas de 100+ alumnos en 4 grado o parejas de escuelas cercanas que sumen 100+ alumnos. Sólo se consideran en la evaluación escuelas que cumplan con todos estos criterios. Se genera lista de reemplazo aleatoria, previendo no aceptación del programa/evaluación. Se contactan escuelas con el apoyo del Ministerio de Educación. Grupo Control: se le ofrece un informe de resultados del colegio.

35 4.2. Unidad de Aleatorización Cómo decidir a qué unidad aleatorizar? El programa se implementa en 4 grado. Es díficil en la práctica excluir alumnos del programa en un colegio en que este se está implementando (Riesgo de Contaminación). Restricciones operativas de la FSP. Por ello, aparece como una opción idónea el aleatorizar a nivel de escuela. Qué riesgo surje al asignar por escuela?

36

37

38 Grupos de personas : Estudio aleatorio en unidades agrupadas

39

40

41

42

43 4. Diseño de la evaluación Tratamiento Con SPE Control Sin SPE Confiabilidad

44 4.3. Estratificación Qué es estratificar? Para qué sirve? Por qué variables estratificar? Restriciones Operativas de la SPE: Estratificar por comuna en que están las escuelas. Además: Estratificar por Nivel Socioeconómico de las escuelas. Estratificar por Desempeño educativo de las escuelas. Por qué?

45 4. Estratificación x Grupo Nivel Socioeconómico Vulnerable Pobre Confiabilidad

46 4. Aleat. Simple vs. Estratificada Estratificada Simple

47 4. Estratificación x parejas Nivel Socioeconómico Rendimiento

48 4.4. Aleatorización La aleatorización construyó la siguiente muestra:

49 4.5. Instrumentos de Medición Cómo medir las variables de interés? Determinar instrumentos de medición. Usamos cuatro fuentes. 1. Comprensión Lectora y Producción de Textos (CL PT): Usamos una prueba estandarizada que mide: Comprensión de Lectura (RC) Uso de la Lengua (UL) Producción de Textos (TP). A estas las llamamos habilidades cognitivas.

50 4.5. Instrumentos de Medición 2. Gusto por la Lectura (GPL): Construímos un instrumento nuevo en base a otros: Autopercepción como Lector (SPR). Disfrute pro la Lectura (ER). Interés por la Lectura (IR). Percepción de la Lectura en la Escuela (PRS). A estas las llamamos habilidades no cognitivas. 3. Información de Procesos del programa. 4. Información Administrativa del Ministerio de Educación.

51 4.6. Balance entre Grupos Es relevante revisar estadísticamente si los grupos de la evaluación están balanceados. En qué dimensiones? En todas las variables con que se cuente en la línea de base. Entre qué grupos? Los grupos experimentales. Puede ser relevante mostrar que los desertores son iguales entre grupos. En este caso la deserción fue considerable. Para otras subpoblaciones relevantes en el estudio.

52 4.6. Balance Entre grupos (Desercion) La deserción (desgaste) muestral es particularmente grave cuando es sistemática! Veamos primero cuando NO es sistemática! Calidad

53 4.6. Balance Entre grupos (Desercion) La deserción (desgaste) muestral es particularmente grave cuando es sistemática! Ahora cuando SI es sistemáica la deserción! Calidad

54 i. Balance en Características de la Escuela:

55 ii. Balance en Características de los Estudiantes:

56 iii. Balance entre Desertores y No Desertores

57 iv. Balance en puntajes de Línea de Base: Los grupos muestran estar balanceados. La aleatoriazción hizo su trabajo. Qué pasa si nos interesara medir impactos en subpoblaciones?

58 4. Diseño de la evaluación Preguntas para consumidores: Quién diseña la evaluación? Debo subcontratar los análisis anteriores? Cuáles impactos son importantes para la política pública? Cuáles son la restricciones políticas/éticas que deben tomarse en cuenta a la hora de evaluar? Preguntas para productores: Cuál es la población elegible? Cuáles impactos se pueden medir y cómo? A qué unidad aleatorizar? Se debería estratificar? Cuál es el tamaño de muestra requerido? Confiabilidad

59 Pasos en una evaluación 1. Entender el contexto 2. Tener una pregunta 3. Diseñar la intervención 6. Levantar datos 5. Evaluar procesos 4. Diseñar la evaluación 7. Analizar impacto 8. Medir costoefectividad 9. Validar y difundir resultados

60 5. Evaluar procesos Feedback para programa del funcionamiento. Brecha entre programa en teoría y en práctica. Conocer el cumplimiento de la asignación de programa. Relevancia y Confiabilidad

61 5. Evaluar procesos El monitoreo del SPE se basó en visitas aleatorias a las escuelas. Observación de Tutorías. Cuestionario a Tutores. Cuestionario a Profesores. Además, se recopiló información administrativa de la FSP, de asistencia de alumnos y tutores. Relevancia y Confiabilidad

62 5. Implementar y evaluar procesos Resultados del Monitoreo de SPE: Hubo mucha heterogeneidad en la implementación del programa. por qué es importante? Relevancia y Confiabilidad

63 5. Evaluar Procesos Hay diferencias regionales? Si, y estadísticamente relevantes. En la VIII región se implementó mejor que en la RM. La FSP confirmó esta presunción.

64 5. Implementar y Evaluar Procesos Comparten los alumnos esta mirada? Sí, evalúan mejor el programa cuando: Reciben más sesiones de tutorías. Reciben menos rotación de tutores.

65 5. Evaluar procesos Preguntas para consumidores: Quién monitorea el programa? Qué preguntas importantes se pueden responder con respecto a la implementación de programa? Cómo se puede utilizar la información de una evaluación de proceso para mejorar la entrega de servicios? Preguntas para productores: Hay heterogeneidad en la intensidad de tratamiento? Se identifican parámetros para la mejora en la implementación? Existen márgenes que pudiesen generar resultados heterogéneos entre distintos grupos de unidades de tratamiento? Relevancia y Confiabilidad

66 Pasos claves en una evaluación 1. Entender el contexto 2. Tener una pregunta 3. Diseñar la intervención 6. Levantar datos 5. Implementar y evaluar procesos 4. Diseñar la evaluación 7. Analizar impacto 8. Medir costoefectividad 9. Validar y difundir resultados

67 6. Levantar Datos. Qué fuente de datos usar? Datos Administrativos vs Encuestas. Cómo decidir? Cuándo medir? Deberíamos tomar Línea de Base? Línea de Salida: Se debe esperar lo suficiente para que los impactos se materialicen. Recolectar buenos datos de contacto en la línea base permite tomar varias líneas de salida. Hay recursos para eso?

68 6. Levantar datos En el caso de SPE, el cronograma fue el siguiente: Primeras Semanas de agosto Diseñar instrumento Agosto/ Septiembre Línea Base Octubre/ Noviembre Programa y Monitoreo Diciembre Seguimiento En cada caso, las pruebas se tomaban en dos ocasiones, para reducir deserción. Calidad

69 6. Levantar datos Pregunta clave: Cómo balanceo los costos y calidad de una medición en una evaluación de impacto? Cuáles son los parámetros de calidad que se deben resguardar? Cuáles son los elementos clave de un presupuesto de evaluación? Cuál es el mix de calidad y costos que se busca al contratar una empresa encuestadora? Calidad

70 6. Levantar datos Algunos principios: Garbage in, garbage out. Cabalidad: Datos completos levantados de la totalidad de la población de estudio. Violación: Encuestas con secciones no llenadas. Precisión: Datos bien especificados, capturan correctamente los parámetros de interés. Violación: Preguntas conformadas con lenguaje confuso. Integridad: Datos obtenidos según los protocolos de aplicación y procedimientos operativos. Violación: Aplicación de preguntas de encuesta en el orden incorrecto. Calidad

71 6. Levantar datos Algunos principios: Veracidad: Datos que expresan verazmente la información de la población de estudio. Violación: Primado, falsificación de datos. Homogeneidad: Datos levantados por los mismos procesos y bajo las mismos protocolos de la población de estudio. Violación: Encuestas tomadas con distintas instrucciones en distintas poblaciones. Los errores de calidad son particularmente graves cuando son sistemáticos y/o no distribuidos de igual manera entre tratamiento y control! Calidad

72 6. Levantar datos Los errores de calidad son particularmente graves cuando son sistemáticos y/o no distribuidos de igual manera entre tratamiento y control! Calidad

73 6. Levantar datos Algunas recomendaciones para productores: La planificación del terreno y diseño de cuestionario toma tiempo! No se confíe. Trabaje con anticipación. Pilotear los instrumentos es relevante. Para corregir formulación de preguntas. Para calibrar escalas de respuestas. No haga 1 piloto, haga varios. Buena coordinación con la muestra ayuda reducir la deserción. Esto es clave! Monitorear el levantamiento de datos es clave. Recolectar buenos datos es caro, pero puede valer la pena. Calidad

74 6. Levantar datos Herramientas para consumidores: Checklist para evaluar presupuestos de contratista. Checklist para elaborar términos de referencia. Preguntas para productores: La evaluación ha hecho provisiones para la obtención del consentimiento informado, participación voluntaria de los sujetos del estudio? El trabajo de campo se ha conformado considerando que la información personal de los encuestados y la confidencialidad del estudio e intervención sea resguardada? Qué contraparte es responsable por proveerles a los participantes una vía por la cual pueden realizar consultas del estudio y/o cancelar su participación dentro del estudio? Calidad

75 6. Checklist: Evaluar presupuestos Pedir un Listado Detallado de Supuestos: Equipos? Fuente de estimados de costos de insumos (alquiler de automóviles, seguros, costos de impresión, y costos de materiales)? Cuáles son los imprevistos esperados, demoras, y planes de contingencia para situaciones adversas? Pedir un Estimado de Costos Unitarios: Cuál es el costo unitario (promedio) de llegar a cada observación en la muestra? Cómo varía el costo unitario entre observaciones o grupos de observaciones? Conformar un Presupuesto Propio: Si se rehace en presupuesto de l contratista, como comparan los costos? Cuáles supuestos o cálculos parecen explicar las diferencias? Solicitar Escenarios: Cuáles escenarios entrega el contratista al solicitarle un mínimo de 3 escenarios presupuestarios? Cuáles parámetros varía el contratista?

76 6. Checklist: Términos de referencia Protocolo de Confidencialidad: Protección de Información del Estudio y Participantes de Estudio; Instructivo de Manejo de Información Protocolo de Muestreo: Definición estricta de Marco Muestra, Tasas de Participación, Instructivo para Recuperación y Búsqueda Protocolo Etapas: Listado de etapas de preparación, debería incluir varios pilotajes, tiempo para solicitar permisos Selección y Entrenamiento de Personal: Especificaciones para selección de personal competitivo y entrenamiento práctico; especificaciones de estructura salarial Calidad

77 6. Checklist: Términos de referencia Protocolo de Aplicación: Instructivo completo para aplicación de cuestionarios e otros instrumentos de medición, proceso de aplicación Protocolo de Monitoreo: Plan de monitoreo que incluye tres actividades claves de monitoreo, tasas de error aceptables, plan de corrección Protocolo y Entregas: Cronograma Fijo de Reportes y Productos incluyendo: Manuales de Entrenamiento, Hojas de Control, Datos, Reportes de Errores Calidad

78 Pasos claves en una evaluación 1. Entender el contexto 2. Tener una pregunta 3. Diseñar la intervención 6. Levantar datos 5. Implementar y evaluar procesos 4. Diseñar la evaluación 7. Analizar impacto 8. Medir costoefectividad 9. Validar y difundir resultados

79 7. Analizar impacto 1. Variables de CL PT (habilidades cognitivas): 1.1. ITT: Simplemente, hacemos una regresión del puntaje obtenido sobre la variable de tratamiento. CLPT isk = k T s + X is + isk kes el impacto de programa sobre todo el grupo tratamiento. Es relevante corregir los errores estándar por la presencia de clusters en la muestra. Calidad

80 7. Analizar impacto 1. Variables de CL PT (habilidades cognitivas): 1.2. TT: Ahora hacemos una regresión del puntaje obtenido sobre el número de tutorías recibidas, usando la variable de tratamiento como variable instrumental. CLPT isk = k N is + X is + isk Ahora k es el impacto sobre los tratados, reconociendo las diferencias en las intensidades del tratamiento recibido. Cuál es mayor? ITT o TT? Cómo cambia la interpretación? Calidad

81 7. Analizar impacto Se observan ciertos impactos. En Comprensión lectora: Impacto promedio de 0.08, pero sólo mg. significativo. Impacto de 0.18 sobre colegios de la VIII. Impacto de 0.12 sobre colegios vulnerables de la VIII. En Uso de la lengua: Impacto de 0.28 sobre colegios de la VIII. Impacto de 0.38 sobre colegios vulnerables de la VIII. La buena/mala implementación es relevante! Impactos focalizados en colegios vulnerables. Calidad

82 7. Analizar impacto Resultados externalidades Teoría: Los alumnos reciben menos clases de sus materias tradicionales, pero Los profesores tienen más tiempo para preparar clases. Los resultados muestran que: No hubo externalidades negativas. Hubo ciertas externalidades positivas en las materias humanistas. Pero, Porqué no en lenguaje? La información de procesos muestra que fue la materia más reemplazada por el programa Calidad

83 7. Analizar impacto Calidad

84 7. Analizar impacto Entonces: Hay algunos resultados de impacto relevantes. Es interesante notar la relación entre Ev. De Procesos y Ev. De Impacto. Sin embargo: Algo de heterogeneidad. Pocos impactos estadísticamente significativos. Porqué los impactos no fueron significativos? Tamaño Muestra vs Magnitud del Impacto. Calidad

85 7. Analizar impacto Análisis de totalidad de datos levantados para la evaluación y medición de impacto del programa. El análisis final debe contemplar varios escenarios de impacto y especificaciones de medición. Típicamente los resultados de una evaluación de impacto son sometidos a peer review previo a ser considerados definitivos y proceder a ser diseminados ante audiencias académicas, del programa, y de política pública (a definir ex ante). Calidad

86 7. Analizar impacto Preguntas para consumidores: Cuál es el efecto sobre las variables de interés más importantes para políticas públicas? Funciona nuestro programa? De qué manera? Son confiables los resultados? Preguntas para productores: Se contemplan varios escenarios para reportar los resultados? Se distingue entre lo que es significativo o no? Faltó poder estadístico? En el contexto de la literatura, son los impactos los esperados? Calidad

87 Pasos claves en una evaluación 1. Entender el contexto 2. Tener una pregunta 3. Diseñar la intervención 6. Levantar datos 5. Implementar y evaluar procesos 4. Diseñar la evaluación 7. Analizar impacto 8. Medir costoefectividad 9. Validar y difundir resultados

88 8. Medir Costo Efectividad Una línea en que las evaluaciones son útiles es para comparar políticas/programas. Cálculos de costo efectividad ayudan a ello. Ponen impactos en una métrica común. Pero, tienen sus problemas: No consideran impactos sobre múltiples variables. Se construyen sobre supuestos. No consideran rendimientos marginales de los programas. Calidad y Relevancia

89 8. Medir Costo Efectividad Resultados Costo Efectividad Cálculos para el SPE Lo hacemos para distintas subpoblaciones de colegios. Calidad y Relevancia

90 8. Medir Costo Efectividad Comparando Costo Efectividad

91 8. Medir Costo Efectividad Preguntas para consumidores: Presentan los resultados en forma intuitiva? Pueden ser insumos importantes para la toma de decisiones? Cómo se compara el programa a los demás? Preguntas para productores: Tengo buenos datos de costos? Cuáles son los supuestos que utilizo para medir la costo efectividad? Ayuda este ejercicio a hacer de las evaluaciones experimentales una herramienta útil de política pública? Calidad y Relevancia

92 Pasos claves en una evaluación 1. Entender el contexto 2. Tener una pregunta 3. Diseñar la intervención 6. Levantar datos 5. Implementar y evaluar procesos 4. Diseñar la evaluación 7. Analizar impacto 8. Medir costoefectividad 9. Validar y difundir resultados

93 9. Validar y difundir resultados Cuál es el objetivo de una evaluación? 1. Aprendizaje académico. 2. Impacto en políticas públicas. Aspectos a tener en cuenta antes de difundir: Lenguaje adecuado! Tener los resultados listos. Para esto, el proceso de validación académica es relevante. Qué hacer cuando el impacto es 0? Relevancia y Confiabilidad

94 9. Validar y difundir resultados En este caso: Presentación en seminarios académicos nacionales e internacionales. Mejoras y correcciones. Presentación a la FSP y al Ministerio de Educación. El programa se mantuvo para el año siguiente. Cómo manejar las expectativas? Mostrar todas las estimaciones. Es clave evaluar procesos! Relevancia y Confiabilidad

95 9. Validar y difundir resultados Preguntas para consumidores: A quién le interesan estos resultados? Cómo los puedo hacer relevantes en el contexto de política pública? Cuál es la estrategia de comunicación? Cómo tener el mayo impacto? Preguntas para productores: A quién le interesan estos resultados? Cuáles son los resultados que más destacables? Cómo se esperaría que estos resultados cambien o informen la política pública? Relevancia y Confiabilidad

96 Pasos en una evaluación 1. Entender el contexto 2. Tener una pregunta 3. Diseñar la intervención 6. Levantar datos 5. Evaluar procesos 4. Diseñar la evaluación 7. Analizar impacto 8. Medir costoefectividad 9. Validar y difundir resultados

97 Conclusiones SPE: una política de corto plazo que logró impactar los niveles de lectura de alumnos de colegios vulnerables. Impactos concentrados en: o o Colegios relativamente más vulnerables. Zonas en que el programa fue mejor implementado. Impactos sobre variables cognitivas y no cognitivas. Con un patrón relacionado entre ambas. No se encontró evidencia de externalidades negativas. Investigación Futura: Relación entre habilidades cognitivas y no cognitivas.

98 Consideraciones importantes Relevancia Resultado es útil para la toma de decisión de política? Confiabilidad del impacto estimado La evaluación es capaz de medir el impacto relevante? Calidad de los datos La información y datos utilizados son fidedignos?

99 Conclusiones generales Evaluar impacto Implica bastante trabajo. Exige el uso de recursos. Exige ser creativo. Y toma tiempo. Pero Es posible y es un deber ético Genera evidencia relevante. Para Avanzar en la ciencia. Mejorar la toma de decisiones y el uso de recursos.