Ciudad de Guatemala, 2013 1
Sesión 6 Amenazas y análisis Sebastián Galiani galiani@econ.umd.edu University of Maryland & J-PAL 2
Clases (Profesores) Agenda Actividades en Grupo (Todos) Trabajo en Grupo (Prof. Asistentes) Lunes 10 Martes 11 Miércoles 12 Jueves 13 Viernes 14 Introducción Proyecto en Grupo Ejercicio 1 Clase 7. Aspectos Operativos. Presentaciones Finales Clase 1. Qué es una evaluación? Caso de Estudio 2 Clase 5. Muestreo y tamaño de muestra.. Proyecto en Grupo Presentaciones Finales Caso de Estudio 1 Clase 2. Resultados, Indicadores y Midiendo Impacto. Clase 3. Por qué aleatorizar? Clase 4. Cómo aleatorizar? Ejercicio 2 Clase 8. Evaluación aleatoria de principio. a fin. Ceremonia de Clausura Caso de Estudio 3 Proyecto en Grupo Almuerzo cierre Proyecto en Grupo Clase 6. Amenazas y Análisis. Proyecto en Grupo 3
Índice 1. Introducción 2. Validez interna 1. Desgaste 2. Externalidades 3. Cumplimiento imperfecto 3. Análisis de resultados: ITT y TOT 4
1.INTRODUCCIÓN 5
Introducción Habíamos hablado de problemas de inferencia causal con relación a la atribución de un impacto medible a cierto programa o intervención. Resolvemos este problema por medio de la introducción de un diseño experimental. En esta presentación hablaremos a fondo de las amenazas al diseño experimental. 6
2.VALIDEZ INTERNA 7
1. Introducción a las Evaluaciones Experimentales La validez interna se refiere a la posibilidad de interpretar los resultados de una evaluación experimental de manera causal. Tres amenazas: Desgaste. Externalidades. Cumplimiento imperfecto al protocolo. 8
2.1 DESGASTE 9
Suponga que después de aleatorizar, unas personas en su muestra desaparecen. Es un problema? 1. Los grupos no son comparables 2. Incrementa el tamaño muestral 3. 1 y 2 4. En realidad, no es un problema 0% 0% 0% 0% 1. 2. 3. 4. 10
Desgaste: Ejemplo Suponga que algunos niños no van a la escuela porque deben ayudar a sus padres con trabajo en el hogar. Usted inicia un programa de subsidios condicionados a la asistencia escolar en la comunidad y desea evaluar su impacto sobre: Asistencia Escolar Desempeño Académico de los Estudiantes
Si mide el impacto sobre asistencia escolar observando la asistencia de cada niño a la escuela en un día escogido al azar, está midiendo el impacto verdadero, lo está subestimando o sobreestimando? 1. Impacto verdadero. 2. Subestimando. 3. Sobreestimando. 0% 0% 0% 1. 2. 3. 12
Puntaje observado en prueba académica si todos los niños asistieran a la escuela. Antes del Tratamiento T C 20 20 25 25 30 30 Después del Tratamiento T C 22 20 27 25 32 30
Puntaje observado en prueba académica si todos los niños asistieran a la escuela. Antes del Tratamiento Después del Tratamiento T C 20 20 25 25 30 30 25 25 Promedio T C 22 20 27 25 32 30 27 25
Puntaje observado en prueba académica si todos los niños asistieran a la escuela Antes del Tratamiento Después del Tratamiento T C 20 20 25 25 30 30 25 25 Promedio T C 22 20 27 25 32 30 27 25 Diferencia: 0 Diferencia: 2
Qué sucede si no todos los niños asistían a la escuela y el programa afecta la asistencia de los niños en el grupo de tratamiento? Antes del Tratamiento Después del Tratamiento T C ausente ausente 25 25 30 30 25 25 Promedio T C 22 ausente 27 25 32 30 27 25 Diferencia: 0 Diferencia: -0,5
Desgaste Qué hacer? Destine recursos al seguimiento de los participantes después de dejar del programa. Compruebe que no sea diferente en tratamiento y control. Es eso suficiente? Compruebe también que no esté correlacionado con observables. Trate de limitar el alcance del sesgo.
2.2 EXTERNALIDADES 18
Qué más podría fallar? No es parte de la Evaluación Población Total Població n objetivo Muestra Evaluación Asignación aleatoria Tratamiento Grupo de Tratamient o Grupo de Control
Qué más podría fallar? No es parte de la Evaluación Población Total Població n objetivo Muestra Evaluación Asignación aleatoria Tratamiento Grupo de Tratamient o Grupo de Control
Aislando externalidades Suponga que decide asignar de manera aleatoria vacunas anti varicela dentro de las escuelas: Suponga que la vacuna limita la transmisión de la enfermedad, qué problemas genera esto para la evaluación? Suponga que las externalidades son locales. Cómo podemos medir el impacto total?
Sin externalidades Alumno Tratamiento Resultado (Vacuna) 1 Sí Sin varicela 2 No Sin varicela 3 Sí Sin varicela 4 No Con varicela 5 Sí Sin varicela 6 No Con varicela
Sin externalidades Alumno Tratamiento Resultado (Vacuna) 1 Sí Sin varicela 2 No Sin varicela 3 Sí Sin varicela 4 No Con varicela 5 Sí Sin varicela 6 No Con varicela Tratamiento Sí No Resultado 0% con varicela 67% con varicela
Sin externalidades Tratamiento Sí No Resultado 0% con varicela 67% con varicela Efecto del tratamiento: -67%
Con externalidades Alumno Tratamiento Resultado (Vacuna) 1 Sí Sin varicela 2 No Sin varicela 3 Sí Sin varicela 4 No Sin varicela 5 Sí Sin varicela 6 No Con varicela
Con externalidades Alumno Tratamiento Resultado (Vacuna) 1 Sí Sin varicela 2 No Sin varicela 3 Sí Sin varicela 4 No Sin varicela 5 Sí Sin varicela 6 No Con varicela Tratamiento Sí No Resultado 0% con varicela 33% con varicela
Con externalidades Tratamiento Sí No Resultado 0% con varicela 33% con varicela Efecto del tratamiento: -33%
2.2 CUMPLIMIENTO IMPERFECTO 28
Cumplimiento imperfecto Población Objetivo No es parte de la Evaluacion Qué puedes hacer? Los puedes cambiar? No! Muestra de Evaluación Selección Aleatoria Grupo de tratamiento Grupo de Control Participantes Ausencias No Participan Control tratado
Cumplimiento imperfecto Población Objetivo No es parte de la Evaluacion Qué puedes hacer? Los puedes cambiar? No! Muestra de Evaluación Selección Aleatoria Grupo de tratamiento Grupo de Control Participantes Ausencias No Participan Control tratado
Cumplimiento imperfecto Població n Objetivo No es parte de la Evaluación Muestra Evaluación Asignación Aleatoria Puedes comparar los grupos originales Grupo en Tratamiento Grupo en Control Participante s Ausentes No Participan Crontrol - tratado
Qué hacemos para calcular este efecto?
3. ANÁLISIS DE RESULTADOS 33
Análisis de resultados Cómo corregir incumplimiento? Imaginemos una campaña de vacunación en aldeas. 78% de las personas en aldeas tratamiento reciben vacuna.
Análisis de resultados Qué hacer? Comparar los resultados de los vacunados y no vacunados?
Se pueden comparar los resultados de los vacunados con los de los no vacunados? 1. Sí 2. No 3. No sé 0% 0% 0% 1. 2. 3. 36
Cuáles grupos se pueden comparar? Aldeas Tratamiento (Vacunas) Aldeas Control (Sin Vacunas) Vacunado No Vacunado No Vacunado
Cuál es la diferencia entre los dos grupos aleatorios? Aldeas Tratamiento Aldeas Control 1: Vacunado no infectado 2: Vacunado no infectado 3: Vacunado infectado 5: No vacunado infectado 6: No vacunado no infectado 7: No vacunado infectado 8: No vacunado infectado 4: No vacunado infectado
Intención de Tratar (ITT) Aldeas Tratamiento Aldeas Control 50% infectado 75% infectado
Intención de Tratar (ITT) E (Y Asignado=1) = resultado promedio entre los individuos de aldeas asignadas a tratamiento E (Y Asignado=0) = resultado promedio entre los individuos de aldeas asignadas a control. ITT = E(Y Asignado=1) E(Y Asignado=0) ITT = 50% - 75% = -25 puntos porcentuales
Intención de Tratar (ITT) Qué mide la intención de tratar? " Cuál es el impacto promedio de ofrecer el tratamiento a un grupo poblacional determinado? Es un impacto causal siempre y cuando la asignación aleatoria es válida y no hay amenazas a la integridad del experimento
Qué pasa si estamos interesados en el efecto de recibir el tratamiento entre quienes lo reciben? Debemos ajustar el ITT para tener en cuenta que no todos los asignados reciben el tratamiento Cómo lo hacemos? 42
Qué pasa si estamos interesados en el efecto de recibir el tratamiento entre quienes lo reciben? Debemos ajustar el ITT para tener en cuenta que no todos los asignados reciben el tratamiento. Cómo lo hacemos? La asignación aleatoria ya no es suficiente para identificar el impacto del tratamiento sobre los tratados. Necesitamos asumir que la asignación al tratamiento no tiene un impacto directo sobre el resultado. 43
Estimación de TOT: Vacunación Bajo este supuesto, podemos estimar TOT a a partir de cuatro cantidades que conocemos: 1. E(Y Asignado=1) 2. E(Y Asignado=0) 3. Pr ( Vacunado Asignado=1) 4. Pr ( Vacunado Asignado=0)
Estimación de TOT E(Y Asignado=1) E(Y Asignado=0) Pr (Vacunado Asignado=1) - Pr (Vacunado Asignado=0)
TOT no es siempre adecuado Ejemplo: Enviamos aleatoriamente al 50% del personal de la UFM una carta de advertencia acerca de la temporada de gripe, incentivándolos a que se vacunen. De quienes reciben la carta, el 50% se vacunan (en control nadie obtiene vacunas).
TOT no es siempre adecuado Supongamos que la incidencia de gripe en el grupo tratado cae 35% en relación al grupo control TOT: (-0,35) / (0,5-0) = -0,70 Representa el impacto causal de la vacuna de la gripe sobre los vacunados? Qué efecto podría tener carta en sí?
Sesión 6 GRACIAS Sebastián Galiani galiani@econ.umd.edu University of Maryland & J-PAL A 48
A Mañana: Proyecto en Grupo Clase 7: Aspectos Operativos 49