Cumplimiento. Introducción. Desgaste. Externalidades. Análisis

Transcripción

1

2 Amenazas a la Validez y Dean Karlan Professor of Economics Yale University dean.karlan@yale.edu 2

3 Objetivos de aprendizaje Al final de esta presentación se espera que el participante pueda: 1. Entender los conceptos de validez interna y externa. 2. Identificar las principales amenanzas en el análisis. 3. Proponer soluciones para cada tipo de amenaza. 4. Diferenciar entre TOT y ITT.

4 Esquema de la presentación 1. Introducción imperfecto 5. final

5 1. Introducción

6 Introducción Incluso cuando hemos diseñado un buen experimento, pueden haber algunos problemas. Formalmente: No siempre refleja: E(Y T = 1) - E(Y T = 0) El efecto promedio del tratamiento E(y(1) - y(0)): En la población inicial (todos los tratados y todos los controles) Este es un problema de validez interna: podemos afirmar que los resultados observados son el resultado del tratamiento en la población inicial? Esto es distinto a la validez externa, que tiene que ver con la medida en que nuestros resultados son generalizables para una población más amplia de la estudiada.

7 2.

8 Qué podría fallar? Población no evaluada Población total Población objetivo Muestra evaluada Asignación aleatoria Grupo tratado Grupo de control

9 , contaminación Población no evaluada Población total Población objetivo Treatment Muestra evaluada Asignación aleatoria Grupo tratado Grupo de control

10 , contaminación Población no evaluada Población total Población objetivo Treatment Muestra evaluada Asignación aleatoria Grupo tratado Grupo de control

11 Ejemplo: Vacunación contra varicela Suponga que aleatoriza vacunas contra la varicela dentro de colegios. Suponga que esto previene la transmisión de la enfermedad. Qué problemas implica para la evaluación? Son las externalidades locales? Cómo podemos medir el impacto total?

12 Sin externalidades Estudiante Tratamiento (vacuna) Resultado 1 Yes Sin varicela 2 No Con varicela 3 Yes Sin varicela 4 No Con varicela 5 Yes Sin varicela 6 No Con varicela Tratamiento Sí No Resultado 0% con varicela 100% con varicela Efecto del tratamiento: -100%

13 Con externalidades Estudiante Tratamiento (vacuna) Resultado 1 Yes Sin varicela 2 No Sin varicela 3 Yes Sin varicela 4 No Con varicela 5 Yes Sin varicela 6 No Con varicela Tratamiento Sí No Resultado 0% con varicela 67% con varicela Efecto del tratamiento: -67%

14 En una campaña de educación sexual donde algunos cursos de un colegio reciben la charla y otros no, qué externalidades podrían producirse? 1. Algunos estudiantes del grupo tratado están ausentes el día de la charla 2. Un curso asignado a control recibe la charla 3. Estudiantes tratados le hablan de la charla a los no tratados 4. Algunos estudiantes asignados a control asisten a la charla

15 Cómo abordar las externalidades? 15

16 Cómo medimos el impacto de un programa si hay externalidades? Soluciones: Escoge la unidad de aleatorización de modo que abarque las externalidades. Si esperamos que las externalidades se produzcan dentro de los colegios: Aleatorizar a nivel de colegios permitirá estimar el impacto agregado.

17 Otras soluciones Obtenga más información acerca de los individuos tratados. Ejemplo: Miguel y Kremer: Desparasitación Identifican dónde viven los sujetos y determinan el rango geográfico apropiado para medir externalidades.

18 Otras soluciones Varíe la intensidad del tratamiento Equilibrio general: intervienes en varios mercados y evalúas como los efectos del tratamiento cambian según la intensidad de tratamiento. Ejemplo: Duflo et al: Efectos de Desplazamiento en el Mercado de Trabajo francés: Las agencias de empleo locales escogieron aleatoriamente la proporción de sujetos beneficiarios (0%, 25%, 50%, 75%, o 100%). Los impactos positivos para los participantes individuales no necesariamente implican impactos positivos para el conjunto de la población. El éxito de los beneficiarios podría ser a costa de otros buscadores de empleo con quienes compiten.

19 En el ejemplo de la campaña de educación sexual, qué haría para limitar las externalidades? A. Aleatorizar a nivel de estudiantes B. Aleatorizar clases C. Aleatorizar colegios D. Aleatorizar distritos escolares 0% 0% 0% 0% A. B. C. D. 19

20 3.

21 Es problemático que algunas personas del experimento desaparezcan antes de que obtengas los datos? Es un problema si el tipo de gente que tiende a desaparecer es distinto para control y tratamiento. Por qué es un problema? Comparabilidad Representatividad Por qué podría suceder esto?

22 Sesgo de desgaste: un ejemplo El problema que quieres abordar: Algunos niños no van al colegio porque están debilitados (a causa de la subnutrición). Lanzas un programa de alimentación escolar y quieres evaluarlo. Tienes un grupo de tratamiento y uno de control. Los niños debilitados comienzan a ir más al colegio si residen cerca de un colegio tratado. Primer impacto del programa: aumento de matrícula.

23 Sesgo de desgaste: un ejemplo También quieres medir el impacto en el crecimiento del niño Segunda medida de interés: peso del niño. Vas a todas las escuelas (tratadas y control) y mides la situación de todos los que están en el colegio ese dia. La diferencia de peso entre los tratados y los controles estará sobreestimada o subestimada?

24 Antes Después T C Media T C Diferencia: 0 Diferencia: 2

25 Y si solo los niños por encima de 21 kg van a clase? Antes Después T C perdido perdido Mean T C 22 perdido Diferencia : 0 Diferencia: -0,5

26 Sesgo de desgaste Tasas de respuesta contrafactuales (heterogeneidad en el efecto del tratamiento) (no comparabilidad de los respondientes)

27 Cómo abordar el desgaste? 27

28 Solución 1: ser obstinado Logra el 100% de tu población muestral. Lleva a cabo todas las estrategias posibles: Teléfono, correo, , sms, visitas. Haz encuestas más cortas Incentivos, financieros o de otro tipo

29 Solución 1: ser obstinado Si no logras el 100%, puede seleccionar una submuestra de observaciones perdidas y buscarlas, a un coste mayor: Rescata una muestra representativa. Recupera la comparabilidad Alto costo potencial: poder, tiempo, dinero.

30 Solución 2: ten suerte Asume que la no respuesta es aleatoria, tal vez condicionalmente en base a ciertas variables. Qué pasa si la tasa de respuesta es la misma? Añade el supuesto de que el tratamiento solo puede afectar a la respuesta en una única dirección. El tratamiento no afectó a la tasa de respuesta. La validez interna se conserva. Pero la validez externa puede no mantenerse.

31 Solución 3: Modelos de Selección Muestral Los modelos de corrección de selección muestral son aquellos que ofrecen soluciones econométricas al problema de variables dependientes truncadas. En particular, las variables dependientes podrían estar truncadas porque solo observamos los resultados de aquellos individuos que participan en el programa Sin la corrección, el parámetro beta de la ecuación siguiente estará sesgado, porque solo observamos y para un grupo de individuos: y i = T i + e i Primero, estimamos el modelo de selección muestral S i =W iy + e i El procedimiento Heckit corrige beta usando la estimación del modelo de selección. El modelo se identifica con un instrumento y formas funcionales: halla una variable que afecte a S i pero no afecte directamente a y i.

32 Solución 3: Otros modelos de Corrección de Selección Muestral También podemos usar modelos semiparamétricos (Ichimura y Lee, 1991; Ahn y Powell, 1993) Relajamos el supuesto de normalidad, pero requerimos el de restricción de exclusión.

33 Solución 4: Límites En vez de tratar de corregir los estimadores de efecto, determina un límite para dicho efecto. Límites de Horowitz y Manski (2000): Toma valores máximos y mínimos para las variables de resultado. Útil cuando la variable es binaria. Problema: los límites pueden ser demasiado amplios y por tanto no informativos.

34 Solución 4: Límites Límites de Lee Se apoya en pocos supuestos: Los resultados y las respuestas de los participantes ocurren independientemente de D. Monotonicidad: Pr(S 1 = 0, S 0 = 1) = 0 Intuición: La muestra se pule de modo que la proporción de sujetos observados es igual para ambos grupos El pulido se puede hacer por arriba o por abajo Se corresponde con supuestos extremos acerca de la naturaleza de la no respuesta, consistentes con: (i) Los datos observados, y (ii) Un modelo de selección de un lado

35 Límites de Lee: Un ejemplo El efecto de proporcionar crédito a microempresas (De Mel et al., 2008) Algunos negocios salen de la muestra: imposible medir sus utilidades y retornos del capital. Límites de Lee: Algunas firmas salen de la muestra si no son beneficiarias, pero no salen si son beneficiarias. q es 5.2%. Resultados: o Utilidades: efecto del tratamiento es 541, E=404 y E=754 o Retornos del capital: efecto del tratamiento es 5.3%, E=2.6% y E=6.7%. 35

36 Límites de Lee: discusión y extensiones STATA: leebounds (con errores estándar). Podrían ser demasiado estricto. Existen soluciones creativas según el contexto: Back to De Mel (2008), E supone que las empresas más rentables desaparecen. Esto es poco probable. E posiblemente sea trivial. Angrist et al. (2002, 2006), cupones en Colombia. Estudian si los cupones aumentan la probabilidad de que los estudiantes hagan el examen de admisión universitaria. Qué resultado habrían obtenido en ausencia del cupón? Usan supuestos distributivos razonables para construir los límites 36

37 Cuál es la mejor forma de abordar el desgaste? A. Se obstinado B. Asume que es aleatorio C. Usa modelos de selección muestral D. Usa límites 0% 0% 0% 0% A. B. C. D. 37

38 4. imperfecto

39 En la evaluación de un programa de distribución gratuita de mosquiteras, algunas personas del grupo de tratamiento no reciben la mosquietara, mientras que algunos asignados a control sí lo reciben. Qué debemos hacer? A. Intercámbialos (pon esos sujetos T en el grupo C, y esos individuos C en el grupo T) B. Sácalos de tu muestra C. Compara los grupos originales (independientemente de si recibieron tratamiento o no) D. Desiste de evaluar 0% 0% 0% 0% A. B. C. D. 39

40 No cumplidores Población no evaluada Qué puedes hacer? Puedes intercambiarlos? Población objetivo No! Muestra evaluada Asignación aleatoria Grupo de tratamiento Grupo de control Participantes No-Shows No Participantes Cross-overs 40

41 No cumplidores Población no evaluada Qué puedes hacer? Puedes eliminarlos? Población objetivo No! Muestra evaluada Asignación aleatoria Grupo de tratamiento Grupo de control Participantes No-Shows No Participantes Cross-overs 41

42 No cumplidores Población objetivo Población no evaluada Puedes comparar los grupos originales Muestra evaluada Asignación aleatoria Grupo de tratamiento Grupo de control Participantes No-Shows No Participantes Cross-overs 42

43 Imperfecto Puede haber sesgo de selección muestral si factores distintos de la asignación aleatoria afectan al reparto Incluso se si pretendía una asignación aleatoria, esta podría no darse Hay Imperfecto cuando: Individuos en el grupo tratado no reciben tratamiento Individuos en el grupo de control reciben tratamiento 43

44 Sesgo de selección muestral Algunos individuos asignados al grupo de control podrían tratar de entrar en el grupo de tratamiento Programa de alimentación escolar: algunos padres podrían tratar de que sus hijos se cambien a colegios tratados Alternativamente, algunos individuos asignados al grupo de tratamiento podrían no recibirlo Programa de alimentación escolar: algunos estudiantes llevan su propio almuerzo, o optan por no almorzar

45 Cómo abordar el sesgo de selección muestral? ITT vs TOT 45

46 Intention to Treat (ITT) Qué mide el efecto de la Intención de Tratar? Qué le ocurrió al niño promedio perteneciente a un colegio tratado de esta población? Esta diferencia, es el efecto causal de la intervención?

47 Cuándo es el ITT útil? Puede que sea una mejor descripción para programas reales Por ejemplo, puede que no nos interese tanto el efecto médico del tratamiento de desparasitación, y sí el efecto logrado con un programa de desparasitación real. Si algunos estudiantes suelen no ir al colegio y no obtienen el medicamento de desparasitación, el efecto de la intención de tratar puede ser el más relevante.

48 Del efecto ITT al efecto TOT (Treatment on the Treated) El punto clave es que hay filtraciones en la asignación a los grupos de tratamiento y control, habiendo diferencias entre la asignación original y el reparto final. Los individuos asignados al grupo tratado tienen una mayor probabilidad de recibir tratamiento Formalmente, instrumentamos la probabilidad de recibir tratamiento de acuerdo con la asignación original. 48

49 Estimando TOT Qué valores necesitamos? Y(T) Y(C) Prob[tratado T] Prob[tratado C]

50 Tratamiento en los Tratados (TOT) Partimos de un modelo de regresión sencillo: Y i = a + B S i + e i [Angrist y Pischke, p. 67 muestra que]: B = E Y i z i = 1 E Y i z i = 0 E s i z i = 1 E s i z i = 0

51 Tratamiento en los Tratados (TOT) B = E Y i z i = 1 E Y i z i = 0 E s i z i = 1 E s i z i = 0 Y T Y C Prob tratado T Prob[tratado C]

52 Generalizando el enfoque TOT: Variables Instrumentales 1. Regresión de la primera fase: T Actual = α 0 + α 1 T 1 + α i X i + e 2. Predice el estatus de tratamiento usando los coeficientes estimados T predicted = a 0 + a 1 T 1 + a i X i 3. Predice la variable resultado a partir del estatus de tratamiento predicho Y i = β 0 + β 1 T predicted + β X X i + ε 4. β 1 proporciona la estimación del efecto

53 Requisitos para Variables Instrumentales: Primera fase Tu experimento (o instrumento) afecta de forma significativa a la probabilidad de recibir tratamiento Restricción de exclusión Tu experimento (o instrumento) no afecta a los resultados por medio de ningún otro canal

54 5. Final 54

55 Múltiples resultados Podemos estudiar varios resultados? Cuantos más resultados analices, más probable es que algunos sean estadísticamente significativos por casualidad Especifica de antemano los resultados de interés Informa de todos los resultados medidos, incluyendo los no significativos Corrige los tests estadísticos (Bonferroni)

56 Variables de control Por qué incluir variables de control? Podrían explicar parte de la variación y mejorar el poder estadístico Por qué no incluir variables de control? Da la apariencia de búsqueda de especificación Qué variables de control incluir? Si la aleatorización es estratificada: incluye efectos fijos de estrato Otras variables de control Regla: Reporta tanto las diferencias curdas como los resultados ajustados por medio de regresión

57 Recapitulando Amenaza Descripción Algunas soluciones El tratamiento contamina a las unidades de control Algunas observaciones salen de la muestra. 1. Aleatoriza a un nivel superior. 2. Obtén más información acerca de las observaciones. 3. Varía intensidad de tratamiento 1. Se obstinado 2. Ten suerte 3. Modelos de selección Heckman 4. Límites imperfecto El cumplimiento del protocolo del estudio no es perfecto (e.g. algunas unidades de control reciben tratamiento) 1. Efecto de la Intención de tratar 2. Efecto del Tratamiento en los Tratados 57

58 Conclusión Hay unas cuantas cosas que pueden salir mal durante la evaluación. Piensa en estos problemas anticipadamente. Hemos revisado algunas de estas amenazas para el análisis de la evaluación; para un catálogo de correcciones más completo puedes usar Running Randomized Evaluations. 58

59 Gracias! Dean Karlan Professor of Economics Yale University 59