Cómo aleatorizar? Claudia Martínez A. Universidad de Chile Abdul Latif Jameel Poverty Action Lab. povertyactionlab.org

Transcripción

1 TRADUCIENDO LA INVESTIGACIÓN EN ACCIÓN Cómo aleatorizar? Claudia Martínez A. Universidad de Chile Abdul Latif Jameel Poverty Action Lab povertyactionlab.org

2 Agenda del curso 1. Evaluaciones de impacto: Qué son? Por qué hacerlas? Cuándo hacerlas? 2. Marco lógico, indicadores y medición del impacto 3. Por qué aleatorizar? 4. Cómo aleatorizar? 5. El tamaño muestral 6. Implementar una evaluación 7. Análisis e inferencia

3 Agenda del curso 1. Evaluaciones de impacto: Qué son? Por qué hacerlas? Cuándo hacerlas? 2. Marco lógico, indicadores y medición del impacto 3. Por qué aleatorizar? 4. Cómo aleatorizar? 5. El tamaña muestral 6. Implementar una evaluación 7. Análisis e inferencia

4 Resumen de la exposición Unidad y método de aleatorización Restricciones del mundo real Revisando de nuevo la unidad y el método Variaciones en análisis tratamiento control simple

5 Objetivos de la clase Entender cómo aleatorizar (mecánica) y decidir entre alternativas. Conceptos clave: Unidad y método de aleatorización, estratificación Cómo adaptar (de modo creativo) la aleatorización a las restricciones del mundo real Entender algunas variaciones en análisis tratamiento control simple

6 Asignación aleatoria Ingresos por persona, por mes, rupias Trat. Comp. Cómo aleatorizar, Parte I - 5

7 Mecánica de la aleatorización Es necesario un marco muestral (lista de donde aleatorizar) Opciones: Sacar del sombrero Utilice un generador de números aleatorios en un programa de planilla de cálculo para ordenar las observaciones de manera aleatoria Utilice un código del programa Stata Qué ocurre si no hay lista existente? Fuente: Chris Blattman 6

8 Resumen de la exposición Unidad y método de aleatorización Restricciones del mundo real Revisitar la unidad y el método Variaciones en un grupo de tratamientocontrol simple

9 Unidad de aleatorización 1. Aleatorizar al nivel individual 2. Aleatorizar al nivel del grupo Estudio aleatorio con observaciones agrupadas A qué nivel se debe aleatorizar? 8

10 Unidad de aleatorización: consideraciones A qué unidad apunta el programa para tratamiento? Cuál es la unidad de análisis?

11 Unidad de aleatorización: individual?

12 Unidad de aleatorización: individual?

13 Unidad de aleatorización: unidades agrupadas? Grupos de personas : Estudio aleatorio en unidades agrupadas

14 Unidad de aleatorización: clase?

15 Unidad de aleatorización: clase?

16 Unidad de aleatorización: escuela?

17 Unidad de aleatorización: escuela?

18 Para Definir la Unidad de Aleatorización 1. Como se aplica el programa: De qué manera se administra la intervención? Cuál es el área de captación de cada unidad de intervención? Cuál es la amplitud del posible impacto?

19 Para Definir la Unidad de Aleatorización (2) 2. Datos Recuerde: cuál es nuestra medición del impacto? En qué nivel de agregación podemos obtener estos datos?

20 Lotería: Comience con los estudios clínicos como punto de referencia Tome a 1000 personas y dele el medicamento a la mitad Podemos simplemente aplicar este enfoque a programas sociales?. Depende Cómo aleatorizar, 19

21 Las loterías son simples, comunes y transparentes Elegido al azar de una selección de postulantes Los participantes conocen a los ganadores y perdedores La lotería simple es útil cuando no existe un motivo a priori para discriminar Se percibe como justo Transparente Comúnmente viable políticamente Cómo aleatorizar, Parte I - 20

22 Resumen de la exposición Unidad y método de aleatorización Restricciones del mundo real Revisitar la unidad y el método Variaciones en un grupo de tratamientocontrol simple

23 Restricciones: recursos Las restricciones de recursos son el mejor amigo de un evaluador Muchos programas tienen recursos limitados Muchos más receptores elegibles que recursos que permitan servir a estos Bastante comunes en la práctica: Capacitación para empresarios o granjeros Vouchers en educación Transferencias monetarias Cómo aleatorizar, Parte I - 22

24 Restricciones: contaminación Recuerde el contrafactual! Si el grupo de control es diferente al del contrafactual, nuestros resultados pueden estar sesgados

25 Restricciones: contaminación Externalidad/control tratado Externalidad Control tratado Cumplimiento parcial o incumplimiento del tratamiento

26 Restricciones: logísticas Suponga que la administración de medicamentos de desparasitación fuera una de las responsabilidades de un trabajador de la salud Suponga que el trabajador de la salud prestó servicios a los miembros de los grupos de control y tratamiento Podría ser difícil capacitarlos para seguir diferentes procedimientos para diferentes grupos y llevar un registro de qué se administra a quién

27 Restricciones: justicia, política Aleatorizar a nivel del niño dentro de las clases Aleatorizar a nivel de la clase dentro de colegios Aleatorizar al nivel de la comunidad

28 Restricciones: Tamaño de la muestra El programa es sólo lo suficientemente grande para prestar servicios a un puñado de comunidades

29 Resumen de la exposición Unidad y método de aleatorización Restricciones del mundo real Volviendo a revisar la unidad y el método Variaciones en un grupo de tratamientocontrol simple

30 Qué ocurre si tiene 500 postulantes para 500 cupos? Considere los diseños de lotería no estándares Podrían aumentar las actividades de divulgación Es esto ético? Cómo aleatorizar, Parte I - 29

31 A veces el filtrado importa Suponga que hay 2000 postulantes El filtrado de las solicitudes produce 500 candidatos elegibles Hay 500 cupos Una lotería simple no funcionará Cuáles son nuestras opciones?

32 Considere las normas de filtro o focalización Se filtra para qué? Qué elementos son esenciales? Los procedimientos de selección sólo pueden existir para reducir los candidatos elegibles para cumplir una restricción de capacidad o para focalizar el programa Si ciertos mecanismos del filtro aparecen como arbitrarios (pero no aleatorios), la aleatorización puede servir para el propósito de filtrar y ayudarnos a evaluar

33 Aleatorización en la burbuja A veces puede que un socio no esté dispuesto a aleatorizar entre las personas elegibles. Un socio podría estar dispuesto a aleatorizar en la burbuja. Las personas en la burbuja, son personas que están en el límites en términos de elegibilidad Justo sobre el unbral no elegible, pero casi Qué efecto en el tratamiento medimos? Qué significa para la validez externa?

34 Aleatorización en la burbuja Dentro de la burbuja, compare el tratamiento con el control No participantes Tratamiento Participantes Control

35 Cuando el análisis importa: Lotería parcial Los funcionarios del programa pueden mantener la discreción Ejemplo: Programa de capacitación Ejemplo: Expansión de los créditos de consumo en Sudáfrica

36 Diseño escalonado: aprovecha la expansión Eventualmente todos reciben el programa El enfoque natural al expandir el programa enfrenta restricciones de recursos Qué determina que las escuelas, ramas, etc. se incluirán cada año?

37 Diseño escalonado Ronda 1 Tratamiento: 1/3 Control: 2/3 Ronda 2 Tratamiento: 2/3 Control: 1/3 Finaliza la evaluación aleatoria Ronda 3 Tratamiento: 3/ Control:

38 Diseño escalonado Ventajas Eventualmente todos reciben algo Proporciona incentivos para mantener el contacto Preocupaciones Puede complicar el cálculo de efectos a largo plazo Atención con las ventanas de escalonamiento Expectativas cambian acciones hoy?

39 Diseño por rotación Los grupos reciben tratamiento en turnos Ventajas Preocupaciones Cómo aleatorizar, Parte I - 38

40 Diseño por rotación Ronda 1 Tratamiento: 1/2 Control: 1/2 Ronda 2 Tratamiento de la Ronda 1 Control Control de la Ronda 1 Tratamiento

41 Desea encuestarme? Entonces, trate conmigo La introducción escalonada puede no proporcionar suficiente beneficio para los participantes de la ronda posterior La cooperación del grupo de control puede ser esencial Considere la aleatorización entre grupo Por ejemplo, programa de balsakhi Todos los participantes obtienen algún beneficio Preocupación: mayor probabilidad de contaminación

42 Diseño por estímulo a participar: Qué hacer cuando no puede aleatorizar acceso? A veces es práctica o éticamente imposible aleatorizar el acceso al programa Sin embargo, la mayoría de los programas tiene menos de 100% de tasa de participación Aleatorice por estímulo a recibir tratamiento

43 Diseño por estímulo Estímulo No Estímulados participó no participó compare estimulados con no estimulados Éstos se deben correlacionar no compare participantes con no participantes Cumplimiento No cumplimiento Ajuste para el no cumplimiento en la fase de análisis

44 Qué es estímulo? Algo que hace que algunas personas sean más propensas a utilizar este programa que otras No es un tratamiento en sí Para quiénes estamos calculando el efecto del tratamiento? Piense en quiénes responden a la motivación

45 Para resumir: Posibles diseños Lotería simple Aleatorización en la burbuja Aleatorización por escalonamiento Rotación Diseño por estímulo Nota: Éstos no son mutuamente exclusivos.

46 Métodos de aleatorización recapitulación Diseño Más útil cuando Ventajas Desventajas Lotería simple Programa supersuscrito Familiar Puede que el grupo de control Está bien que algunos que no Fácil de comprender no coopere reciben nada Fácil de implementar Desgaste diferencial Se puede implementar en público Escalonamiento Se amplía con el tiempo Fácil de comprender Finalmente, todos deben recibir tratamiento Restricción fácil de explicar El control acepta dado que espera beneficio posterior Rotación Todos deben recibir algo en algún Más datos que en la punto, no hay suficientes recursos introducción escalonada en el año para todos La anticipación del tratamiento puede impactar la conducta a corto plazo Dificultad para medir el impacto a largo plazo Difícil de medir a largo plazo Estímulo El programa debe estar abierto para todos Cuando la tasa de participación es Baja, pero se puede impactar fácilmente con incentivos. Puede aleatorizar en el nivel individual incluso cuando el programa se entrega a nivel individual Mide el impacto de quienes responden al incentivo Necesita un incentivo lo suficientemente grande para la adquisición El estímulo puede tener un efecto directo Cómo aleatorizar, Parte I - 45

47 Resumen de la exposición Unidad y método de aleatorización Restricciones del mundo real Revisitar la unidad y el método Variaciones a tratamiento control simple

48 Tratamientos múltiples A veces la pregunta central es decidir entre diferentes intervenciones posibles Usted puede aleatorizar estos programas Esto nos enseña acerca del beneficio de alguna intervención particular? Existe un grupo de control? Cómo aleatorizar, Parte I - 47

49 Tratamientos múltiples Tratamiento 1 Tratamiento 2 Tratamiento 3

50 Interacción de tratamiento Prueba diferentes componentes de tratamiento en diferentes combinaciones Prueba si los componentes sirven como sustitutos o complementos Cuál es la combinación más económica? Ventaja: situación gana gana para operaciones, pueden ser útiles para responder preguntas para ellos, más allá del simple impacto!

51 Variando intensidad del tratamiento A algunas escuelas se les asigna tratamiento completo Todos los niños reciben píldoras A algunas escuelas se les asigna tratamiento parcial Se designa que el 50% recibirá píldoras En otros experimentos: cambiar el precio que se cobra por un bien o servicio

52 Estratificación Objetivo: equilibrar su muestra cuando tiene una muestra pequeña Qué es? dividir la muestra en diferentes subgrupos seleccionar el tratamiento y control de cada subgrupo Qué ocurre si no estratifica? 51

53 Cuándo estratificar Estratificar en variables que podrían tener un impacto importante en la variable de resultados (un poco al ojo) Estratificar en subgrupos que le interesan particularmente (donde pudiese creer que el impacto del programa será diferente) La estratificación es más importante cuando base de datos son pequeñas Puede ser complejo estratificar con demasiadas variables Pareamiento es menos transparente mientras más se estratifica También puede estratificar con variables índice que resumen múltiples dimensiones 52

54 Objetivos de la clase Entender cómo aleatorizar (mecánica) y decidir entre alternativas. Conceptos clave: Unidad y método de aleatorización, estratificación Cómo adaptar (de modo creativo) la aleatorización a las restricciones del mundo real Entender algunas variaciones en análisis tratamiento control simple

55 Preguntas, Comentarios, Dudas Claudia Martínez A. Universidad de Chile Abdul Latif Jameel Poverty Action Lab povertyactionlab.org