Ciudad de Guatemala, 2013

Transcripción

1 Ciudad de Guatemala,

2 Sesión 4 Cómo aleatorizar? Ximena Peña Universidad de los Andes 2

3 Clases (Profesores) Horario Actividades en Grupo (Todos) Trabajo en Grupo (Prof. Asistentes) Lunes 10 Martes 11 Miércoles 12 Jueves 13 Viernes 14 Introducción Proyecto en Grupo Ejercicio 1 Clase 7. Aspectos Operativos. Presentaciones Finales Clase 1. Qué es una evaluación? Caso de Estudio 2 Clase 5. Muestreo y tamaño de muestra.. Proyecto en Grupo Presentaciones Finales Caso de Estudio 1 Clase 2. Resultados, Indicadores y Midiendo Impacto. Clase 3. Por qué aleatorizar? Clase 4. Cómo aleatorizar? Ejercicio 2 Clase 8. Evaluación aleatoria de principio. a fin. Ceremonia de Clausura Caso de Estudio 3 Proyecto en Grupo Almuerzo cierre Proyecto en Grupo Proyecto en Grupo Clase 6. Amenazas y Análisis. Proyecto en Grupo Cóctel 3

4 Índice 1. Unidad y método de aleatorización 2. Restricciones prácticas 3. Repensando unidades y métodos 4. Variaciones de la aleatorización simple 4

5 1.UNIDAD Y MÉTODO DE ALEATORIZACIÓN 5

6 Unidad de aleatorización Existen dos posibilidades: Aleatorizar al nivel individual. Aleatorizar al nivel de clúster. A qué nivel aleatorizar? 6

7 Unidad de aleatorización Algunas consideraciones: Cuál es la unidad de tratamiento? Sobre cuál unidad quiere tener efectos el programa? Por ejemplo: Intervenimos escuelas o niños? Cuál es la unidad de análisis? Por ejemplo: Vamos a investigar el impacto de un programa sobre escuelas o niños? A qué nivel aleatorizar? 7

8 Unidad de aleatorización: Individual

9 Unidad de aleatorización: Individual

10 Unidad de aleatorización: Clúster

11 Unidad de aleatorización: Clase

12 Unidad de aleatorización: Clase

13 Unidad de aleatorización: Escuela

14 Unidad de aleatorización: Escuela

15 Cuales son algunas críticas que ha escuchado en contra de la evaluación aleatoria? 1. No son justas. 33% 2. Son muy complicadas. 3. Tratan a las personas como ratas. 33% 33%

16 2. RESTRICCIONES PRÁCTICAS 16

17 Restricciones: Recursos La mayoría de programas sociales operan en un contexto de recursos limitados. Muchas veces esto resulta en exceso de demanda: más personas son elegibles para recibir el programa que las que podemos atender. Esto nos presenta con una oportunidad para aleatorizar el programa. 17

18 Restricciones: Externalidades Recordemos por qué es importante la aleatorización: produce grupos comparables Si nuestro grupo de tratamiento es distinto de nuestro grupo de control podemos obtener resultados sesgados. Por ejemplo, si los efectos de nuestro grupo de tratamiento generan un impacto en nuestro grupo de control, éste último puede dejar de ser un grupo de comparación válido. 18

19 Restricciones: Timing Muchos programas quieren partir con la entrega de servicios pronto. Es lógico o viable aleatorizar cuando estamos cortos de tiempo? En la mayoría de los casos tiene sentido pensar sobre el diseño de una evaluación a la vez que se piensa sobre un proyecto. Gran parte del trabajo sucede antes de la aleatorización, por lo que contar con tiempo es crítico. 19

20 Restricciones: Justicia Es justo aleatorizar? Las loterías son simples, comunes y transparentes. Las loterías se pueden hacer públicas, de tal manera que los participantes puedan identificar los ganadores. La lotería simple es útil y es percibida como justa. 20

21 Restricciones: Tamaño Muestral Algunos programas son pequeños y solo pueden atender a un grupo reducido de unidades. Esto puede ser un problema para medir impacto. Hablaremos sobre cálculos de poder y tamaño muestral mañana. 21

22 Restricciones: Algunos ejemplos Si esperamos que el efecto total se refleje en unidades grandes, deberiamos aleatorizar a este nivel de unidades grandes. Ejemplo: un programa de apoyo a proveedores le ayuda a varias empresas de una localidad, por lo que habría que aleatorizar localidades. De esta forma no solo evitamos el problema de contaminación, sino que lo estudiamos en sí. A veces por razones operativas o políticas nos vemos forzados a aleatorizar a niveles mayores. Ejemplo: si en un programa de crédito tratan a algunas personas de forma diferente algunos se podrían molestar. 22

23 Siempre es mejor aleatorizar a nivel de clúster. 1. Falso 2. Verdadero 50% 50%

24 3. REPENSANDO UNIDADES Y MÉTODOS 24

25 Elegibilidad Los criterios elegibilidad para participar en un programa son claves e inciden en el método que elegimos para evaluar impacto. Considera: Tenemos 500 cupos y 500 aplicantes. Cómo aleatorizamos? Es ético evaluar de la manera que hemos expuesto? 25

26 Elegibilidad Los criterios elegibilidad para participar en un programa son claves e inciden en el método que elegimos para evaluar impacto. Considera: Tenemos 500 cupos y 500 aplicantes. Cómo aleatorizamos? Es ético evaluar de la manera que hemos expuesto? 26

27 Elegibilidad Otro caso: Tenemos 2000 aplicantes y 500 cupos. Pero al filtrar los candidatos, nos quedan 500 elegibles. Cómo aleatorizamos? Es ético evaluar de la manera que hemos expuesto? 27

28 Elegibilidad En todos estos casos, es importante entender los criterios de selección. Algunas preguntas útiles para entenderlas: Por qué estamos aplicando estos criterios? Qué buscamos identificar al aplicarlos? Cuáles elementos son esenciales para el buen funcionamiento del programa? 28

29 Muestreo versus asignación Primero, hablemos sobre la diferencia entre asignación aleatorio y muestra aleatoria. 29

30 Muestra aleatoria es para representar a la población M uestreo al eatori o vs. Asignación aleatoria

31 Asignar aleatoriamente a tratamiento y control elimina sesgo selección M uestreo al eatori o vs. Asignación aleatoria

32 Elegibilidad Una evaluación aleatoria no necesita una muestra aleatoria. Un programa puede seleccionar a sus beneficiarios utilizando ciertos criterios de elegibilidad. Puede ser el caso que los criterios se apliquen sólo para limitar acceso al programa En caso de que los criterios aparenten ser arbitrarios: Aleatorizar puede filtrar (de una manera más justa) y nos ayuda a evaluar el impacto del programa. 32

33 Alternativas al aleatorizar No es necesario limitarse a programas nacientes Podemos trabajar con programas ya existentes. Sobre innovaciones, expansiones, etc. Diferentes opciones: Lotería básica Diseño aleatorio por etapas. Asignación aleatoria en la burbuja. Diseño de estímulos. 33

34 Métodos de asignación aleatoria - recapitulación Diseño Los más útiles cuando Ventajas Desventajas Lotería Básica La suscripción al programa es sobrepasada. Familiares. Fáciles de entender. Fáciles de implementar. Se pueden implementar en público. Puede que el grupo de control no coopere. Desgaste diferencial.

35 Diseños por etapas Es útil cuando restricciones administrativa o financieras impiden que el programa atienda a la población elegible desde el inicio: Nadie está siendo excluido totalmente: A la larga, todos obtienen algo. Progresa/Oportunidades (1997) Algunas inquietudes: Ventana de oportunidad puede ser más corta que el tiempo necesario para que los efectos de un programa se materialicen ( microcrédito?) Puede complicar la estimación de los efectos a largo plazo Individuos en grupos rezagados pueden alterar su comportamiento si saben que recibirán el tratamiento luego (y si la ventana es muy corta)

36 Ronda 1 Tratamiento: 1/3 Control: 2/3 Ronda 2 Tratamiento: 2/3 Control: 1/3 La evaluación aleatoria finaliza Ronda 3 Tratamiento: 3/3 Diseño por etapas Control:

37 Métodos de asignación aleatoria - recapitulación Diseño Los más útiles cuando Ventajas Desventajas Diseño Por Etapas Se expanden en el tiempo. A la larga, todos deben recibir tratamiento. Fáciles de entender. La restricción es fácil de explicar. El grupo de control cumple, porque ellos esperan beneficiarse más tarde. La anticipación del tratamiento puede afectar la conducta a corto plazo. Es difícil medir el impacto a largo plazo.

38 Aleatorización en la burbuja En ocasiones, un socio puede no estar dispuesto a aleatorizar entre personas elegibles - microfinanzas El socio podría estar dispuesto a aleatorizar en la burbuja. Las personas en la burbuja están en la línea limítrofe en términos de elegibilidad. Justo por encima del umbral no elegible, pero casi. Karlan and Zinman (2007) Aleatorizan la asignación de crédito entre las solicitudes marginales de un banco en Sudáfrica, establecidas por un sistema de credit scoring. Qué efecto del tratamiento medimos nosotros? Qué significa esto para la validez externa?

39 Asignación aleatoria en la burbuja Dentro de la burbuja, compare el tratamiento con el control Tratamiento No participantes Participantes Control

40 Métodos de asignación aleatoria - recapitulación Diseño Son más útiles cuando Ventajas Desventajas Burbuja Organización no quiere aleatorizar dentro de los elegibles. Hay personas en la burbuja, justo en el punto limítrofe en términos de elegibilidad. Se seleccionan a personas que podrían necesitar el programa, pero que por cualquier razón no entran. Mide el impacto de sobre aquellos que están en la burbuja. El estímulo mismo puede tener un efecto directo.

41 Diseño de estimulos En ocasiones, es práctica o éticamente imposible asignar el acceso al programa en forma aleatoria Pero la mayoría de los programas tiene una aceptación inferior al 100% En ese caso, puede asignarse aleatoriamente el estímulo para recibir tratamiento Ejemplo: León (2012) Votación en Perú es obligatoria y la ausencia supone una multa En el 2006, sin embargo, una ley redujo estas multas, aunque pocos sabían al respecto, especialmente en zonas más pobres Se asignó aleatoriamente los barrios de Lima en los cuales se proveía información acerca de la reducción de la multa elasticidad voto/costo = -0.21, especialmente entre menos interesados e informados políticamente

42 Diseño de estímulos Estimular No estimular participado no participó compare los estimulados con los no estimulados Estos deben ser correlacionados no compare participantes con no participantes Cumplió No cumple ajustar por incumplimiento en la fase de análisis

43 Métodos de asignación aleatoria - recapitulación Diseño Son más útiles cuando Ventajas Desventajas Estímulo El programa debe estar abierto a todos los recién ingresados. Cuando la aceptación es baja, pero se puede mejorar fácilmente con un estímulo. Se puede asignar en forma aleatoria a nivel individual, aun cuando el programa no sea administrado a ese nivel. Mide el impacto de aquellos que responden al estímulo. Necesita un aliciente suficientemente grande para mejorar la aceptación. El estímulo mismo puede tener un efecto directo.

44 4. VARIACIONES DE LA ALEATORIZACIÓN SIMPLE 44

45 Tratamiento Múltiples A veces la pregunta central es decidir entre diferentes intervenciones posibles. Usted puede aleatorizar estos programas. Esto nos enseña acerca del beneficio de alguna intervención particular? Existe un grupo de control?

46 Tratamientos múltiples Tratamiento 1 Tratamiento 2 Tratamiento 3

47 Interacción de tratamiento Prueba diferentes componentes de tratamiento en diferentes combinaciones. Prueba si los componentes sirven como sustitutos o complementos. Cuál es la combinación más económica? Ventaja: situación gana-gana para operaciones, pueden ser útiles para responder preguntas para ellos, más allá del simple impacto!

48 Intensidad de tratamiento A algunas escuelas se les asigna tratamiento completo: Todos los niños reciben píldoras. A algunas escuelas se les asigna tratamiento parcial: Se designa que el 50% recibirá píldoras. En otros experimentos: cambiar el precio que se cobra por un bien o servicio.

49 Pero cómo aleatorizar en la práctica? Lotería desde una canasta. Stata. Les enseñaremos cómo mañana Fuente: Chris Blattman

50 Sesión 4 GRACIAS Ximena Peña Universidad de los Andes A 50

51 A continuación: Trabajo en Grupo Alejandra Aponte (EN-203) Camila Uribe (EN-603) Thomas Vargas (D-306) Claudia Curiel Pérez Oscar Cortes Mejia Mitzi Ureña Pérez Maria Flores Ríos Guiovanna Roca Alvarez Donaldo Serrano Ureña Esteban Nina Baltazar Juan Pablo Venegas Gormaz Yariela Aided Romero Carla Larageira Maria Florencia Guerzovich Flavia Fontes Francisco Bolaños Cámbara María José Prado Valdés Halina Palma Guevara Luis Daniel Gonzalez Karol Ugalde Avila Alvaro Salamanca Paredes Bernadette Vega Christián Aponte Carlos Fernando Salgado Jorge Chang Marcela Gutiérrez Diego Verdugo (EN-604) Arturo Melville Aguirre María Catalina Sandoval Rafael Isidro Parra-Peña Somoza Javier Monterroso Montenegro Edith Cubías Guillén Gloria Rivera de Rivas Raul Rueda Ponce Fiorella Castro Aguirre A Marialejandra Guzmán (EN- 602) Claudia Ramírez Aguilar María Silvia Pineda Griseldo Say López Anita del Pilar Berges Jiménez de Castillo Erika Jacobo de Batres Walter Chacon 51