Medición y Resultados

Transcripción

1 Medición y Resultados Claudia Martínez Abdul Latif Jameel Poverty Action Lab povertyactionlab.org

2 Esquema I. Ejemplo: Puestos reservados para mujeres II. Resultados posibles III. Hipótesis claves y cadena de causalidad IV. Recolección, administración y entrada de datos 2

3 Objetivos Una vez que tenemos la pregunta y diseño de la evaluación Cómo preparamos la recolección de datos? Qué datos se deben recolectar? Qué sistemas se deben instalar para asegurar datos de buena calidad? Cuál debe ser el tamaño de la muestra? 3

4 Esquema I. Ejemplo: Puestos reservados para mujeres II. Resultados posibles III. Hipótesis claves y cadena de causalidad IV. Recolección, administración y entrada de datos 4

5 Escenario: Reserva de puestos en panchayati raj Cuáles son las metas principales del Panchayati Raj? Cuáles son las características principales de la política de reserva de puestos? Fuente: Women as Policy Makers: Evidence from a Randomized Policy Experiment in India, by Raghabendra Chattopadhyay and Esther Duflo (2004a), Econometrica 72(5),

6 Controversia de las reservas Por qué las reservas se consideran deseables en este contexto? Por qué algunas personas dudan que las reservas pueden ser efectivas? 6

7 Esquema I. Ejemplo: Puestos reservados para mujeres II. Resultados posibles III. Hipótesis claves y cadena de causalidad IV. Recolección, administración y entrada de datos 7

8 Efectos posibles Comencemos con la elaboración de una lista de todos los aspectos que pueden ser afectados por la reserva de puestos para mujeres. 8

9 La pregunta sobre una evaluación Supongamos que no existe una restricción presupuestaria: Se debiese contratar un equipo de investigadores grande, recopilar datos en todos los indicadores en comunidades con y sin reservas, y ver lo que sucede? Ventajas: Desventajas: 9

10 Interpretando resultados múltiples Suponga que recolecta datos sobre 20 servicios públicos diferentes Encuentra que para el caso de pozos de agua, la inversión pública es significativamente más alta en Panchayats que reservan puestos para mujeres. Encuentra que para la irrigación, la inversión pública es significativamente más alta en Panchayats que no tienen puestos reservados. Encuentra que para 18 servicios, los resultados son bastante similares, y no significativamente distintos en ambos Panchayats. Qué puede concluir? 10

11 Interpretando resultados múltiples Suponga que recoge datos sobre 20 servicios públicos diferentes Encuentra que para el caso de pozos de agua, la inversión pública es significativamente más alta en Panchayats que reservan puestos para mujeres. Encuentra que para la irrigación, la inversión pública es significativamente más alta en Panchayats que no tienen puestos reservados. Encuentra que para 18 servicios, los resultados son bastante similares y no significativamente distintos en ambos Panchayats. Qué puede concluir? Las hipótesis a evaluar deben estar definidas ANTES de que comience el experimento, sino no tenemos forma de evaluar su validez. 11

12 Esquema I. Ejemplo: Puestos reservados para mujeres II. Resultados posibles III. Hipótesis claves y cadena de causalidad IV. Recolección, administración y entrada de datos 12

13 Definiendo las Hipótesis Cuáles son algunos ejemplos de hipótesis que podemos testear? Qué variables, o combinación de variables, utilizaría para testear estas hipótesis? 13

14 Cadena de causalidad Responda no sólo cuan efectivo, sino también por qué? Busca establecer el vínculo Intervención variables intermedias resultado final Cuáles son las variables intermedias mediante las cuales la intervención afecta el resultado final? Cómo son afectados? La definición y medición de las variables intermedias enriquece nuestra comprensión del programa, y fortalece nuestras conclusiones, haciendo más fácil el obtener conclusiones generales 14

15 Modelando los efectos de las reservas Cuáles es las posible cadena de resultados en el caso de las reservas? Cuáles son los pasos críticos para obtener los resultados finales? Qué variables debemos obtener en cada paso del camino para discriminar entre los distintos modelos? 15

16 Posible Modelo Reservas Democracia Imperfecta Un poco de democracia Preferencias de Pradhan son relevantes Más mujeres Pradhans Mujeres empoderadas Mujeres tienen preferencias distintas Bienes públicos reflejan las preferencias de las mujeres Servicios Públicos diferentes Resultados en salud, educación distintos? 16

17 Esquema I. Ejemplo: Puestos reservados para mujeres II. Resultados posibles III. Hipótesis claves y cadena de causalidad IV. Recolección, administración y entrada de datos 17

18 Preparación para recopilar datos Qué variables se necesitan para testear todo el modelo? Qué herramientas permiten recopilar los datos en cada etapa? Cuál es la mejor herramienta? Cuál es la herramienta más económica? 18

19 Restricciones presupuestarias La recopilación de datos es costosa, por lo que tendremos que tomar algunas decisiones. Si tuviésemos que escoger una variable de la tabla para poder determinar si las mujeres causaron o no una diferencia en los servicios públicos, cuál sería? Ha calculado el presupuesto mínimo necesario para detectar el impacto de pozos de agua a nivel de aldea. Qué más podemos descubrir con las mismas actividades y sin gastar dinero adicional? Hasta qué punto podemos poblar el diagrama? 19

20 Restricciones presupuestarias Con un presupuesto más grande, Qué más podríamos hacer? Es aconsejable recopilar los datos en distintas etapas? Qué etapas recomendaría? 20

21 El objetivo y las cadenas en sus propuestas Cuál es la hipótesis clave de la propuesta? Cuál es la variable clave de interés? Cuáles son los resultados intermedios sobre los que plantea recopilar datos? 21

22 Recopilación de datos y gestión La calidad de los datos es central a una evaluación de impacto: con datos pobres o malos, TODOS los esfuerzos previos están perdidos. Principios para datos de calidad: El cuestionario debe pasar por una prueba piloto para asegurar que las preguntas sean comprendidas Formato de entrada de datos debe ser claro, y no debe dejar margen para la interpretación: ej. tener código para No se, patrones de pase a la pregunta..x. Es esencial la capacitación sobre estos procedimientos El supervisor debe hacer un control semanal de todos los formatos, y el administrador de la investigación debe hacer una re-verificación aleatoria. Debe re-hacer la encuesta a una muestra de los hogares. COMPRUEBE que se produzcan los resultados correctos. 22

23 Recopilación de datos y gestión Otras consideraciones: Su organización genera muchos datos: utilícelos! Debe tener cuidado de que se recojan los mismos datos en el grupo tratamiento y control. Ejemplo: Proyecto de Camara Seva Mandir NFE. Las cámaras generan datos de buena calidad. Pero, necesitamos los mismos datos sobre el grupo control. Atrición, sesga los resultados y es difícil corregirla ex-post. Por lo tanto, utilice procedimientos para contenerla. Tenga un registro de atrición en la medida que progrese la encuesta. 23

24 Entrada de Datos Invierta en una buena base de datos (puede ser programada por una empresa de software) Debe guiar la entrada de datos (ej. saltarse secciones cuando así lo requiera, etc.) y contener formas de chequear los errores comunes o lógicos. Inserte una muestra de datos para comprobar que no existen errores lógicos en la base de datos. Haga doble entrada de todos los datos: conciliar con las copias impresas para detectar errores. Vuelva a introducir algunos datos por tercera vez (supervisor) con el objetivo de alcanzar una tasa de error menor al 0.5% Luego de la re-entrada, se realiza una limpieza de datos: comprobar que todos los datos sean sensibles (que no hayan niños de 120 años en un colegio, que las personas no tengan -5 gallinas, etc..) 24