Caso de Estudio: Chile

Transcripción

1 TALLER DE EVALUACIÓN DE IMPACTO Caso de Estudio: Chile El uso de mensajes de texto (SMS) para mejorar resultados educativos Andrés Ham Universidad de Illinois Urbana-Champaign 5 de Abril de 2017 Guatemala

2 Referencia Reducing parent-school information gaps and improving education outcomes: Evidence from high frequency text messaging in Chile Samuel Berlinski, Matías Busso, Taryn Dinkelman y Claudia Martínez 2016 Disponible en inglés: Parent-School-information-gap_BBDM-Dec2016.pdf

3 El Objetivo Estimar el efecto causal (Impacto) del programa (P) sobre un resultado (Y). Impacto = Y T - Y C P = Programa o Tratamiento Y = Indicador, Medida del Éxito Y T = Resultado con el programa (tratamiento) Y C = Resultado sin el programa (control)

4 Pregunta de Investigación Cuál es el Impacto de. mejorar la comunicación entre padres de familia y escuelas mediante mensajes de texto (SMS) (P) en tasas de deserción escolar? (Y)

5 Deserción escolar en Chile share of students not enrolled in grade level Fuente: Berlinski et al. (2016)

6 Qué factores llevan a la deserción escolar? Hay muchas causas que llevan a la deserción. Esta evaluación se preocupa por dos factores: Notas Asistencia escolar Repitencia Esta decisión responde a los requerimientos para pasar de un grado al siguiente en Chile, pero se puede adaptar al caso de Guatemala.

7 Los padres están mal informados! parent report of student grade at baseline school report of student grade at baseline Total sample of 827 parents at baseline. 45 degree line shown. Fuente: Berlinski et al. (2016)

8 Los padres están mal informados! En promedio, los padres piensan que sus hijos les va mejor en la escuela. El programa intenta mejorar la informacion que tienen los padres sobre asistencia y notas a través de mensajes de texto (SMS), para ver si este conocimiento ayuda a reducir la tasa de deserción escolar en Chile.

9 Diseño de la evaluación: Paso 1 El equipo decidió hacer la evaluación en 2 de los municipios más pobres de Chile. 8 escuelas aceptaron participar en el programa. Consideran a los alumnos entre cuarto y octavo grado como los más vulnerables, por lo que se restringen a esos cursos.

10 Diseño de la evaluación: Paso 2 Se le ofreció a todos los padres con hijos en grados 4-8 la posibilidad de recibir SMS todas las semanas. La información comprende: Asistencia escolar durante la semana Promedio en matemáticas y el promedio del resto de los alumnos Comportamiento: positivo, negativo y neutral.

11 Diseño de la evaluación: Paso 3 De 2,720 padres, 1,447 decidieron recibir SMS (Tasa de aceptación del 53%) Los registros del colegio indican que Natalia asistió 5 de 5 días de clase esta semana. Además fue enviada 0 veces al inspectorial. Papás al Día Según los registros del colegio, Andrés obtuvo 60% en su última prueba de matemáticas. El promedio del curso fue 80%. Papás al Día

12 Diseño de la evaluación: Paso 4 Para asegurar tener alumnos de cada colegio y grado, estratificaron la aleatorización por estas dos dimensiones (garantiza representativdad). Eligieron alumnos al azar para recibir SMS: 710 alumnos tratados 737 alumnos comparación

13 El diseño genera buenos clones Variable Probabilidad tratamiento=control Comparables? Género Edad Nota promedio Tasa de asistencia escolar Aprobó el año escolar Padres completaron estudios secundarios 0.681

14 El programa funciona! Nota promedio Matemática Comparación SMS Fuente: Berlinski et al. (2016)

15 El programa funciona! Arpueba matemática Comparación SMS Fuente: Berlinski et al. (2016)

16 El programa funciona! Asiste >85% del año Comparación SMS Fuente: Berlinski et al. (2016)

17 El programa funciona! Aprueba el año escolar Comparación SMS

18 Papás al Día de principio a fin 1. Escoger la población objetivo 2. Definir el programa (SMS) 3. Ofrecer el programa a una muestra 4. Aleatorizar quien recibe los SMS 5. Revisar que los grupos son comparables en promedio (es un buen contrafactual?) 6. Evaluar el programa

19 Gracias!