Efecto del programa batuta en el nivel de logro educativo: Pruebas SABER 11 de lenguaje y matemática

Transcripción

1 Efecto del programa batuta en el nivel de logro educativo: Pruebas SABER 11 de lenguaje y matemática Economista Juan Felipe Jaramillo Salazar Noviembre de

2 CONTENIDO Qué buscábamos? Objetivo del estudio Cómo lo hicimos? Metodología Cuáles fueron los resultados Resultados Cuál es el efecto en las comunas? Resultados 2

3 Objetivo del estudio Determinar si el Programa Batuta tiene efectos sobre el nivel de logro alcanzado por el estudiante que presenta las pruebas SABER 11 3

4 Proceso Metodológico Base de datos SABER 11 con identificador de individuos Base de datos de Batuta con población que probablemente presentó la prueba SABER 11 Cruce de las bases de datos Análisis Estadístico Metodología econométrica: propensity score matching 4

5 Cruce de base de datos Del cruce de base de datos se encontraron 206 individuos plenamente identificados en la base de datos de Batuta y del ICFES. 168 de Batuta Central 38 de Batuta Comunas La base de datos de alumnos que presentaron el ICFES y no pertenecen al programa fueron individuos 5

6 Análisis Estadístico Medias de Puntaje Puntaje Mayores valores en la población perteneciente al programa 0 No Tratado Tratado mean of tema_lenguaje mean of tema_ciencias_sociales Fuente: Jaramillo (2013) mean of tema_matematica mean of tema_fisica

7 Análisis Estadístico Si bien observamos una diferencia entre las dos distribuciones, podríamos afirmar que es una diferencia significativa desde la perspectiva estadística?

8 Análisis Estadístico Pero, realmente estoy comparando individuos similares. Estoy equiparando peras con manzanas?

9 Hipótesis de evaluación La hipótesis, dada la evidencia internacional, es que los estudiantes involucrados en programas artísticos, logran un mayor éxito académico y menores niveles de deserción; Los estudiantes pertenecientes a niveles socioeconómicos bajos tienden a mantener y, además, a cerrar la brecha que había en los puntajes entre los niveles socioeconómicos altos y los bajos ante la participación de los estudiantes en programas de formación artística (especialmente música y teatro).

10 Metodología Econométrica Fuente: Barrera (2013)

11 Metodología Econométrica El método representa un cambio con las anteriores metodologías aplicadas en las evaluaciones previas. CRECE 2008: Modelo de Diferencias (beneficiarios control) Evaluación Intermedia Comuna 2 SEI -Economía Urbana Evaluación Pre-Orquesta Batuta. Modelo de diferencias (4 y 5 nivel frente a primer nivel). Se priorizó en las investigaciones anteriores el hecho que el individuo quisiera participar en el programa. 11

12 Metodología Econométrica Propensity Score Matching: Método usado cuando los datos no provienen de una asignación aleatoria al programa. En nuestro caso solo tenemos información de los individuos cuando presentaron las pruebas. Intuitivamente, el método de emparejamiento permite encontrar para cada individuo en el programa (tratado), otro idéntico, excepto por la participación en el programa (control). 12

13 Metodología Econométrica Las variables utilizadas para realizar el emparejamiento fueron: Género del alumno Alumno Zona de residencia del alumno Educación del padre Educación de la madre Características del Hogar (Background Ocupación del padre familiar) Número de personas dependientes en el hogar Índice de Nivel Socioeconómico de la Institución Carácter de la Institución (Oficial No Oficial) Jornada en la que estudia Características de la Institución

14 Impacto en el nivel de logro en Lenguaje Impacto estimado del programa batuta en el nivel de logro en lenguaje Método de Emparejamiento Soporte Común Minimo- Máximo (preestablecido) Error Diferencia t-stat Diferencia Estándar Error Estándar t-stat Vecinos más cercanos Distancia Máxima Kernel Local Lineal* Nota: * el estadistico corresponde a valores z. El n utilizado fue de 206 El recorte es del 20%, corresponde a rangos de la probabilidad de participación que tienen la más baja densidad en la probabilidad de participación Recorte (trimming) Entre 1.8 y 3.8 puntos de más obtiene el estudiante en lenguaje

15 Impacto en el nivel de logro Matemática Impacto estimado del programa batuta en el nivel de logro en matemática Método de Emparejamien to Soporte Común Minimo- Máximo (preestablecido) Error Diferencia t-stat Diferencia Estándar Error Estándar t-stat Vecinos más cercanos Distancia Máxima Kernel Local Lineal* Nota: * el estadistico corresponde a valores z El recorte es del 20%, corresponde a rangos de la probabilidad de participación que tienen la más baja densidad en la probabilidad de participación Recorte (trimming) Más de 5 puntos obtiene el estudiante de Batuta en matemática

16 DIFERENCIAS ENTRE LOS ESTUDIANTES QUE PRESENTAN EL ICFES DE BATUTA CENTRAL Y BATUTA COMUNAS 16

17 Es el rendimiento de los estudiantes de Batuta Central diferente a los estudiantes de Batuta Comunas? A la fecha de elaboración del informe, los alumnos que se lograron identificar de la base batuta en la información del ICFES fueron 206. De estos, solo 38 alumnos pertenecen a los programas de Batuta en las comunas (San José y La Fuente) y 168 de Batuta Central Utilizando la metodología del Propensity Score Matching se busca determinar que tan diferentes es el rendimiento en las áreas de lenguaje y matemática entre los alumnos de las Comunas y los de Batuta Central.

18 Los impactos encontrados no son significativos bajo ningún algoritmo de emparejamiento Diferencia estimada entre alumnos batuta central y comunas en el nivel de logro en lenguaje Método de Emparejamiento Soporte Común Minimo- Máximo (preestablecido) Error Diferencia t-stat Diferencia Estándar Error Estándar t-stat Vecinos más cercanos Distancia Máxima Kernel Local Lineal* Nota: * el estadistico corresponde a valores z. El n utilizado fue de 206 El recorte es del 20%, corresponde a rangos de la probabilidad de participación que tienen la más baja de nsidad e n la probabilidad de participación Recorte (trimming)

19 Los impactos encontrados no son significativos bajo ningún algoritmo de emparejamiento Diferencia estimada entre alumnos batuta central y comunas en el nivel de logro en matemática Método de Emparejamien to Soporte Común Minimo- Máximo (preestablecido) Error Diferencia t-stat Diferencia Estándar Error Estándar t-stat Vecinos más cercanos Distancia Máxima Kernel Local Lineal* Nota: * el estadistico corresponde a valores z El recorte es del 20%, corresponde a rangos de la probabilidad de participación que tienen la más baja densidad en la probabilidad de participación Recorte (trimming)

20 A manera de conclusión Los resultados de la modelación evidencian como bajo la muestra utilizada los estudiantes que presentaron el ICFES y pertenecen al programa Batuta registran mejores resultados que los que no pertenecen al programa en las áreas de lenguaje y matemática. La comparación entre estudiantes de Batuta Central y Batuta Comunas no presenta resultados estadísticamente significativos, razón por la que no se podría hablar que alguno de los grupos presenta mejores resultados. La modelación econométrica permite afirmar que los alumnos de batuta presentan mejores niveles de logro en las pruebas SABER 11 frente a estudiantes de similares características.

21 A manera de conclusión Si bien se espera que con la información solicitada al ICFES para la entrega del identificador 2012 y la entrega de información por parte de Batuta de los estudiantes de las comunas, el ejercicio arroje resultados más robustos (desde el punto de vista estadístico). Dadas las diferencias obtenidas bajo la metodología utilizada es poco probable un cambio en los resultados. Vale la pena recordar lo expresado por Reynoso (2009): Los ejecutantes unen coordinación, motricidad, audición, propio percepción, cognición, emoción todo en una sola acción. El cerebro realiza múltiples acciones de manera integrada, forzando a utilizar ambos hemisferios y a activar zonas corpóreas y cerebrales que, en el estudio teórico no se requieren

22 A manera de conclusión El lenguaje musical se codifica y decodifica en el córtex prefrontal, misma zona donde se codifican y decodifican las emociones (Levitin 2007). Este tipo de activación cerebral raramente se logrará con el estudio teórico. La integralidad que logra el desarrollo musical en el cerebro parece tener efectos en el nivel de logro de pruebas estandarizadas como las SABER 11, los resultados una vez se controlan algunas características individuales, del hogar e institucionales son contundentes. El alumno de Batuta tiene mejor rendimiento frente a otro individuo de características similares.

23 A manera de conclusión El premio nobel de Economía James Heckman ha demostrado como las habilidades blandas soft skills predicen el éxito individual a lo largo de la vida. Acaso hemos encontrado un mecanismo para reducir la desigualdad y brechas en rendimiento escolar..?