La enseñanza de habilidades socioemocionales en las escuelas latinoamericanas. El rol de los docentes no tradicionales.

Transcripción

1 1 Nº 14 - enero de 2012 Mariana Alfonso Marina Bassi Christian Borja APORTE La enseñanza de habilidades socioemocionales en las escuelas latinoamericanas. El rol de los docentes no tradicionales. qué manera las escuelas pueden promover habilidades socioemocionales Resumen: De relevantes? El BID, con el apoyo de distinguidas instituciones académicas locales, se asoció con Enseña Chile, organización que recluta a jóvenes profesionales sobresalientes y altamente motivados para que enseñen en escuelas vulnerables, con el objetivo de contestar esta y otras preguntas. Esta nota presenta resultados que sugieren la existencia de una asociación positiva entre los profesionales de Enseña Chile y las habilidades socioemocionales, y que los docentes ECh transmitirían actitudes positivas a sus estudiantes. Las habilidades socioemocionales de docentes y estudiantes Las competencias que la sociedad y el mercado laboral exigen a los jóvenes son cada vez más complejas. La evidencia sugiere que para poder poder acceder a una buena trayectoria profesional y lograr otros resultados socioeconómicos importantes en la vida, es necesario contar tanto con habilidades cognitivas duras como con una serie de habilidades socioemocionales "blandas" (Heckman, Stixrud y Urzúa, 2006; Urzúa, 2008). En este contexto, es crucial identificar programas educativos y experiencias que tengan un efecto perceptible no sólo en términos de habilidades cognitivas, sino también de habilidades socioemocionales, para lograr así un mejor diseño de reformas y políticas educativas. Claramente, los docentes juegan un papel importante en la enseñanza de estas habilidades socioemocionales. Estudios han señalado que un buen docente puede promover la relación entre el rendimiento académico de los estudiantes y sus habilidades socioemocionales (Bandura 1977; Rosenberg, 1965). Enseña Chile: Iniciativa para atraer a la docencia a graduados universitarios sobresalientes Enseña Chile (ECh) es la primera adaptación del modelo Teach for America en América Latina, el cual busca atraer capital humano de la más alta calidad a las escuelas urbanas y rurales más vulnerables de Chile. ECh sigue un proceso de selección riguroso que permite identificar graduados universitarios dotados de competencias que les permitan convertirse no solo Copyright IDB 2012 Banco Interamericano de Desarrollo 1300 New York Avenue, N.W. Washington, DC USA La información y las opiniones que se presentan en estas publicaciones son exclusivamente de los autores y no expresan ni implican el aval del Banco Interamericano de Desarrollo, de su Directorio Ejecutivo ni de los países que representan. Este documento puede reproducirse libremente.

2 en muy buenos docentes, sino también en líderes y emprendedores sociales. La hipótesis consiste en que cuando un docente posee estas competencias, es posible mejorar las habilidades socioemocionales de los estudiantes. Hasta ahora ninguna de las evaluaciones de impacto del programa Teach for America ha analizado el efecto que este programa tiene en las habilidades socioemocionales. Para evaluar por primera vez esta y otras hipótesis, el Banco Interamericano de Desarrollo se alió con Enseña Chile (ECh), el Centro de Políticas Públicas (PP-UC) de la Pontificia Universidad Católica de Chile, el Centro de Medición de la misma universidad (MIDE- UC) y Grupo Educativo para llevar a cabo una evaluación de Enseña Chile. Esta evaluación comprendió la aplicación de una serie de pruebas y cuestionarios con el fin de medir los cambios en los resultados de aprendizaje en lenguaje y matemáticas, en las habilidades socioemocionales e intelectuales, y recabar información sobre el contexto socioeconómico de alumnos y docentes. Los datos para los grupos de tratamiento y de comparación fueron recolectados en dos ocasiones durante el año académico : la línea de base se realizó en mayo y el seguimiento en noviembre. El total de la muestra (tanto los participantes de ECh como los del grupo de comparación) se compone de alumnos de primer año de escuela secundaria, 117 docentes y 57 escuelas. Medición de las habilidades socioemocionales Se midieron dos tipos de habilidades socioemocionales en los estudiantes: la autoestima y las habilidades sociales. Ambos instrumentos son de auto-aplicación y han sido diseñados por MIDE- UC. El instrumento diseñado para medir la autoestima se basa en el método de escalas de Rosenberg, utilizado con mucha frecuencia en la literatura, y contiene dos marcos de afirmación diferentes: afirmaciones positivas y negativas. El instrumento específico utilizado consta de diez ítems con el objetivo de medir la autoestima como un constructo general y unidimensional. Además, este instrumento tiene la ventaja de incluir tanto marcos positivos como negativos para minimizar el sesgo de respuesta. En particular, "las afirmaciones negativas actúan como barreras cognitivas que ameritan que el encuestado se involucre en un procesamiento cognitivo más controlado y no automático" (Chen, Redina-Gobidoff y Dedrick, 2010). Esto significa que estos módulos tenderán a aminorar cualquier percepción sesgada y, por el contrario, revelarán la verdadera percepción de los estudiantes con respecto a su autoestima. El instrumento para medir las habilidades sociales consta de 20 ítems que se dividen en tres categorías principales: relaciones personales y participación con pares, resolución de conflictos, y aspectos relativos a la comunicación asertiva. Un ejemplo de afirmación de este instrumento sería puedo expresar mis diferencias con otras personas sin ofenderlas. Los docentes ECh mejoran las habilidades socioemocionales Los datos de la línea de base indican que los estudiantes que tienen un docente ECh (grupo de tratamiento ) y aquellos con un docente tradicional (grupo de comparación ) registraron los mismos niveles de autoestima y habilidades sociales. Sin embargo, en el seguimiento, se evidenció que los alumnos beneficiarios del programa ECh presentaron puntajes mayores y estadísticamente significativos en las dos pruebas de habilidades socioemocionales (autoestima y habilidades sociales), en relación a los alumnos del grupo de comparación. La diferencia entre los alumnos de ECh y el grupo de comparación en la medida de autoestima es de 2,8 puntos (o 78% de una desviación estándar de la línea de base) y de 3,1 puntos en la medida para habilidades sociales (40% de la desviación estándar de la línea de base), lo que constituye una magnitud importante si se tiene en cuenta el corto período transcurrido entre las mediciones de la línea de base y el seguimiento. Investigaciones futuras deberían confirmar causalidad de manera estricta y la magnitud de los efectos. No obstante, estos resultados entregan evidencia importante en relación a los primeros años del programa. 1 Para generar una muestra de comparación, utilizamos el método de emparejamiento (también conocido como propensity score matching o PSM por sus siglas en inglés). El PSM empareja en sus características observables a los estudiantes que participaron en el programa con aquellos que no. El puntaje de propensión se calcula usando un modelo Probit donde la variable dependiente es una variable dicotómica que indica si el alumno participó en el programa o no. Después de calcular el modelo de probabilidad a nivel alumno, se establece la probabilidad de que cada alumno participe en el programa ECh, seleccionando a alumnos de comparación según la técnica del vecino más cercano. 2

3 Indagando acerca de los mecanismos detrás del efecto de ECh sobre las habilidades socioemocionales Los resultados presentados hasta ahora no indican cuáles son las áreas específicas que impulsan el efecto general. De este modo, calculamos el efecto de ECh sobre las afirmaciones positivas y negativas de manera separada, y sobre la distribución de las habilidades sociales 2. Los resultados indican que los alumnos que tuvieron docentes del programa ECh presentan mejoras significativamente mayores en sus propias percepciones positivas que los alumnos que tuvieron docentes tradicionales, mientras que las diferencias entre los alumnos beneficiados por ECh y los del grupo de comparación en el caso de las afirmaciones negativas son cercanas a cero e insignificantes en términos estadísticos. La existencia de una correlación positiva entre el programa ECh y un aumento en el número de respuestas afirmativas indica que los docentes del programa ECh parecen modificar la autoestima a lo largo del tiempo transmitiendo principalmente conductas positivas. Estos resultados coinciden con los objetivos del programa de reclutar docentes que incentiven la autoconfianza (en lugar de la desvalorización personal) en sus alumnos. Los docentes del programa ECh también parecen producir efectos importantes en las habilidades sociales de sus alumnos en comparación con los docentes tradicionales. En un año académico, los alumnos con los niveles más bajos en la distribución de habilidades sociales y que tienen un docente del programa ECh presentan un aumento de un tercio de la desviación estándar en comparación a los alumnos con docentes tradicionales, incluso después de controlar por diferencias en resultados de aprendizaje en las asignaturas de matemáticas y lenguaje entre la línea de base y el seguimiento. Comentarios finales y perspectivas Las habilidades socioemocionales están demostrando ser tan importantes como las habilidades cognitivas para lograr resultados positivos en el mercado laboral y la sociedad en general. Figura 1: El efecto de un docente ECh en las habilidades socioemocionales de los alumnos. Fuente: Calculos propios con base en las bases de datos 2010 de Ensena Chile. Notas: ***indica significancia estadistica a un 1%. 2 Estos cálculos aparecen en la Figura 2. Las barras muestran la diferencia entre los alumnos del programa ECh y los que no son alumnos del programa ECh en lo que se refiere al cambio en los niveles de habilidades medidas después de un año escolar. En la parte izquierda de la figura 2, se presentan los cálculos de los cuatro modelos usados para calcular la correlación entre un docente del programa ECh y las diferentes subpruebas de autoestima, mientras en el lado derecho se muestran los coeficientes de regresiones por cuantiles en la que se parte la distribución de las puntuaciones de las habilidades sociales en tamaños iguales. 3

4 De este modo, se tiene por delante el desafío de buscar intervenciones exitosas que puedan fomentar en forma eficaz aquellas habilidades blandas que sean pertinentes (además de las habilidades cognitivas). Figura 2: Docentes del programa ECh y la autoestima y las habilidades sociales de los alumnos Fuente: Cálculos propios con base en las bases de datos 2010 de Enseña Chile.Notas: * significativo al 10 %; ** significativo al 5 %; *** significativo al 1 %. Los coeficientes de habilidades sociales se calculan mediante regresiones por cuantiles con errores estándares simulados (también conocidos como bootstrapped standard errors). Asimismo, donde dice con control por diferencias en pruebas cognitivas quiere decir que los resultados en las pruebas de lenguaje y matemáticas se incluyeron como variables de control. Mediante instrumentos innovadores para medir las habilidades socioemocionales de los alumnos, el BID y sus socios buscaron realizar una contribución por medio de la recopilación de este tipo de información del programa Enseña Chile en el año La mayor parte de las conductas y las características prevalentes en los docentes de ECh apuntan a que los niños adquieran y desarrollen las habilidades socioemocionales a una edad crucial. Sin embargo, el método utilizado por el programa ECh de incorporar docentes motivados con atributos de liderazgo debe continuar siendo evaluado a una escala mayor. Los resultados presentados en este documento constituyen un primer paso importante para sugerir y destacar ámbitos relevantes para futura investigaciones. Referencias Bandura, A. (1977). Social Learning Theory. Englewood Cliffs, NJ: Prentice Hall. Carneiro, P. and Heckman, J. (2003). Human Capital Policy. IZA Discussion Papers 821, Institute for the Study of Labor. Chen, Y., Rendina-Gobioff, G. and Dedrick, R. (2010). Factorial Invariance of a Chinese Self- Esteem Scale for Third and Sixth Grade Students: Evaluating Method Effects Associated with Positively and Negatively Worded Items. The International Journal of Educational and Psychological Assessment, 6(1), Heckman, J., Stixrud, J. and Urzua, S. (2006). The Effects of Cognitive and Noncognitive Abilities on Labor Market Outcomes and Social Behavior. Journal of Labor Economics, 24(3), Rosenberg, M. (1965). Society and the Adolescent Self-Image. Princeton, NJ: Princeton University Press. Acerca de los autores Mariana Alfonso y Marina Bassi son especialistas en la División de Educación del Banco Interamericano de Desarrollo (BID). Christian Borja es consultor para la División de Educación del BID. 4

5 1 Nº 15 - enero de 2012 Mariana Alfonso Marina Bassi Christian Borja APORTE Pueden docentes no tradicionales mejorar resultados de aprendizaje en lenguaje y matemáticas? presenta una de las brechas de aprendizaje más amplias entre estudiantes de Resumen: Chile altos y bajos ingresos. Enseña Chile, la primera adaptación en América Latina del exitoso modelo Teach for America, tiene por objeto eliminar la desigualdad educativa al reclutar a jóvenes profesionales sobresalientes para que enseñen por dos años en escuelas vulnerables. Enseña Chile se asoció con el BID (con el apoyo de instituciones académicas de renombre en el ámbito local) para diseñar e implementar un estudio que encontró que el programa estaría asociado a una mejora en los resultados de aprendizaje en lenguaje y matemáticas. Estos resultados son prometedores para la formulación de políticas destinadas a reducir las brechas educativas en América Latina. Resultados de aprendizaje sumamente desiguales Chile presenta una de las brechas más amplias en materia de logros de aprendizajes entre los alumnos de altos y bajos ingresos. Chile se encuentra entre los países evaluados en PISA (Programme for International Student Assessment) con la mayor variación entre escuelas respecto del rendimiento estudiantil, y la mayor parte de dicha variación se explica por el entorno socioeconómico de los estudiantes (PISA, 2010). El mismo resultado se produjo TIMSS (Trends in International Mathematics and Science Study) del año 2003, cuando Chile obtuvo una de las mayores diferencias en resultados de aprendizajes entre estudiantes de hogares de mayores recursos y hogares de escasos recursos socioeconómicos. Estos resultados son indicio de un sistema educativo muy segregado. Enseña Chile pretende reducir desigualdades educativas al reclutar a graduados universitarios destacados para enseñar en escuelas vulnerables Enseña Chile (ECh), el primer programa en América Latina basado en el modelo de Teach for America, tiene el objetivo de construir un movimiento para eliminar la desigualdad educacional atrayendo a los líderes futuros más prometedores del país a esta iniciativa (Recart, Copyright IDB 2012 Banco Interamericano de Desarrollo 1300 New York Avenue, N.W. Washington, DC USA La información y las opiniones que se presentan en estas publicaciones son exclusivamente de los autores y no expresan ni implican el aval del Banco Interamericano de Desarrollo, de su Directorio Ejecutivo ni de los países que representan. Este documento puede reproducirse libremente.

6 2009). Para lograr esta meta, el programa ECh busca atraer capital humano de la más alta calidad para asignarlo durante dos años en las escuelas urbanas y rurales más vulnerables de Chile. ECh sigue un proceso de selección riguroso que permite identificar a los egresados universitarios con competencias para convertirse no solo en buenos docentes sino que también en líderes y emprendedores sociales. La hipótesis detrás de este programa consiste en que cuando se ubica a profesionales altamente motivados y con capacidad de liderazgo en las aulas y se les ofrece capacitación intensiva y apoyo continuo, sus alumnos se involucran y motivan más y además mejoran sus resultados de aprendizaje. En 2010, en su segundo año de operaciones, el programa ECh asignó 62 docentes a 37 escuelas de primaria y secundaria que atienden a un alto porcentaje de alumnos provenientes de hogares con necesidades básicas insatisfechas. Diseño de evaluación de Enseña Chile (ECh) La evaluación de ECh involucró la aplicación de una batería de pruebas y cuestionarios (a alumnos, docentes y padres), con el fin de medir cambios en los resultados de aprendizaje en lenguaje y matemáticas, en las habilidades socioemocionales e intelectuales, y recolectar datos sobre el contexto socioeconómico de alumnos y docentes. En 2010, el Banco Interamericano de Desarrollo en conjunto con sus socios de Enseña Chile, del Centro de Políticas Públicas (PP-UC) de la Pontificia Universidad Católica de Chile, del Centro de Medición (MIDE-UC) de la misma universidad y de Grupo Educativo, decidieron mejorar el diseño de la evaluación del programa ECh al enfocarse únicamente en el primer año del nivel secundario (en Chile, enseñanza media) para el cual se disponía de la totalidad de las pruebas. 1 Adicionalmente, en la ronda de evaluación de 2010 se aumentó considerablemente el tamaño del grupo de comparación. Otra mejora consistió en que el grupo de comparación al nivel de la escuela fue elegido aleatoriamente. Estas mejoras resultaron en una muestra total (tanto de participantes del programa ECh y del grupo de comparación) de alumnos en primer año de educación secundaria, 117 docentes y 57 escuelas. Sin embargo, la asignación de los docentes ECh a las escuelas y a las aulas al interior de las escuelas no se realizó de forma aleatoria. En consecuencia, para generar una muestra de comparación, este análisis se basa en el método de propensity score matching (PSM), también conocido como método de emparejamiento. En particular, el PSM empareja a partir de sus características observables (tales como el contexto socioeconómico, y las características del hogar y de la escuela) a alumnos que participaron en el programa con aquellos que no participaron. 2 Medición de resultados de aprendizaje en matemáticas y lenguaje Con el objetivo de medir los logros de aprendizaje se aplicaron las Pruebas SEPA (Sistema de Evaluación de Progreso del Aprendizaje), que corresponden a pruebas estandarizadas que permite el cómputo de valor agregado. La prueba de lenguaje mide el aprendizaje en las áreas de lectura, comprensión de texto, y comunicación. La prueba de matemáticas incluye ítems de evaluación para las áreas de números y operaciones, álgebra, y geometría. En la línea base, tanto las pruebas de lenguaje como de matemáticas miden el conocimiento que los alumnos debieran haber adquirido al terminar el octavo grado. En el seguimiento, las pruebas miden el conocimiento que los alumnos debieran haber adquirido durante el primer año de educación secundaria. Los puntajes en la línea base tanto para alumnos beneficiados por el programa ECh como para alumnos del grupo de comparación son inferiores a la media nacional, lo que indica que el programa ECh está dirigido a escuelas de bajo desempeño. 1 La información se recogió en dos ocasiones durante el año académico; la línea de base fue levantada en mayo de 2010 y la medición de seguimiento en noviembre del mismo año. 2 El puntaje de propensión se calcula usando un modelo Probit donde la variable dependiente es una variable dicotómica que indica si el alumno participó en el programa o no. Después de calcular el modelo de probabilidad a nivel alumno, se establece la probabilidad de que cada alumno participe en el programa ECh, seleccionando a alumnos de comparación según la técnica del vecino más cercano. 2

7 Docentes de Enseña Chile están asociados con mayores aprendizajes en lenguaje y matemáticas Ser docente ECh está significativamente relacionado con mayores puntajes en las pruebas de lenguaje y matemáticas. Usando diferentes modelos para controlar por características observables y por deserción muestral, se encuentra que los alumnos de docentes ECh, obtuvieron durante un año lectivo 6,2 puntos más en lenguaje y 3,1 puntos más en matemáticas en relación a los alumnos del grupo de comparación. Se trata de efectos de tamaño considerable, que representan 3/4 y 1/3 de una desviación estándar respectivamente. 3 Los alumnos que poseen un docente ECh obtienen puntajes significativamente más altos en las tres subsecciones de la prueba de lenguaje (lectura, comprensión y comunicación) que los alumnos que poseen docentes tradicionales. La sección de lectura de la prueba suma 1/4 de desviación estándar, la sección de comprensión suma alrededor de 1/3 de desviación estándar y la sección de comunicación suma otro 1/5 de desviación estándar; lo cual se traduce en un impacto global de 3/4 de desviación estándar como se informó anteriormente. En el caso de matemáticas, los resultados sugieren que existe una relación positiva entre tener docentes ECh y el mejoramiento del aprendizaje de los alumnos en la sección de números y operaciones, aunque los alumnos obtienen puntajes similares en álgebra y en geometría que aquellos con docentes tradicionales. La sección de números y operaciones de la prueba aporta 1/4 de una desviación estándar, la sección de álgebra suma solo 1/13 de desviación estándar, mientras que la sección de geometría suma un 1/11 de desviación estándar. Estos resultados sugieren que los docentes del programa ECh no son más efectivos que los docentes tradicionales en la enseñanza de álgebra y de geometría, las cuales podrían requerir de conocimientos disciplinares altamente especializados para ser enseñadas de manera eficaz. Las habilidades pedagógicas de los docentes y su experiencia pueden desempeñar roles diferentes dependiendo de la materia que enseñan. En promedio, los alumnos que reciben clases de docentes del programa ECh obtienen 6,2 puntos más en lenguaje en comparación a los alumnos 3 En lenguaje, el puntaje en la línea de base fue de 175,6 puntos y la desviación estándar fue de 8,81; mientras que en matemáticas el puntaje en la línea de base fue de 174,3 puntos y la desviación estándar fue de 8,56. 3

8 con docentes tradicionales. Cuando se agrega la experiencia docente como una variable de control 4, la diferencia en el puntaje de la prueba de lenguaje entre los alumnos que forman parte del programa ECh y aquellos que no aumenta a 7,4 puntos al final del año escolar. Esto significa que cuando se comparan dos docentes novatos, uno que se ha formado de manera tradicional en un instituto de formación docente, mientras que el otro ha sido reclutado por el programa ECh pero que no ha recibido instrucción formal aparte de la ofrecida por el propio programa a través de un Instituto de Verano de 4 semanas de duración, el docente de ECh se asocia con incluso mayores logros de aprendizaje en lenguaje. Por el contrario, en matemáticas, cuando se toma en cuenta la experiencia docente, la diferencia de puntajes entre los alumnos beneficiados por el programa ECh y los alumnos del grupo de comparación se reduce de 3,1 a 0,9 puntos. Como resultado, los docentes ECh no parecen producir un efecto en los logros de aprendizaje de matemáticas mas allá de los que produce un docente formado de manera tradicional con el mismo nivel de experiencia. La otra implicancia interesante radica en que la experiencia docente parece tener un efecto menor en matemáticas que en lenguaje. Comentarios finales y perspectivas Chile y otros países de América Latina se enfrentan al desafío de reducir las desigualdades en los resultados de aprendizaje. Las organizaciones de la sociedad civil pueden ayudar en esta ardua tarea, como sucede en el caso de Enseña Chile. Esta nota muestra que los docentes ECh están asociados a mayores aprendizajes en sus estudiantes, particularmente en lenguaje, en un período relativamente corto de tiempo, aunque aún hace falta determinar si estas asociaciones perdurarán. Adicionalmente, es necesario evaluar a mayor escala el método de ECh de incorporar a los salones de clases a profesionales altamente calificados con escasa formación pedagógica. Sin embargo, el programa parecería constituir una vía prometedora para reduccir algunas de las brechas educativas existentes. Referencias MIDE-UC (2009). Escalas MIDE-UC para evaluación del Programa Enseña Chile. Santiago, Chile: Pontificia Universidad Católica de Chile. MIDE-UC (2011). Informe Final: Desarrollo y Aplicación de Instrumentos Levantamiento y Digitación de Datos Evaluación de Impacto de Enseña Chile Santiago, Chile: Pontificia Universidad Católica de Chile. Acerca de los autores Mariana Alfonso y Marina Bassi son especialistas en la División de Educación del Banco Interamericano de Desarrollo (BID). Christian Borja es consultor para la División de Educación del BID. 4 La experiencia del docente se incluye con una variable dicotómica igual a 1 si el docente poseía experiencia docente antes de participar en el programa ECh o si el docente tradicional afirma tener al menos un año de experiencia como docente. 4