FirstMath: los primeros cinco años de la enseñanza de las matemáticas. Avances de la aplicación piloto, México

Transcripción

1 FirstMath: los primeros cinco años de la enseñanza de las matemáticas. Avances de la aplicación piloto, México 14 de marzo de 2015

2 FirstMath: los primeros cinco años de la enseñanza de las matemáticas. Avances de la aplicación piloto, México Erika Canché Góngora Doctora, INEE, México. Emilio Domínguez Bravo Licenciado, INEE, México. Ana Laura Barriendos Rodríguez Maestra, INEE, México. PALABRAS CLAVE: FirstMath, matemáticas, evaluación, docentes. EJE TEMÁTICO: Innovaciones en evaluación y medición del desempeño docente y directivo. Resumen FirstMath es un estudio comparativo internacional que pretende conocer cómo aprenden los maestros lo necesario para enseñar matemáticas durante sus primeros años en la docencia, así como explorar la influencia que ejerce en ellos la formación inicial, el contexto escolar y las oportunidades de aprendizaje que tienen en la práctica. El estudio está en curso y actualmente los países participantes han concluido la aplicación piloto. México participa en FirstMath y aplicó el piloto a finales del 2014 en el estado de Puebla con maestros de primaria, secundaria y bachillerato. En este trabajo se presenta información general del estudio así como algunos datos derivados de dos de los instrumentos que se aplicaron en el piloto de México (las pruebas de matemáticas y de didáctica de las matemáticas para maestros, y las pruebas de matemáticas para alumnos). 2

3 INTRODUCCIÓN FirstMath 1 (FM) es un estudio comparativo entre países respecto a la manera en que los maestros principiantes definidos como aquellos que tienen cinco años o menos de experiencia como responsables de un grupo de alumnos y que al momento de la aplicación enseñen matemáticas en cualquier grado de primaria, secundaria o bachillerato 2 aprenden lo necesario para enseñar matemáticas durante sus primeros años en la docencia. 15+ países entre los que se incluye México, participan en FM. 3 La importancia de FM radica en que por primera vez se contará con datos rigurosos, sistemáticos y representativos acerca de lo que los maestros principiantes saben sobre matemáticas y sobre su enseñanza, de sus creencias, antecedentes, los contextos de las escuelas en las que trabajan, las oportunidades para aprender que tuvieron antes de ingresar a la docencia y las que se les ofrecen durante sus primeros años de servicio docente. Además, FM ofrecerá una buena oportunidad para analizar la manera en la que estos factores influencian las prácticas de enseñanza y el aprendizaje de los estudiantes. 4 La información que el estudio obtenga buscará ayudar a comprender qué políticas educativas y prácticas llevan a unos u otros resultados, es decir, poder contestar de manera general si ciertas políticas y prácticas producen mejores resultados para unas escuelas que para otras. La discusión de los resultados e implicaciones para cada país estará en manos del mismo, y desde una mirada más global, el equipo internacional podrá proveer elementos de análisis que permitan observar semejanzas y diferencias de acuerdo con prácticas generales, y si sería deseable hacer algún cambio (Tatto y otros, 2014). FM plantea dos componentes de investigación principales: I. Estudios sobre los antecedentes, oportunidades para aprender, creencias y conocimientos (de matemáticas y de didáctica de las matemáticas) de los maestros principiantes. II. Estudios sobre las maneras en las que el conocimiento y experiencias de los maestros principiantes influencian las prácticas docentes y el aprendizaje de los alumnos. Para obtener los datos que permitan llevar a cabo esos análisis, se recogerá información de maestros principiantes y de sus alumnos. Cabe aclarar que la participación de los alumnos tiene como propósito medir el reto que esos alumnos específicos plantean al maestro principiante, y no evaluarlo en función de los resultados que los alumnos obtengan en la prueba. Los instrumentos que FM ha desarrollados son:»» Instrumentos para maestros. Prueba de matemáticas y didáctica de las matemáticas, Cuestionario de contexto, Protocolo de observación de clases de matemáticas y Entrevistas.»» Instrumentos para alumnos. Prueba de matemáticas y Cuestionario de contexto. En México, el piloto se aplicó en el 2014 a una muestra cuidadosamente seleccionada en el estado de Puebla. En este trabajo se describe la conformación de la muestra, por un lado; y por otro, dos de los instrumentos de FM que se aplicaron en el piloto la Evaluación de matemáticas y de didáctica de las matemáticas para maestros y la Evaluación de matemáticas para alumnos y algunos de los datos iniciales obtenidos. 1 Es coordinado por el Centro Internacional de Investigación de Educación y Desarrollo Docente de la Universidad del Estado de Michigan (MSU, Michigan State University) y la investigadora principal es María Teresa Tatto (Michigan State University). El estudio cuenta con apoyo de la National Science Fundation NSF, Award No. DRL O equivalente de nivel medio superior. 3 En México, la coordinación del proyecto es responsabilidad del Instituto Nacional para la Evaluación de la Educación (INEE). 4 Sin embargo, es importante aclarar que no se pretende comparar una escuela con otra, un maestro con otro, ni un grupo de alumnos con otro; de hecho, se hacen esfuerzos para asegurar que estas comparaciones a nivel individual o de escuelas no sean posibles. 3

4 DESARROLLO Aplicación del piloto El objetivo principal del piloto de FM fue tener respuestas a una escala pequeña pero representativa con el fin de examinar el proceso de aplicación y los resultados, y así prever lo necesario hacia la aplicación definitiva. México eligió aplicar el piloto en Puebla por tener escuelas en contextos sociales, económicos y culturales variados, y debido a que la entidad ha mostrado históricamente interés en realizar actividades que contribuyan al conocimiento y a la mejora de los procesos y resultados educativos. México definió las siguientes variables de estratificación para conformar la muestra del piloto: nivel educativo (categorías: primaria, secundaria y bachillerato); financiamiento (categorías: público y privado); área (categorías: urbana y rural); tipo educativo (categorías: primaria general, primaria comunitaria, primaria indígena, secundaria general, secundaria comunitaria, telesecundaria, secundaria técnica, bachillerato general, bachillerato tecnológico y profesional técnico). El procedimiento para obtener la muestra se realizó en dos fases: 1) Obtener una muestra de escuelas a partir de información del Formato 911 ( ) y del Censo de Población y Vivienda ). Obtener una muestra de maestros principiantes y experimentados mediante información proveniente de un cribado o screening en cada escuela que conformó la muestra en la fase anterior. Se averiguaron datos de la plantilla docente en cada una, específicamente el número de años frente a grupo de cada maestro que enseñaba matemáticas, su edad y género. Por otro lado, se acordó con las autoridades educativas de la entidad incluir un segundo grupo de maestros que se diferenciara de los principiantes en el número de años de servicio. 6 El propósito fue contar con evidencia que permita valorar si hay aspectos que puedan atribuirse a la condición de principiante, y si hay otros que resulten comunes a los maestros de un mismo nivel o tipo de servicio independientemente del número de años que lleven como docentes. Al conformar la muestra final se buscó que los maestros principiantes y experimentados de cada estrato trabajaran en la misma escuela (aunque no fue posible en todos los casos). La muestra final quedó conformada como se observa en la Tabla 1. Tabla 1 Distribución de la muestra final de maestros. Nivel Tipo de servicio Sostenimiento Tipo Sexo Experiencia localidad M H Principiante Experimentado TOTAL Comunitario Público Rural Indígena Público Rural Primaria Urbana Público General Rural Privado Urbana Telesecundaria Público Rural Secundaria Técnica Público Urbana General Público Urbana Urbana Público General Rural Bachillerato Privado Urbana Prof. Técnica Privado Urbana TOTAL Formato 911 ( ) SEP; Sistema Nacional de Información Educativa ( ) SEP; Censo de Población y Vivienda 2013 INEGI. 6 El maestro experimentado fue definido como una persona que cuenta con entre 8 y 15 años de experiencia como maestro frente a grupo, enseñando cualquier asignatura en cualquier nivel, sin importar si tiene formación pedagógica o matemática. México solicitó al equipo internacional una muestra de maestros experimentados considerando las mismas variables de estratificación empleadas para los principiantes y, de ser posible, que trabajaran en las mismas escuelas que los principiantes. Desarrollar la muestra con estas características no fue posible para todas las variables de estratificación, y el equipo internacional sugirió incluir maestros que cumplieran con el parámetro años de experiencia de 8 a 15 y que se encuentre en alguna escuela de cualquiera de las dos muestras diseñada por MSU (ver más adelante). 4

5 Todos los maestros principiantes y experimentados de la muestra contestaron la Prueba de matemáticas y didáctica de las matemáticas. La Prueba de matemáticas para alumnos fue respondida por los estudiantes de 16 maestros principiantes, elegidos en función del Índice de marginación de la localidad de la escuela con la intención de probar el instrumento con estudiantes de diversos contextos (Tabla 2). En primaria, los estudiantes cursaban de 4 a 6 grado al momento de la aplicación. Tabla 2 Distribución de grupos que presentaron la evaluación de matemáticas para alumnos Experiencia profesor Nivel Número de grupos Modalidad Sostenimiento Zona General Público Rural Primaria 3 General Público Urbana Principiante Secundaria 2 Bachillerato 2 General Privado Urbana General Público Urbana Telesecundaria Público Rural General Público Rural General Privado Urbana Evaluación de matemáticas y didáctica de las matemáticas para maestros FM desarrolló dos pruebas para maestros en las que se evalúan conocimientos matemáticos y de didáctica de las matemáticas, una está dirigida a quienes enseñan en el nivel de primaria y la otra a los de secundaria y bachillerato. Las pruebas de FM se sustentan en los dominios conceptuales del contenido matemático definidos para TIMSS (2013) 7, y en los subdominios cognitivos utilizados en TEDS-M. 8 TIMSS considera cuatro dominios conceptuales del contenido matemático: números, álgebra, geometría y datos. Ahora bien, TIMSS evalúa el conocimiento matemático de los alumnos y dicho conocimiento es cualitativamente distinto que el que se espera que posean los maestros. Así pues, en TEDS-M se distinguen dos dimensiones al interior de los cuatro dominios de TIMSS con la intención de caracterizar los tipos de conocimiento de los maestros: el conocimiento del contenido matemático (MCK) y el conocimiento pedagógico o didáctico del contenido matemático (MPCK) por sus siglas en inglés y siguiendo las ideas de Shulman (1987 citado en Senk y otros, 2008). La dimensión MCK comprende definiciones, conceptos y procedimientos que hay que aprender del objeto matemático; mientras que la dimensión MPCK incluye formas útiles de representación de esas ideas, analogías, ejemplos y explicaciones de un tema, conocimientos acerca de lo que puede resultar difícil o fácil de aprender para los estudiantes, concepciones y errores comunes de acuerdo a su edad y nivel educativo, etc. Es decir, la dimensión MPCK es claramente una dimensión de conocimientos para la docencia (a diferencia de MCK). En las pruebas para maestros de FM, cerca de una cuarta parte de los reactivos es de MPCK y el resto de MCK. Con la finalidad de definir operacionalmente estas dimensiones, se distinguen tres subdominios cognitivos en la dimensión MCK que son Conocimiento, Aplicación y Razonamiento; y dos subdominios cognitivos en MPCK que son Planificación de la enseñanza y Enacción (enacting). 9 Las pruebas de matemáticas para maestros se distribuyen como se muestra en la Tabla TIMSS (Trends in International Mathematics and Science Study), desarrollado por la Asociación Internacional para la Evaluación del Logro Educacional (IEA), es un estudio que se aplica cada 4 años que permite medir los logros de aprendizaje de estudiantes de 4º y 8º (2º de secundaria) grados de educación básica en matemáticas y ciencias a nivel internacional. 8 TEDS M (Teacher Education and Development Study in Mathematics) es el primer estudio comparativo internacional centrado en la formación inicial de los profesores de matemáticas de educación primaria y secundaria. Contó con el apoyo de la Association for the Evaluation of Educational Achievement (IEA). 9 Conocimiento. Se refiere a hechos, conceptos y procedimientos matemáticos (TIMSS). Aplicación.- Se centra en valorar la capacidad para aplicar el conocimiento y en la comprensión conceptual al momento de resolver problemas o contestar preguntas (TIMSS). Razonamiento.- Va más allá de la resolución de problemas rutinarios, tiene que ver con situaciones no conocidas, contextos complejos y problemas con etapas (TIMSS). Planificación.- Valora los vínculos entre métodos didácticos y diseños instruccionales, así como la identificación de diferentes enfoques en la resolución de un problema. Enacción (enacting)- requiere hacer valoraciones analíticas sobre posibles soluciones o argumentos matemáticos de los estudiantes, sus conceptos erróneos o incluso la respuesta apropiada ante respuestas o explicaciones incorrectas.

6 Tabla 3 Distribución de los reactivos de las pruebas para profesores Maestros de primaria Maestros de secundaria y bachillerato Dominio Número de reactivos Porcentaje Número de reactivos Porcentaje Geometría Álgebra Datos Números Total Subdominio Número de reactivos Porcentaje Número de reactivos Porcentaje Razonamiento Aplicación Enacción Conocimiento Planificación Total Los reactivos se presentan en tres formatos: de respuesta construida (22% en la de primaria y 29% en la de secundaria), de opción múltiple (28% y 31%) y de opción múltiple compleja 10 (50% y 40%). Los siguientes reactivos se incluyen a manera de ejemplo, no obstante, ninguno de éstos forma parte de la prueba de FM. Ejemplo 1 Ejemplo 1 (Primaria) Dominio: Subdominio: Formato del ítem: Dimensión: Álgebra Aplicación MC MCK Los objetos en la balanza se han equilibrado exactamente. En el platillo de la izquierda hay una masa de 1 kg y medio ladrillo. En el platillo de la derecha hay un ladrillo completo. Cuál es la masa del ladrillo completo? A. 0.5 kg B. 1 kg C. 2 kg D. 2 kg 10 Reactivos de opción múltiple con 4 o 5 sub ítems a su interior que también son de opción múltiple. 6

7 Ejemplo 2 Ejemplo 2 (Primaria) Dominio: Subdominio: Formato del ítem: Dimensión: Geometría Planeación CR MPCK Cuando se enseña a los niños acerca de la medición de longitud, por primera vez, la profesora [Ho] prefiere comenzar haciendo que los niños midan el ancho de su libro con clips, y luego con sus lápices. Dé dos razones por las que podría tener para preferir hacer esto en lugar de simplemente enseñar a los niños cómo usar una regla. Explicación 1 Explicación 2 Ejemplo 3 Ejemplo 3 (Secundaria) Dominio: Subdominio: Formato del ítem: Dimensión: Números Conocimiento CMC MCK Determine si cada uno de los siguientes es un número irracional siempre, a veces o nunca: Señala una opción en cada fila Siempre A veces Nunca A. El resultado de dividir la circunferencia de un círculo por su diámetro. B. La diagonal de un cuadrado con lados de longitud 1. o 1 o 2 o 3 o 1 o 2 o 3 C. El resultado de dividir 22 entre 7. o 1 o 2 o 3 Evaluación de matemáticas para alumnos Las pruebas para alumnos también se conforman en torno a los dominios conceptuales de contenido matemático de TIMSS (excluyendo el dominio de Álgebra en el nivel primaria) y considerando únicamente los subdominios que componen la dimensión MCK (Conocimiento, Aplicación y Razonamiento) Todos los reactivos de la prueba de primaria fueron tomados de TIMSS para 4 grado de primaria. En la prueba de secundaria y bachillerato hay reactivos tomados de TIMSS, de TEDS-M y elaborados para FM.

8 Las pruebas de matemáticas para alumnos se distribuyen como se muestra en la Tabla 4. Tabla 4 Distribución de los reactivos de las pruebas para alumnos. Alumnos de primaria Alumnos de secundaria y bachillerato Dominio Número de reactivos Porcentaje Número de reactivos Porcentaje Geometría Datos Números Algebra 6 14 Total Subdominio Número de reactivos Porcentaje Número de reactivos Porcentaje Razonamiento Aplicación Conocimiento Total De estos reactivos, en primaria hay 14 (47%) de respuesta construida y 16 de opción múltiple (53%). En secundaria 6 (14%) son de respuesta construida, 13 (29%) de opción múltiple, y los 26 restantes de opción múltiple compleja. Los siguientes reactivos se incluyen a manera de ejemplo. Fueron tomados de TIMSS para 4 grado de primaria. Ejemplo 4 Ejemplo 4 Dominio: Datos Subdominio: Aplicación Darín pidió a sus amigos que le dijeran cuál es su color favorito. Él recogió la información en la tabla que se muestra a continuación. Color favorito Número de amigos Rojo 4 Verde 2 Azul 6 Amarillo 7 Entonces Darín comenzó a dibujar un gráfico para mostrar la información. Completa el gráfico de Darín. 8

9 Ejemplo 5 Ejemplo 5 Dominio: Geometría, formas y medidas Subdominio: Conocimiento Uno de estos ángulos es un ángulo recto. Cuál es? Primeros resultados En la Prueba para maestros de primaria el dominio en el que los maestros participantes obtuvieron mejores puntuaciones fue el de Geometría con 38% de respuestas correctas en promedio, incluso considerando que 5 de los 12 reactivos de este dominio que se incluyeron en la prueba son de respuesta construida. El dominio que resultó ser el más difícil fue Algebra con 18% de respuestas correctas en promedio. En el caso de la Prueba para maestros de secundaria y bachillerato el dominio que representó un mayor desafío fue Geometría y en el que obtuvieron mejores puntuaciones fue Datos con 25% y 38% de respuestas correctas en promedio, respectivamente. En todos los dominios, los maestros participantes de bachillerato obtuvieron mayores puntuaciones que los de secundaria. En la Tabla 5 se resumen los estadísticos sobre el porcentaje de aciertos de los profesores en función de las dimensiones MCK y MPCK. Tabla 5 Porcentajes de aciertos obtenidos por los profesores según MCK y MPCK. MAESTROS DE PRIMARIA % DE ACIERTOS MAESTROS DE SECUNDARIA Y BACHILLERATO % DE ACIERTOS MPCK MCK MPCK MCK Media Mínimo Máximo Para los alumnos de primaria que participaron, el dominio más fácil fue Datos, luego Geometría y por último Números con 55%, 41% y 34% de respuestas correctas en promedio, respectivamente. Los alumnos de secundaria y bachillerato encontraron más difíciles los reactivos de Álgebra (13% respuestas correctas en promedio en secundaria y 10% en bachillerato), y más fáciles los de Geometría (35% en secundaria y 33% en bachillerato). 9

10 COMENTARIOS El propósito central del piloto fue proveer evidencia empírica sobre la viabilidad de FM como un estudio comparativo internacional a gran escala, cuestión que se respondió afirmativamente. El análisis de los datos obtenidos estará disponible en próximas fechas, tanto a nivel agrupado (de todos los países participantes) como por país. En México, el piloto permitió detectar aspectos a mejorar para la aplicación definitiva. En primer lugar, la conformación de la muestra, debido a que encontrar a la población objetivo no es una tarea trivial, no obstante, el proceso puede mejorarse. Actualmente se desarrollan procedimientos alternos al seguido en el piloto para incrementar la probabilidad de encontrar maestros principiantes de matemáticas en los estratos definidos y además, tener una aproximación de la población total y su distribución en las escuelas del país. Aunque a partir de los datos del piloto no es posible hacer afirmaciones que intenten explicar las puntuaciones obtenidas por maestros y alumnos, sin embargo, se abren interrogantes en varios sentidos: (a) De manera general, los instrumentos de evaluación resultaron difíciles para los maestros y alumnos participantes aunque en ningún caso los contenidos matemáticos evaluados corresponden a programas de educación superior. 12 Esto debe tenerse en cuenta al interpretar los resultados pues poco puede afirmarse sobre el objeto de evaluación cuando una parte muy pequeña de la población objetivo responde correctamente o cuando la tasa de reactivos no respondidos es alta. Una vez que se concluyan los análisis del piloto de todos los países, se anticipa que será necesario reconsiderar algunos de los supuestos con los que fueron construidas las pruebas. (b) Respecto a los maestros que participaron en el piloto de México, de manera general obtuvieron mejores resultados los que enseñan matemáticas en el bachillerato, tanto en los reactivos de MCK como en los de MPCK. Esto invita a explorar varias hipótesis, entre ellas, si los mejores resultados de los maestros de bachillerato se deben a que enseñan contenidos de un nivel más alto y por ende, tienen un mejor dominio de la asignatura y esto los coloca en una mejor posición para contestar correctamente tanto los reactivos de MCK como los de MPCK (aunque la mayoría de ellos carezcan de formación pedagógica); si la formación inicial de los maestros de los tres niveles educativos que contempla FM es un factor importante al responder estas pruebas; si la distribución de los reactivos de MCK (77% en primaria y 75% en secundaria y bachillerato) y MPCK (23% y 25, respectivamente) en las pruebas no está permitiendo obtener la misma cantidad de información sobre de uno y otro aspecto. (c) Lo anterior no ocurrió con los alumnos de secundaria y bachillerato. En general, los alumnos de secundaria que participaron en el piloto de México obtuvieron puntuaciones apenas por encima o iguales que los de bachillerato. Sería deseable entonces explorar la relación entre puntuaciones obtenidas por los maestros en reactivos de MCK y MPCK y las puntuaciones de los alumnos, y además incluir en el análisis la información que el resto de los instrumentos de FM aporte para tratar de comprender esta relación. (d) El análisis de los dos grupos de maestros incluidos en la muestra (principiantes y experimentados) se encuentra en curso, no obstante, datos iniciales muestran que en lo referente a la Prueba de matemáticas y didáctica de las matemáticas, la diferencia entre unos y otros no es significativa. La información obtenida en el resto de los instrumentos servirá para seguir explorando este aspecto en la población evaluada. Como puede apreciarse aun habiéndose abordado solamente dos de los instrumentos, FM es un estudio complejo que supone muchos retos para el diseño, la aplicación y el análisis. No obstante, los países participantes están sumándose a los esfuerzos conjuntos por considerarlo un estudio relevante que permitirá obtener evidencia empírica acerca de quiénes son los maestros principiantes y en qué contextos trabajan; qué saben, qué creen, qué apoyos tienen en sus escuelas y de qué manera articulan lo anterior en sus clases de matemáticas. Con seguridad la información será valiosa para conocer a esa fracción de maestros y para la toma de decisiones de política educativa. 12 Teniendo como referente los programas vigentes en México, en la Prueba para maestros de secundaria y bachillerato sólo 4 de los 30 de los reactivos abordan temas que se estudian en el bachillerato. Hay además 7 reactivos en los que el contenido a evaluar se estudia en la secundaria aunque no exactamente desde la misma perspectiva que la solución del reactivo demanda. Por ejemplo, Pi como la relación entre el diámetro y el radio, o Pi como un número irracional. 10

11 BIBLIOGRAFÍA International Association for the Evaluation of Educational Achievement (IEA) (2012). Brese, Falk y Tatto, Maria Teresa (eds.). TEDS-M 2008, User Guide for the International Database. Supplement 4. IEA Secretariat, Amsterdam. Tatto, Teresa y otros (2014). School Coordinator Manual. Field trial. Adapted from the TEDS-M study: School Coordinator Manual. Teacher Education in Mathematics Study TEDS-M 2008 (2006). Tatto, Teresa; Schwille, John; Senk, Sharon; Ingvarson, Lawrence; Rowley, Glenn; Peck, Rray; Bankov, Kiril; Rodriguez, Michael; and Reckase, Mark (2012). Policy, practice, and readiness to teach primary and secondary mathematics in 17 countries: Findings from the IEA Teacher Education and Development Study in Mathematics (TEDS-M). IEA Secretariat, Amsterdam. TIMSS 2011 Assessment (2013). International Association for the Evaluation of Educational Achievement (IEA). Publisher: TIMSS & PIRLS International Study Center, Lynch School of Education, Boston College, Chestnut Hill, MA and International Association for the Evaluation of Educational Achievement (IEA), IEA Secretariat, Amsterdam, Amsterdam. Senk, Sharon; Peck, Ray; Bankov, Kiril; and Tatto, Teresa (2008). Conceptualizing and measuring mathematical knowledge for teaching: Issues from TEDS-M, an IEA cross-national study. 11th International Congress of Mathematics Education (ICME). 11