INFORME SOBRE LOS RESULTADOS DE LA APLICACIÓN DE PRUEBAS EN IDIOMAS MAYAS EN TERCER GRADO PRIMARIA

Transcripción

1 INFORME SOBRE LOS RESULTADOS DE LA APLICACIÓN DE PRUEBAS EN IDIOMAS MAYAS EN TERCER GRADO PRIMARIA I. INTRODUCCION Este informe presenta los resultados obtenidos en la aplicación de las pruebas de lectura y matemáticas que fueron traducidas y adaptadas a los cuatro idiomas mayas que predominan en Guatemala (Kaqchikel, Mam, Q eqchi y Kiche ). Estas pruebas se aplicaron en tercer grado de primaria, en un estudio piloto realizado en 1998, se revisaron nuevamente al inicio del año 99 y fueron aplicadas en una segunda aplicación piloto en abril de 1999 y finalmente en agosto de Durante la aplicación del año 99 se cambió el procedimiento de aplicación de las pruebas, para que éstas fuesen aplicadas en los dos idiomas (Maya-Español) a los mismos alumnos. Es decir, que primero se les aplicó las pruebas en su idioma nativo y luego, al día siguiente, en idioma Español, alternando el orden de aplicación al azar. Las pruebas en Español son las mismas que se utilizaron en tercer grado en las escuelas rurales del resto del país, que corresponde a un versión similar elaborada con la misma tabla de especificaciones. A continuación se presenta la información sobre el proceso de elaboración de las pruebas, su revisión, su aplicación y los resultados. II. ELABORACION DE LOS INSTRUMENTOS A finales del año 1997, el Ministerio de Educación solicitó que se elaboraran pruebas de lectura y matemática en idiomas mayas para tercer grado de primaria. Las dos 1

2 pruebas constan de 40 preguntas. La prueba de lectura se divide en dos partes: vocabulario y comprensión y la prueba de matemática está dividida en tres secciones: operaciones y conceptos aritméticos, y resolución de problemas. Posteriormente se definieron los objetivos, contenidos y estructura de las pruebas en idiomas mayas. En relación con el proceso de diseño, se decidió que primero se haría una prueba en español y después se traduciría y adaptaría a los idiomas correspondientes, con el fin de tener pruebas comparables y facilitar la interpretación de resultados. Los objetivos y el contenido eran similares a las pruebas elaboradas en español para ese mismo grado. Durante el año 99, las pruebas fueron traducidas de cada idioma Maya al español por interpretes comisionados por DIGEBI para trabajar en dicha tarea. Después de revisar cada uno de los ítemes, cuya traducción no coincidía con la versión en Español, se les pidió a los traductores que rehicieran las preguntas para que la versión en cada uno de los idiomas Mayas resultara comprensible y apropiada al vocabulario y cultura de cada uno de esos idiomas. En base a esta última revisión se hizo el levantado de texto de cada prueba, que también fue revisado por el mismo traductor de cada uno de los idiomas Mayas. A. VALIDEZ DE LAS PRUEBAS Para elaborar las pruebas se realizó una tabla de especificaciones de acuerdo con una serie de fuentes de consulta. Se revisaron los libros editados por el Ministerio de Educación, se consultaron otros libros de texto utilizados en tercer grado, se revisaron 2

3 listas de destrezas de lectura y otras pruebas que ya se habían aplicado en áreas rurales. Se elaboró la prueba en español y se discutió con el personal del programa, cuidando que el vocabulario y las ilustraciones fueran adecuados al nivel de destrezas esperadas y a las experiencias de los niños del área rural. El proceso de elaboración de estas pruebas duró meses y se inició con la traducción y adaptación de las pruebas a los idiomas mayas. Se contrató personal de la Academia de Lenguas Mayas de la Universidad de San Carlos. Los cuatro traductores hablaban un idioma maya, como lengua materna y tenían experiencia en la enseñanza del mismo. A cada traductor se le explicaron los objetivos generales de la prueba y los específicos de cada sección de la prueba, el contenido, el tipo de los ítems y otros aspectos de forma. Se analizó, con su ayuda, ítem por ítem. Durante el tiempo que duró este proceso, hubo reuniones para aclarar y unificar el uso de algunos términos. Se cambiaron varias palabras porque no eran de uso común en el medio rural o porque no tenían traducción en el idioma respectivo. Posteriormente, cuando las pruebas estaban traducidas, se consultó con tres profesionales, cuya lengua materna fuera una de las cuatro y que trabajaran en Universidades de la capital enseñando dicho idioma maya. Luego, las pruebas fueron examinadas por expertos en diferentes áreas y por maestros y encargados de evaluación de DIGEBI en cada uno de los idiomas. Por lo tanto, se hizo todo lo posible para asegurar la validez de contenido de estas pruebas. Los mismos procedimientos descritos se volvieron a hacer durante el año 99 en la aplicación piloto que se hizo en gran parte de los departamentos del país. 3

4 B. CONFIABILIDAD DE LAS PRUEBAS La confiabilidad de las pruebas fue estimada mediante el coeficiente Alpha de Cronbach. Este coeficiente estima la consistencia interna de una prueba, es decir, la relación que existe entre cada ítem y el total de la prueba (ver Glosario de términos). En la siguiente tabla se muestran los coeficientes de confiabilidad estimados de estas pruebas. Tabla 1: Coeficientes de Confiabilidad de las pruebas C. Idioma Pruebas Lectura Matemática Kaqchikel Mam Q eqchi Kiche Como se puede observar en la tabla 1, la confiabilidad que tienen las pruebas de lectura en general es mediana. La confiabilidad más baja es la de la prueba de Kiche, probablemente por el escaso número de sujetos que tomaron la prueba. III. APLICACIÓN DE LAS PRUEBAS Estas pruebas se aplicaron durante el año 1998 en una fase piloto. Los análisis de ítemes demostraron que todavía había problemas con algunas preguntas por lo que se 4

5 revisaron y tradujeron nuevamente. Las pruebas, finalmente, fueron aplicadas durante el mes de agosto de 1999, en todas las escuelas en las cuales se pudo comprobar que enseñaban algunos de los idiomas Mayas hasta tercer grado. Se hicieron varias aplicaciones previas a la realización de la prueba piloto planificada para el mes de agosto de Las pruebas se aplicaron en cinco escuelas que enseñan Kaqchikel, siete en la región Mam, siete de habla Q eqchi y siete de habla Kiche. IV. RESULTADOS A. RESULTADOS POR IDIOMA Las siguientes tablas muestran los resultados obtenidos en la muestra de las escuelas bilingües evaluadas en tercer grado, en los cuatro idiomas mayas predominantes (Kaqchikel, Mam, Q eqchi y Kiche ), en lectura y matemática y en Español. Para analizar la diferencia de medias se utilizaron pruebas t para muestras relacionadas. 5

6 Tabla 2. Lectura y Matemáticas en Kaqchikel n=100 Media Desv. Punteo Punteo Materia/Idioma Típica Mínimo Máximo Lectura / Kaqchikel Lectura / Español 54.62* Matemática / Kaqchikel Matemática / Español 46.25** * significación al nivel de p=.05 Es importante notar en la tabla anterior que la prueba se aplicó solamente a 100 alumnos. El promedio obtenido por los alumnos en este idioma es más alto en lectura en Español que en su idioma nativo. En la tabla 3, se presentan los resultados de los alumnos que tomaron las pruebas en el idioma Mam. Como se puede ver, el número de alumnos es superior al número de estudiantes que tomaron las pruebas en Kaqchikel. 6

7 Tabla 3. Lectura y Matemáticas en Mam n=185 Media Desv. Punteo Punteo Materia / Idioma Típica Mínimo Máximo Lectura / Mam 40.21** Lectura / Español Matemática / Mam Matemática / Español A continuación aparecen los resultados que obtuvieron los alumnos de tercer grado cuyo idioma materno es el Q eqchi. Tabla 4. Lectura y Matemáticas en Q eqchi n=185 Media Desv. Punteo Punteo Materia / Idioma Típica Mínimo Máximo Lectura / Q eqchi 62.09** Lectura / Español Matemática / Q eqchi Matemática / Español

8 La tabla 5 muestra el rendimiento de los alumnos en las escuelas cuya enseñanza se imparte en Kiche. No se pudo encontrar un número mayor de alumnos de tercer grado que recibiera enseñanza en este idioma, por lo tanto el número de casos no llega a 100. Tabla 5. Comprensión de Lectura y Matemáticas en Kiche n=92 Media Desv. Punteo Punteo Materia / Idioma Típica Mínimo Máximo Lectura / Kiche Lectura / Español Matemática / Kiche Matemática / Español 42.79** Como se puede observar en la tabla anterior, las medias en lectura y matemática en este idioma son muy similares, en ninguno de los casos el promedio alcanza un 50% de respuestas correctas. Es necesario notar que el número de casos es menor que en los otros idiomas, pues fue muy difícil encontrar escuelas en el departamento de Quiché que ofrecieran educación bilingüe hasta el tercer grado. B. COMPARACION ENTRE LOS CUATRO IDIOMAS En la siguiente gráfica se ilustra la relación que existe entre los cuatro idiomas Mayas en las pruebas de lectura y su rendimiento en Idioma Español. 8

9 Gráfica 1. Comparación entre los diferentes idiomas Mayas y Español en la prueba de Lectura Idioma nativo Español Kakchiquel Mam Q'eqchi' Kiche' 9

10 Gráfica 2. Comparación entre los diferentes idiomas Mayas y Español en la prueba de Matemática Kakchiquel Mam Q'eqchi' Kiche' 0 Idioma nativo Español C. COMPARACIÓN ENTRE EL ESPAÑOL Y LOS IDIOMAS MAYAS EN LAS SUBPRUEBAS DE LECTURA Y MATEMATICA. Gráfica 3. Comparación en los diferentes idiomas Mayas en Vocabulario y comprensión Vocabulario Comprensión Kakchiquel Mam Q'eqchi' Kiché 10

11 Para comprobar cómo se comparaban los resultados de los alumnos de las escuelas bilingües en su idioma nativo y los resultados que obtuvieron en las pruebas en Español se hicieron comparaciones de medias utilizando pruebas t para muestras relacionadas. En las siguientes gráficas se presentan los resultados de las subpruebas de lectura y de matemática. Gráfica 4. Comparación en los diferentes idiomas Mayas en Cálculo y Conceptos Aritméticos y Resolución de Problemas Cálculo Aritm. Conceptos Aritm. Res. Prob. Kakchiquel Mam Q'eqchi' Kiché Como se puede observar en la gráfica, en todos los idiomas mayas el resultado de cálculo aritmético es el más alto en comparación con los resultados en las otras dos subáreas. Resolución de problemas es el área con resultados más bajos. Estos resultados son muy similares a lo que se encontró en el resto de las escuelas rurales del país. 11

12 D. RESULTADOS POR GENERO. Se analizaron los datos por género en el idioma nativo, para ver si existían diferencias estadísticamente significativas entre el rendimiento de los varones y las niñas en esta muestra. A continuación se presenta la estadística descriptiva por género en los cuatro idiomas mayas. Tabla 6. Resultados en tercer grado, en los cuatro idiomas mayas por sexo Idioma Maya No. de Lectura Matemática Sexo casos Desv. Desv. Media Típica Media Típica Kaqchikel Masculino * ** Femenino Mam Masculino Femenino Q eqchi Masculino Femenino Kiche Masculino * * Significativo a p.05 ** Significativo a p.01 Femenino

13 En la Tabla 6 se puede observar que en la prueba de lectura, consistentemente los varones obtienen promedios más altos, pero con excepción del idioma Kaqchikel, estas diferencias no son estadísticamente significativas. Es interesante notar que en el idioma Kiche, aunque la media de las niñas es más baja, la desviación típica es mucho menor que en el caso de los varones. Es decir, que el rendimiento de las alumnas en lectura es más homogéneo. Los resultados obtenidos por los alumnos en matemática, muestran que consistentemente los varones obtienen promedios más altos que las niñas. En el caso del idioma Kaqchikel y del idioma Kiche se encontraron diferencias de medias estadísticamente significativas. Gráfica 5. Comparación de los resultados de las pruebas de Lectura por sexo Masculino Femenino 10 0 Kakchiquel Mam Q'eqchi' Kíché En la siguiente gráfica aparece la comparación entre los dos sexos en los alumnos que tomaron las pruebas de matemática en los cuatro idiomas Mayas. 13

14 Gráfica 6. Comparación de los resultados de las pruebas de Matemática por sexo Masculino Femenino Kakchiquel Mam Q'eqchi' Kíché Como se ilustra en la gráfica anterior, los varones consistentemente tienen un mejor rendimiento en la prueba de matemática en su idioma nativo. E. CARACTERISTICAS DE LAS ESCUELAS DE LA MUESTRA El análisis del formulario que llenaron los directores de las escuelas en las que se aplicaron las pruebas en idiomas mayas mostró que en general las condiciones son muy similares a las escuelas rurales del resto del país. Tienen en promedio 245 alumnos por escuela bilingüe, 6 grados y 9 maestros por escuela. 14

15 En relación a los servicios existentes, un 73.1% de estas escuelas cuenta con agua potable, pero solamente con un chorro, en promedio, para toda la institución. Sólo el 19% tiene drenajes y el 57% electricidad. Respecto a la disponibilidad de libros de texto, el 61% cuenta con libros de texto. V. HALLAZGOS DE MAYOR RELEVANCIA La confiabilidad de las pruebas en idiomas Mayas que se obtuvo este año es más alta que la confiabilidad estimada el año 98 con las pruebas piloto. Este año la confiabilidad fluctuó entre 0.60 a Se debería tratar de alcanzar niveles similares a los coeficientes de confiabilidad estimados en las pruebas en Español. El proceso de elaboración y traducción de las pruebas es muy complejo puesto que hay expresiones dialectales que cambian de región en región, y algunas veces los traductores no llegan a un acuerdo sobre la manera de escribir los idiomas Mayas. Esto afecta la validez de las pruebas y puede ser una de las razones por las cuales los resultados varían de un idioma a otro. Los resultados en la prueba de lectura son en general similares a los obtenidos en las escuelas rurales en tercer grado. En general, son bajos, con la excepción del idioma Q eqchi. Consistentemente los alumnos de las escuelas bilingües, obtuvieron resultados más altos en lectura, que en las pruebas de matemática en su idioma materno. Los varones obtuvieron promedios más altos en las pruebas, pero solamente en las pruebas en idioma Kaqchiquel, tanto en lectura como en matemática y en Kiche en 15

16 matemática se encontró que había una diferencia estadísticamente significativa entre el sexo masculino y femenino. En general, las condiciones de infraestructura y equipamiento de las escuelas en donde se aplicaron estas pruebas no es buena, pero es muy similar a las otras escuelas rurales en el país. Al comparar el resultado de los alumnos de tercer grado en su idioma materno con el rendimiento de estos mismos niños en las pruebas de Español, se encontró que los resultados difieren en los cuatro idiomas. En Mam y Q eqchi los alumnos tienen un promedio más alto en su idioma nativo. En Kaqchikel tuvieron un promedio más alto en Español y en Kiche los alumnos tuvieron un rendimiento muy similar en los dos idiomas. Es decir, no hay consistencia en los resultados obtenidos por los alumnos en las escuelas bilingües en Español, ni en su idioma nativo. 16

17 INDICE I. INTRODUCCION...1 II. ELABORACION DE LOS INSTRUMENTOS...1 A. VALIDEZ DE LAS PRUEBAS...2 B. CONFIABILIDAD DE LAS PRUEBAS...4 C. Idioma...4 III. APLICACIÓN DE LAS PRUEBAS...4 IV. RESULTADOS...5 A. RESULTADOS POR IDIOMA...5 B. COMPARACION ENTRE LOS CUATRO IDIOMAS...8 C. COMPARACIÓN ENTRE EL ESPAÑOL Y LOS IDIOMAS MAYAS EN LAS SUBPRUEBAS DE LECTURA Y MATEMATICA D. RESULTADOS POR GENERO E. CARACTERISTICAS DE LAS ESCUELAS DE LA MUESTRA...14 V. HALLAZGOS DE MAYOR RELEVANCIA...15 I

18 INDICE DE TABLAS Tabla 1: Coeficientes de Confiabilidad de las pruebas...4 Tabla 2. Lectura y Matemáticas en Kaqchikel...6 Tabla 3. Lectura y Matemáticas en Mam...7 Tabla 4. Lectura y Matemáticas en Q eqchi...7 Tabla 5. Comprensión de Lectura y Matemáticas en Kiche...8 Tabla 6. Resultados en tercer grado, en los cuatro idiomas mayas por sexo...12 II