CÓMO INTERPRETAR LA EVALUACIÓN PRUEBAS SABER? La elaboración de este texto estuvo a cargo de Héctor Gabriel Fernández Gómez, profesional especializado de la Sub-dirección de Estándares y Evaluación, Ministerio de Educación Nacional. Se agradecen las observaciones y comentarios de varios profesionales del Icfes y el apoyo de Mariana Schmidt en la edición final del documento.
Tabla de contenido Introducción 3 Lo que se ha hecho en el país en materia de evaluación de estudiantes 4 Las Pruebas Saber, orientaciones para su análisis, interpretación y uso 9 Resultados por niveles de logro 10 Resultados por puntaje promedio y dispersión 18 Resultados por componentes del área 21 Resultados por frecuencia de respuesta 26 Algunas orientaciones de uso de los resultados de las Pruebas Saber para los 27 principales usuarios Consideraciones finales 30 Lo que sigue 31 Bibliografía recomendada 32 2
Introducción Es función principal de la evaluación en la educación orientar y apoyar las acciones de mejoramiento de la calidad mediante la obtención, análisis e interpretación de información válida y confiable. En efecto, una adecuada evaluación, que tome en consideración los avances de las ciencias de la cognición, de la pedagogía y de la administración, aporta elementos para la acertada toma de decisiones en los y las distintos ámbitos del quehacer educativo: los procesos de enseñanza-aprendizaje, la formulación de políticas, programas y proyectos, la asignación de recursos y el perfeccionamiento de los procesos curriculares, pedagógicos y de gestión. Durante mucho tiempo la gestión de la educación en Colombia desaprovechó las bondades que ofrece la evaluación para mejorar la calidad, limitándose a señalar los estudiantes buenos y los malos, determinar quiénes serían o no promovidos al siguiente grado, imponer castigos y así servir de instrumento de poder al servicio de los y las docentes. En el mejor de los casos, la evaluación fue utilizada para establecer qué tantos conocimientos disciplinares retenían los estudiantes en un determinado momento. Por fortuna el país cuenta hoy en día con un Sistema Nacional de Evaluación de la Educación que cumple funciones orientadoras para el mejoramiento continuo de la calidad de la educación. En este sentido, se ha avanzando sustancialmente en los últimos años en la evaluación de (1) las instituciones educativas, (2) los docentes y directivos docentes y (3) los y las estudiantes. Así, por ejemplo, desde 1997, se ha venido implementando en las instituciones educativas, la autoevaluación institucional en torno del PEI, como un mecanismo autorregulador sobre las metas alcanzadas, de acuerdo con los objetivos propuestos en cada uno de sus componentes: directivo, administrativo, pedagógico y de proyección a la comunidad. Los planes de mejoramiento anual, fundamentados en el análisis de los resultados logrados por la institución en su auto-evaluación, en un año lectivo, se convierten en estrategias renovadoras de la vida de la organización. La institución es el contexto en el que se materializan los objetivos de aprendizaje y de desarrollo de los estudiantes, docentes y directivos 1. A su vez, la evaluación de docentes que viene adelantándose en el país hace varios años y de distintas maneras, fue revisada ampliamente y así se ha establecido llevarla a cabo de manera continua y estructurada, de tal suerte que aporte significativamente al mejoramiento de los procesos de aula y al perfeccionamiento profesional 2. Algo similar ha acontecido con la evaluación de directivos docentes, tomando en consideración que el desempeño del directivo incide de manera definitiva en el desarrollo del PEI, la aplicación las políticas nacionales y regionales, el clima organizacional, el trabajo en equipo, la mediación en los conflictos, la participación de toda la comunidad, la articulación con el sector productivo y el cumplimiento de normas 3. 1 Ministerio de Educación Nacional (2003) Manual de evaluación del desempeño de docentes y directivos docentes. Decreto 2582, Septiembre 12 de 2003. Guía No. 3. MEN. Bogotá, pág. 6. 2 Id., pág. 7 3 Ibid. 3
En lo referente a la evaluación de los estudiantes, en la cual se centra esta parte, cabe anotar que viene posicionándose en Colombia como una herramienta vital que forma parte integral del proceso educativo en tanto suministra al estudiante información precisa sobre los aspectos de su formación y componentes de las distintas áreas del plan de estudios en los que debe mejorar; indica al maestro los cambios que debe realizar, con el fin de mejorar sus métodos y estrategias pedagógicas; orienta a los padres de familia en su rol de apoyar la educación de sus hijos; provee información válida y confiable sobre los avances de las y los estudiantes en sus procesos de formación, para que la institución educativa realice ajustes a su PEI, formule y ejecute su plan de mejoramiento; permite a las Secretarías de Educación departamentales y municipales focalizar sus acciones de apoyo para mejorar la calidad del servicio, y orienta a los entes de dirección sectorial en la toma de decisiones para la formulación y reorientación de las políticas encaminadas garantizar a la población una educación mejorada. Para explicar lo anterior, los apartados de este documento tienen la intención de brindar a los diferentes agentes de la educación (padres de familia, estudiantes, docentes y directivos de las instituciones educativas; funcionarios directivos y técnicos del sector educativo, investigadores y demás personas naturales y jurídicas interesadas en realizar acciones para mejorar la calidad de la educación) algunas orientaciones para analizar, interpretar y utilizar los resultados de la evaluación Pruebas Saber. No obstante, antes de entrar de lleno en ello se hará un breve recorrido sobre las distintas evaluaciones de estudiantes realizadas en el país. Lo que se ha hecho en el país en materia de evaluación de estudiantes Una de las dificultades presentes a lo largo de la historia del sistema educativo colombiano ha sido la falta de información válida y confiable requerida en el diseño y ejecución de políticas, planes, programas y proyectos, que en conjunto hacen posible hacer realidad los propósitos y esfuerzos del Gobierno y la sociedad para disponer de una educación de mejor calidad y equidad. La medición y la evaluación, entendidas como el camino más expedito para llegar a un efectivo diagnóstico de problemas y soluciones en educación, dieron los primeros pasos para su institucionalización solamente a partir de los años 90, a pesar de ser instrumentos efectivos en otras regiones del mundo para mejorar la calidad de la educación. En efecto, a partir de la década de los 50, países conocidos hoy como desarrollados mejoraron sus contenidos curriculares, sus procesos pedagógicos y de gestión, y las variables de insumo-proceso-producto del servicio educativo a partir de procesos evaluativos y rigurosos. Esto les permitió, en corto tiempo, reorientar la formación de su población hacia el desarrollo de competencias básicas, lo que les ha llevado a ser países cuyo desarrollo 4
científico, tecnológico y cultural es invaluable para el mundo entero y ha redundado, a su vez, en altos niveles de vida para sus ciudadanos. Evaluación muestral En Colombia, durante el periodo 1991-1999, de manera conjunta con el Icfes y organismos especializados, el Ministerio de Educación Nacional obtuvo de manera muestral y periódica información valiosa sobre las competencias básicas logradas por los estudiantes en las áreas de Lenguaje y Matemáticas de los grados 3, 5, 7 y 9. Esto mediante la aplicación de las Pruebas Saber. Para llevar a cabo estas evaluaciones periódicas, y garantizar su confiabilidad y validez, fue construida una muestra maestra representativa de la población estudiantil y de las instituciones educativas oficiales urbanas, oficiales rurales y no oficiales a nivel nacional, departamental, y de ciudades capitales como Bogotá, Barranquilla, Cali y Medellín. Esta muestra maestra incluyó 36 entidades territoriales, 31 de ellas correspondientes a Calendario A y 5 a Calendario B. Gracias a la rigurosidad de la muestra, los resultados de esta evaluación fueron de gran utilidad en la toma de decisiones de políticas educativa a nivel nacional y local, a la vez que las instituciones educativas que participaron obtuvieron información beneficiosa para orientar sus acciones en búsqueda de la calidad de la educación que ofrecen. A su vez, a través de esta evaluación muestral, el país obtuvo información valiosa sobre los llamados factores asociables a la calidad, tanto aquellos señalados en la Ley 115/94 como otros concernientes a la convivencia y gestión escolar, con un énfasis particular en el compromiso de directivos, docentes, estudiantes y padres de familia, como agentes educativos. No obstante los valiosos aportes de la evaluación muestral a la que se viene haciendo referencia, la mayoría de los municipios y establecimientos educativos del país no se beneficiaron de la información de la evaluación. Por ello, el proyecto con características de evaluación muestral que pretendía evaluar, además de las áreas de Lenguaje y Matemáticas, las de Ciencias Naturales y Ciencias Sociales, se ajustó para que su realización fuera de manera censal y en todo el territorio nacional como lo conocemos hoy, lo cual fue posible en el marco del Sistema Nacional de Evaluación de la Educación que se conformó en 1994. De acuerdo con lo establecido en la Ley General de Educación en su Artículo 80, y en desarrollo del artículo 67 de la Constitución Nacional, el Sistema Nacional de Evaluación de la Educación opera bajo la responsabilidad del Ministerio de Educación Nacional en coordinación con el Servicio Nacional de Pruebas del Instituto Colombiano para el Fomento de la Educación Superior, ICFES, y con las entidades territoriales constituyéndose en la base para el establecimiento de programas de mejoramiento del servicio público educativo. En desarrollo de este Sistema, el Ministerio de Educación Nacional, el Icfes y algunas entidades territoriales tales como Bogotá, Pasto, Manizales y Antioquia, entre otras, 5
iniciaron un proceso de fortalecimiento institucional y técnico que les permitió desarrollar proyectos de evaluación censal exitosos y de esta manera aprovechar la información obtenida en todas las instituciones educativas, aspecto que con la evaluación muestral no era posible. Evaluación censal La evaluación censal, a diferencia de la muestral, abarca a todas las instituciones educativas, públicas y privadas, rurales y urbanas; por ello, a partir de 2002, el Ministerio tomó la decisión de evaluar de manera censal y en todo el país las áreas de Lenguaje, Matemáticas, Ciencias y Competencias en Ciudadanía, áreas que a criterio de expertos se constituyen en los componentes principales para desarrollar en los educandos las competencias básicas para la vida y que les permiten alcanzar un desempeño eficaz y eficiente dentro de la sociedad. A diferencia de la evaluación muestral, la evaluación censal realizada a través de las Pruebas Saber le permite a cada una de las instituciones educativas del país, a cada una de las entidades territoriales, y a la Nación, disponer de un diagnóstico válido y confiable para determinar si los estudiantes de Educación Básica están consiguiendo o no -y en qué grado-, el saber y el saber hacer en Lenguaje, Matemáticas, Ciencias y Competencias Ciudadanas. Como se sabe, estas han sido identificadas como áreas de formación básica que permiten a los estudiantes desarrollar sus potencialidades para seguir aprendiendo, y desempeñarse socialmente de manera eficaz y eficiente. Es así como se ha posibilitado un referente de base para la formulación de los Planes de Mejoramiento Institucional en todo el país, la toma de decisiones en política y, en consecuencia, la puesta en marcha de programas y proyectos tendientes a mejorar la calidad. Como se ha venido diciendo en este libro, ser competente es saber hacer y saber actuar entendiendo lo que se hace, comprendiendo cómo se actúa, asumiendo de manera responsable las implicaciones y consecuencias de las acciones realizadas y transformando los contextos en favor del bienestar humano 4. Esta evaluación censal de competencias básicas, realizada para los grados 5 y 9 de Educación Básica, se completó en todo el país en noviembre de 2003. Entre muchas de sus utilidades para mejorar la calidad en las instituciones educativas, estuvo la de constituirse en línea de base para determinar el estado actual de logros en competencias básicas y el valor agregado que en términos de calidad de la educación producirán los distintos programas y proyectos que se están ejecutando en desarrollo del Plan Revolución Educativa. De otra parte y como ya se sabe, desde el año 1968 el Icfes ha venido realizando de manera censal el Examen de Estado para evaluar los estudiantes que terminan el nivel de Educación Media y para el ingreso a la Educación Superior. En la siguiente tabla podemos apreciar los distintos ejercicios de evaluación de la calidad de la Educación Básica, realizados por el país desde 1991 mediante las llamadas Pruebas Saber. 4 Montenegro, Ignacio (2003). Son las competencias el nuevo enfoque que la educación requiere?. En Revista Magisterio. No. 1. Febrero-marzo, pág.19. 6
Año Semestre Grados Pruebas Saber-Evaluaciones realizadas desde su origen Calen dario 1991 2 3 y 5 A 1992 1 3 y 5 B 2 7 y 9 A 1994 1 y 2 7 y 9 A y B 1997 2 3 y 5 A 1998 1 3 y 5 B 2 7 y 9 A 1999 1 7 y 9 B 2002 2003 1 3,5,7 y 9 A y B 2 3,5,7 y 9 A y B 1 5 y 9 A y B 2 5 y 9 A y B Áreas Lenguaje, Matemáticas y factores asociados Lenguaje y Matemáticas Lenguaje y Matemáticas Lenguaje y Matemáticas Lenguaje y Matemáticas Lenguaje y Matemáticas Lenguaje y Matemáticas Lenguaje y Matemáticas Lenguaje y Matemáticas Lenguaje y Matemáticas Lenguaje y Matemáticas Ciencias Naturales y Competencias ciudadanas Tipo Cobertura Entid ades Territ oriales No. Estudiantes Muestral 13 15.002 Muestral Muestral 3 20 5.800 Responsable de la aplicación Instituto SER de Investigaciones Instituto SER de Investigaciones 28.000 SER-ICFES Muestral 29 30.015 ICFES Muestral Muestral 32 3 99.789 ICFES 30.667 ICFES Muestral 32 100.469 ICFES Muestral Censal Censal Censal 3 5 27 25.191 ICFES 205.001 192.856 Sistemas Especializados de Información -SEI- Corpoeducación SEI- Corpoeducación Certifi cadas 646.951 ICFES Censal 78 1.034.049 ICFES Total estudiantes evaluados 2.413.790- Participación en pruebas internacionales De manera paralela a las acciones evaluativas descritas, Colombia ha venido participando en programas internacionales de evaluación de la educación, desarrollados por distintos organismos internacionales. 7
Así, por ejemplo, el país participó en el Tercer Estudio Internacional de Matemáticas y Ciencias TIMSS adelantado entre 1994 y 1995 por la Agencia Internacional de Evaluación de Logro Educativo (IEA) cuyo objetivo central fue establecer el grado de relación existente entre el currículo planeado, el currículo ejecutado y el currículo logrado por los estudiantes, así como las variables del contexto que podrían explicar estas relaciones en los establecimientos educativos. Aunque el estudio cubría los grados 3, 4 7 y 8, Colombia participó únicamente con los grados 7 y 8. Los resultados obtenidos permitieron establecer que del currículo planeado e impartido por el Ministerio a todas las instituciones educativas, se ejecutaba tan solo en un 60%; y de él los estudiantes aprendían menos del 30%. Igualmente, este estudio dejó al descubierto la baja competitividad de nuestros estudiantes de Educación Básica frente a sus pares de los países desarrollados al ocupar Colombia el penúltimo lugar entre los 42 países que terminaron el estudio. De igual manera, Colombia participó en 1997 en el Primer Estudio Internacional Comparativo de Lenguaje, Matemáticas y Factores Asociados de los grados 3 y 4 de Educación Básica adelantado por el Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación LLECE y dirigido por la Oficina Regional de la Unesco para América Latina (Unesco/Orealc). En este caso, el país ocupó el quinto lugar, sin que por ello existan marcadas diferencias frente a Argentina, Brasil, Chile y Cuba, países que se ubicaron junto en los primeros cuatro lugares. Valga decir que nuestro país comparte un desempeño de sus estudiantes muy similar a los países mejor librados en el Estudio. Pero más allá de las comparaciones entre países, Colombia pudo evidenciar en esta evaluación cómo sus escuelas ubicadas en las zonas rurales obtuvieron mejores puntajes que sus similares del resto de países participantes, con excepción de Cuba. Este hecho motivó al Laboratorio para realizar una investigación cualitativa en aquellas escuelas que se destacaron en el Estudio y que tienen características hipotéticamente asociadas a bajos resultados académicos, tales como la pobreza, la ubicación en zonas de difícil acceso y el bajo nivel de educación alcanzado por los padres, como es el caso de las escuelas rurales colombianas 5. Además de los dos estudios reseñados, nuestro país participó, entre 1995 y 2000, en el Estudio Internacional de Educación Cívica cuya aplicación definitiva fue en 1999. De igual manera lo hizo en el Primer Estudio Internacional del Progreso de la Lectura PIRLS en 2001, adelantados por la Agencia Internacional de Evaluación de Logro Educativo IEA. Además de lo valiosa que resultó para Colombia la información obtenida en estas pruebas, los aportes para el progreso en evaluación y el desarrollo del sistema Nacional de Evaluación ordenado por la Ley 115 de 1994, no se hicieron esperar. Atendiendo a los avances de la evaluación en el mundo, el Icfes reestructuró las Pruebas Saber y de Estado y vino a reforzar una reforma educativa en el país, ordenada por la misma Ley General de Educación en donde el enfoque de formación integral por competencias básicas empezó a tomar fuerza como un componente crucial en la búsqueda por el mejoramiento de la calidad de la educación en todo el país. 5 Los resultados de esta investigación cualitativa de escuelas destacables se pueden ver en el siguiente sitio Web: www.unesco.cl/llece (documentos digitales) 8
Programa Año Grado Participación de Colombia en evaluaciones internacionales Calend ario Áreas Tipo Cobertura Ent.Territs. No. Ests. Entidad TIMSS 1994 7º y 8º A y B Matemáticas y 4 Regiones Muestral Ciencias CORPES 6000 IEA LLECE 1997 3º y 4º A y B Lenguaje y Matemáticas Muestral 21 4300 UNESCO ED. CÍVICA 1999 8 A y B Educación Cívica Muestral 5047 IEA Total estudiantes evaluados 15347 Colombia seguirá participando en estudios de la evaluación internacional: en 2005, participa en el segundo Estudio del LLECE; en 2006, en el Estudio PISA de la Organización para la Cooperación y el Desarrollo Económico OECD que evaluará las competencias en Lenguaje, Matemáticas y Ciencias en Educación Básica y, en 2007, de nuevo en el TIMSS de la IEA, denominado ahora Estudio de Tendencias Internacionales en Matemáticas y Ciencias. Las Pruebas Saber, orientaciones para su análisis, interpretación y uso En los últimos tiempos la evaluación en la medida de su progreso, ha incursionado con gran fuerza en la gestión de los procesos pedagógicos, es decir, en los procesos que se deben cumplir para que los profesores enseñen lo que deben enseñar y los estudiantes aprendan lo que deben aprender. La evaluación censal Saber 2002-2003 puso en evidencia cómo a pesar de que los maestros enseñan o desarrollan planes de estudio bien elaborados y pertinentes en desarrollo del currículo del PEI, sus estudiantes no necesariamente aprenden o logran lo que de ellos se espera. Los resultados de las pruebas censales Saber 2002-2003, aplicadas a los grados 5 y 9 de Educación Básica en las áreas de Lenguaje, Matemáticas, Ciencias Naturales y en formación ciudadana en todo el país, permiten evaluar si se está consiguiendo o no y en qué grado las competencias definidas para dichas áreas en los estándares básicos de calidad. Las Pruebas Saber, una línea de base 9
También estos se constituyen en la línea de base nacional, regional, local e institucional, como referente para valorar el progreso de los y las estudiantes y de las instituciones en todas las regiones del país. Cabe anotar que tanto las pruebas como los estándares han tenido como marco de referencia para su diseño los lineamientos curriculares expedidos por el Ministerio en desarrollo de la Ley General de Educación La línea de base, en la evaluación Pruebas Saber, se entiende como la información recopilada en término de los niveles de logro en las competencias básicas que los estudiantes de 5 y 9 grados de la educación básica demostraron tener al resolver los cuestionarios de las pruebas. Los grados evaluados son momentos claves, que marcan el fin de ciclo de la educación básica primaria y de la básica secundaria. Con los resultados de la evaluación queda representada la formación acumulada que ofrece la institución en cada ciclo, con sus fortalezas y sus debilidades. Esta línea de base integra las evaluaciones de Lenguaje y Matemáticas realizadas en marzo de 2002 en los departamentos de Valle, Risaralda, Quindío, Atlántico y Santander; en octubre de 2002 en los municipios certificados de todo el país, Bogotá D.C. y Cundinamarca; en abril de 2003 en los demás municipios del país, con la evaluación en Ciencias Naturales y Competencias Ciudadanas realizada en noviembre de 2003 en casi todo el territorio nacional. Así, el nivel de Educación Básica dispone de información formativa confiable para orientar la acciones de mejoramiento de la calidad a nivel nacional, regional, local e institucional y, a partir de ella, realizar los análisis e interpretaciones que cada una de las instancias señaladas podrá hacer con los resultados de la evaluación Saber que se hará en las mismas áreas y grados en el 2005, 2006 y posteriores aplicaciones, las cuales permitirán formular comparaciones y darán cuenta del impacto de la política de calidad y de sus programas y proyectos de mejoramiento. Análisis e interpretación de los resultados de las Pruebas Saber Atendiendo al sentido pedagógico y orientador de los resultados de las Pruebas Saber en términos de acciones de mejoramiento por parte de cada una de las instancias de la gestión del servicio público, y con el objeto de aportar a su análisis e interpretación, el Icfes ha entregado los resultados con información por: (1) niveles de logro, (2) puntaje promedio y dispersión, (3) componentes del área y (4) porcentaje de respuestas por opción e institución educativa, municipio y departamento, además de contar con un consolidado a nivel nacional. Cabe anotar que los resultados por niveles de logro no fueron considerados en la prueba de Competencias Ciudadanas, debido en gran parte al carácter cultural y transversal que abordan sus contenidos. Resultados por niveles de logro En este tipo de información se aprecia el grado de dominio que las y los estudiantes han demostrado tener al abordar las distintas situaciones exigidas por las pruebas, que están 10
estructuradas de tal manera que las preguntas o ítems que contienen, corresponden a distintos niveles de complejidad para su solución. Dado que los procesos de formación de los estudiantes que orientan los fines de la educación colombiana consagrados en la ley, más que conocimientos académicos simples, exigen desempeños socialmente eficientes y eficaces, tanto los estándares como la evaluación Saber están orientados por los principios de las competencias básicas. Ello significa que los estudiantes serán competentes si a partir de la comprensión de situaciones simples de la vida cotidiana logran soluciones a situaciones también de ésta, pero cada vez de mayor complejidad, en las cuales necesariamente deben poner en ejercicio distintos elementos de sus aptitudes innatas y habilidades adquiridas en sus procesos de formación, tanto de la escuela como de su contexto. Como ejemplo, de la prueba de Matemáticas de 5º grado tomemos una pregunta de cada uno de los niveles de complejidad creciente B, C y D, y observemos sus características: Pregunta de nivel B : (Pregunta No. 11) Una chocolatina vale $ 300. Si se compran 4 de estas chocolatinas, se pagará: A. $ 120 B. $ 304 C. $ 900 D. $ 1.200 Claramente vemos que la opción que corresponde a la respuesta esperada es la D y para llegar a ella, solamente exige que el estudiante realice la multiplicación (aritmética) del valor de una chocolatina por el número de chocolatinas compradas, en el mismo orden como están en el enunciado. Así, esta situación problema cumple con las características de los problemas de nivel B (mínimo para 5 grado), a saber: - Se trata de un problema rutinario o cotidiano. - La información necesaria para resolverlo se encuentra en el enunciado. - La información está en el orden en que se debe operar para resolverlo. - Se requiere de una sola operación o una relación para su resolución. - Hace referencia a una situación de carácter concreto. - Para solucionarlo, se requiere solamente de una estrategia de alguno de estos dominios: aritmética, geometría o estadística. Pregunta de nivel C : (Pregunta No. 8) La siguiente tabla muestra la cantidad de carbohidratos que contiene una porción de tres de estos alimentos: 11
Alimento Sopa Arroz Pasta Cantidad de carbohidratos por porción 52.50 gramos 52.6 gramos 52.05 gramos Si la comida de cada niño contiene una porción de cada uno de los tres alimentos, cuántos carbohidratos consume cada niño? A. 109,71 gramos B. 156,115 gramos C. 156,61 gramos D. 157,15 gramos La opción que corresponde a la respuesta esperada de este problema es la letra D y para llegar a ella, exige que el estudiante identifique la relación de la porción de comida del niño con los alimentos que consume enunciada en el problema (la comida de cada niño contiene una porción de cada uno de los tres alimentos), y sumar (aritmética) las cantidades correspondientes a cada una de las porciones de alimentos. Así, esta situación problema cumple con las características de los problemas de nivel C, a saber: - La información necesaria para resolverlo se encuentra en el enunciado. - Se propone un problema simple no rutinario. - La información necesaria para resolverlo se encuentra en el enunciado. - Es necesario reorganizar la información para poder resolverlo. - Requiere un solo paso para su solución. - Se plantea una situación hipotética caracterizada en su lenguaje por la forma "si sucede x, pasaría que... - Para solucionarlo solo se requiere una estrategia de alguno de estos dominios: aritmética, geometría o estadística. Pregunta de nivel D : (Pregunta No. 2) Andrés tiene una colección de carros miniatura. Natalia propuso diseñar las placas de estos carritos de acuerdo con las siguientes reglas: 1. Usar sólo las letras A y B 2. Usar sólo los números 4, 7 y 2 3. Cada placa debe tener una letra y los tres números 4. No puede repetirse un número en una misma placa 5. La letra siempre debe ir primero. Por ejemplo, la placa para un carro puede ser A 472 Cuántas placas distintas pueden diseñar Natalia y Andrés teniendo en cuenta las reglas establecidas?: 12
A. 5 B. 6 C. 12 D. 15 La opción C es la respuesta esperada para esta pregunta. Para llegar a ella, el estudiante debió reordenar varias veces los tres dígitos hasta llegar a generalizar y establecer las distintas posibilidades de combinación existentes; además, fue necesario inferir que ante la existencia de dos letras, la combinatoria que encontró correspondería por igual para cada una de ellas y entonces el número total de placas posible, de acuerdo con las normas dadas en el enunciado, sería dos veces el número de combinaciones posible. En otras palabras, para resolver el problema el estudiante debió realizar varios pasos: (1) reorganizar los datos, (2) establecer relaciones entre ellos, (3) estimar o inferir datos intermedios no explícitos en el enunciado (aritmética), (4) establecer la forma general de combinaciones, y finalmente (5) plantear la solución (estadística): 3! (3 factorial) para cada una de las dos letras A y B. Así, este problema está de acuerdo con las características del nivel D establecidas por el Icfes: - Es un problema complejo no rutinario. - Los datos del enunciado no permiten por sí mismos el desarrollo de su solución. - Los datos no están en el orden en el que se debe operar con ellos. - Se requieren otros pasos para su solución (es imposible resolverlos a través de un solo paso). - Están planteados en situaciones hipotéticas no típicas en el trabajo de determinados conceptos matemáticos escolares. - Su solución implica combinar estrategias de diferentes dominios de la matemática como: aritmética, geometría, y estadística. Para el correcto análisis e interpretación de los resultados por niveles de competencia (B, C, D, E y F) alcanzados por los y las estudiantes en las Pruebas Saber, en las distintas áreas evaluadas, es necesario tener en cuenta -además de las características de complejidad por niveles explicadas anteriormente para el caso de Matemáticas-, las siguientes: Los niveles son jerárquicos, es decir, van aumentando en complejidad; B es el mínimo nivel logrado y F el máximo nivel alcanzado en la Educación Básica, en donde se ha estimado que un(a) estudiante accede a la resolución de situaciones complejas si antes logra resolver situaciones relacionadas con ellas, pero de solución simple. Son inclusivos, lo que se deriva de la anterior característica, es decir, que alcanzar un determinado nivel de logro supone el domino de los anteriores y del mismo, al menos con el 60% de respuestas correctas. Existen unos mínimos esperados: el ideal que orienta las actividades de mejoramiento de la calidad es que la totalidad de estudiantes acceda al nivel más alto y de excelencia, que les permite actuar de manera competente: críticos y cuidadosos en el contenido y uso del 13
conocimiento; ingeniosos y estrategas en la solución de situaciones problema; comprensivos e intérpretes de los fenómenos naturales y sociales que los rodean; sensibles, afectuosos y motivados con sus propias potencialidades para cultivar su auto estima, el respeto a sí mismos y a los demás. Por cuanto el grado de desarrollo, el ritmo y estilo de aprendizaje son distintos en cada estudiante, el Icfes ha considerado metas mínimas en términos del porcentaje de personas que debieran superar cada nivel de logro (B, C, D, E y F), como se especifica a continuación. Para 5 grado se espera que el 95% de las y los estudiantes alcance o supere el nivel de logro mínimo B; el 75% alcance o supere el nivel de logro C, y el 55% el nivel de logro D (el de mayor complejidad para este grado). Así mismo, en 9º grado se espera que el 95% de los estudiantes supere el nivel de logro mínimo C, el 75% el nivel D, el 55% el nivel E y el 35% el nivel F (el de mayor complejidad). Como se puede observar, se estima una pérdida máxima del 20% de estudiantes al pasar de un nivel al siguiente. Ahora bien, la letra A, que no tiene una caracterización específica, representa el porcentaje de alumnos que no alcanza el nivel de logro mínimo. Su interpretación en términos cuantitativos es que el máximo porcentaje de estudiantes que no alcance los niveles mínimos sea inferior al 5% en cada uno de los dos grados evaluados. Sin embargo, esta interpretación debe hacerse de manera prudente porque, de acuerdo con las características de los niveles antes anotadas, que un estudiante sea ubicado en A no significa necesariamente que no haya dado respuestas acertadas en ítems correspondientes a los distintos niveles establecidos por la prueba, sin que ello signifique su dominio. Los esquemas que siguen muestran el porcentaje mínimo esperado en cada nivel, para cada grado y la exigencia que caracteriza a los ítems o preguntas de las pruebas para cada nivel de logro: 14
Niveles de logro y porcentaje de estudiantes esperado Área de Lenguaje: quinto y noveno grados Los resultados de las pruebas se comparan con estos porcentajes. Es deseable que sean superiores. Porcentaje de estudiantes esperado en 5 grado Porcentaje de estudiantes esperado en 9 grado 75% 55% D 55% E Relaciona la comprensión entre textos 35% F Comprensión crítica Reflexiona de manera crítica lo que lee. Utiliza su propio marco de conceptos y relaciona diversos textos. 95% B Comprensión superficial y fragmentada 95% 75% C Comprensión del significado básico del texto Comprensión con inferencias Hace deducciones y supuestos; lee entre líneas y complementa vacíos del texto. Expresa lo leído en otras palabras. Realiza selección y síntesis de la información. Lectura superficial. Comprensión literal. Solo entiende lo que está escrito y lo retiene de manera parcial. 15
Niveles de logro y porcentaje de estudiantes esperado en cada nivel Área de Matemáticas: quinto y noveno grados Los resultados de las pruebas se comparan con estos porcentajes. Es deseable que sean superiores. 95% B Porcentaje de estudiantes esperado en 5 grado Porcentaje de estudiantes esperado en 9 grado 95% 75% C Resolución de problemas simples 75% 55% D Resolución de problemas complejos 55% E Problemas complejos con estrategias de solución simples 35% F Problemas complejos con estrategias de solución múltiples La solución exige al estudiante combinar distintas estrategias. Requiere establecer submetas y combinar dominios. El estudiante debe descubrir relaciones no explícitas y generar estrategias de solución. Dos o más variables. Problemas complejos. Para su solución requieren más de un paso, reordenar datos del enunciado, inferir datos y combinar distintos dominios: aritmética, geometría Problemas hipotéticos simples. La solución exige el reordenamiento de la información dada en el enunciado. En su mayoría son de la forma: si sucede X, entonces Resolución de problemas cotidianos Problemas cotidianos de una sola variable. En el enunciado está la información y exigen solo una operación para su solución. 16
Niveles de logro y porcentaje de estudiantes esperado en cada nivel Área de Ciencias Naturales: quinto y noveno grados Los resultados de las pruebas se comparan con estos porcentajes. Es deseable que sean superiores. 95% B Porcentaje de estudiantes esperado en 5 grado Porcentaje de estudiantes esperado en 9 grado 95% 75% C Identifica procesos y eventos del mundo que nos rodea 75% 55% D Diferencia transformación e interacciones en el mundo que nos rodea 55% E Relaciona procesos biológicos, físicos y químicos 35% F Jerarquiza procesos biológicos, físicos y químicos Contrasta predicciones, propone conclusiones, discrimina y pondera diferentes variables a partir de procesos de los sistemas biológicos, físicos y químicos. Las situaciones exigen realizar predicciones, relaciones con más de una variable y descripciones de gráficas o esquemas a partir de procesos de los sistemas biológicos, físicos y químicos. Las situaciones exigen realizar constrastaciones, clasificaciones, inferencias y relaciones lógicas a partir de interacciones y cambios que se presentan en los seres vivos y en la materia. Las situaciones exigen discriminar, caracterizar y comparar eventos, fenómenos o procesos a partir de características biológicas, físicas, estructurales, etc. Reconoce el mundo que nos rodea Las situaciones exigen realizar descripciones, agrupamientos, relaciones directas y secuencias a partir de características observables. 17
Algunas orientaciones para el análisis de los resultados de las Pruebas Saber a partir de los niveles de logro La institución educativa, las entidades territoriales y el país pueden analizar los resultados por niveles de logro y hacer distintas interpretaciones o explicaciones que les sirvan de orientación para las distintas acciones de mejoramiento en sus planes de acción respectivos, tales como: Contrastar los resultados obtenidos en cada nivel de logro con los niveles esperados, incluido el porcentaje de estudiantes que no alcanza el nivel mínimo. Establecer la pérdida de estudiantes en términos de porcentaje ocurrida entre niveles de logro, en un mismo grado, y compararla con la máxima esperada (20%). Es importante identificar en qué niveles ocurren pérdidas superiores a lo esperado, para definir qué aspectos de los evaluados requieren mayor énfasis en los procesos de formación. Comparar el porcentaje de estudiantes obtenido en cada nivel de logro en 5º grado con los porcentajes correspondientes en cada nivel en 9º grado, establecer las diferencias y tenerlas en cuenta a la hora de diseñar las acciones de mejoramiento. Comparar los tres análisis anteriores con los resultados que presentan distintos grupos de referencia, tales como municipio, departamento o país, análisis que puede orientar la fijación de metas de mejoramiento. Resultados por puntaje promedio y dispersión El puntaje promedio indica el comportamiento global de los estudiantes a nivel individual, institucional, municipal, departamental o nacional. Este puntaje da cuenta del desempeño general en relación con los diferentes niveles de dificultad que existen en la prueba. En cada una de las pruebas, y por cada grado (5º y 9º), el puntaje fluctúa entre 0 y 100 puntos aproximadamente. Por su parte, la medida de la dispersión o desviación estándar refleja qué tan homogéneos o heterogéneos son los resultados, es decir, informa si los puntajes individuales obtenidos por las y los estudiantes son similares entre sí o, por el contrario, hay algunos estudiantes con puntajes muy altos y otros con puntajes muy bajos. Se espera entonces que el promedio sea alto, es decir, que tienda a 100 y que la desviación estándar sea baja, es decir, tienda a 0. En este tipo de resultados podemos obtener cuatro posibilidades de análisis de acuerdo con la relación entre puntaje promedio y desviación estándar: 1) El puntaje promedio de la institución es mayor o superior al del grupo de referencia (municipio, departamento o país), pero su desviación estándar es menor o inferior a la de dichos grupos de referencia. Ello significa que el puntaje promedio obtenido por la institución superó al del grupo de referencia, y que el desempeño de los 18
estudiantes en las pruebas fue homogéneo. Es decir, la mayoría de los estudiantes tuvieron mejores desempeños que los del grupo de referencia: Este es un resultado deseable en términos de calidad, al que toda institución debe aspirar mediante la realización de planes de mejoramiento (ver Figura 1). 2) El puntaje promedio y su desviación estándar son mayores o superiores a los del grupo de referencia (municipio, departamento o país). Ello significa que algunos de sus estudiantes obtuvieron puntaje promedio muy alto, pero hay otros estudiantes de la misma institución que obtuvieron resultados muy bajos (ver Figura 2). 3) El puntaje promedio y su desviación estándar son menores o inferiores (lo contrario del caso anterior) a los del grupo de referencia (municipio, departamento o país). Ello significa que los estudiantes de la institución en su mayoría tiene bajos niveles en el desarrollo de competencias (ver Figura 3). 4) El puntaje promedio es menor o inferior al del grupo de referencia (municipio, departamento o país), pero la desviación estándar es superior a la de dicho grupo de referencia. Ello significa que la media de la institución estuvo por debajo de la media de dicho grupo de referencia y que los resultados presentan alta dispersión; en otras palabras, en la institución la mayoría de los estudiantes presentan desempeños bajos, pero dentro de ellos hay quienes presentan desempeños supremamente bajos (ver Figura 4). 19
57 56.62 INSTITUCIÓN 57 56.62 INSTITUCIÓN PUNTAJE PROMEDIO 54 52.82 51 NASCIONAL PUNTAJE PROMEDIO 54 52.82 51 NASCIONAL 48 48 45 6.50 8.59 10.06 6 8 10 12 DESVIACIÓN ESTÁNDAR 45 8.59 10.06 6 8 10 12 DESVIACIÓN ESTÁNDAR Figura 1. Puntaje promedio superior y desviación estándar inferior Figura 2. Puntaje promedio y desviación estándar superiores 57 57 PUNTAJE PROMEDIO 54 52.82 51 49.35 INSTITUCIÓN NASCIONAL PUNTAJE PROMEDIO 54 52.82 51 49.35 NASCIONAL INSTITUCIÓN 48 48 45 6.50 8.59 10.06 6 8 10 12 DESVIACIÓN ESTÁNDAR Figura 3. Puntaje promedio y desviación estándar inferiores 45 6.50 8.59 10.06 6 8 10 12 DESVIACIÓN ESTÁNDAR Figura 4. Puntaje promedio inferior y desviación estándar superior Algunas orientaciones para el análisis de los resultados por puntaje promedio y dispersión Como se explicó antes, las alternativas de análisis e interpretación para este tipo de resultados son variadas y no solamente permiten comparar los resultados de la institución con distintos grupos de referencia (municipios, departamentos, nación) sino también aquellos obtenidos por los estudiantes dentro de una misma institución, mediante la estimación de las diferencias de los promedios y las desviaciones estándar entre: Las distintas áreas evaluadas, análisis que sirve para orientar los ajustes en currículo y plan de estudios del PEI, con el fin de equilibrar o lograr mayor homogeneidad de los aprendizajes entre los estudiantes; a su vez, para las Secretarías de Educación resulta de gran ayuda en la toma de decisiones para focalizar su apoyo específico a la gestión académica en municipios o instituciones en los cuales su alta desviación 20