Sistema Nacional de Evaluación Estandarizada de la Educación. Alineación del examen SABER 11

Transcripción

1 Sistema Nacional de Evaluación Estandarizada de la Educación Alineación del examen SABER 11

2 Libert Libertad Orden y Orden Presidente de la República Juan Manuel Santos Calderón Ministra de Educación Nacional María Fernanda Campo Saavedra Viceministro de Educación Preescolar, Básica y Media Julio Salvador Alandete Arroyo Esto es construir un pa s justo. Estamos transformando a Colombia. Directora General Margarita Peña Borrero Secretaria General Gioconda Piña Elles Director de Evaluación Julián Patricio Mariño von Hildebrand Director de Producción y Operaciones Edgar Rojas Gordillo Jefe Oficina Asesora de Gestión de Proyectos de Investigación Adriana Molina Mantilla Subdirectora de Diseño de Instrumentos Flor Patricia Pedraza Daza Subdirectora de Análisis y Divulgación Maria Isabel Fernandes Cristóvão Elaboración del documento Reinaldo Bernal Velásquez (coordinador) Diagramación Alejandra Guzmán Escobar Paula Osorio Arana Bogotá, D.C., diciembre de 2013 Advertencia Con el fin de evitar la sobrecarga gráfica que supondría utilizar en español o/a para denotar uno u otro género, el ICFES opta por emplear el masculino genérico en el que todas las menciones de este se refieren siempre a hombres y mujeres. ICFES Todos los derechos de autor reservados. Todo el contenido es propiedad exclusiva y reservada del ICFES y es el resultado de investigaciones y obras protegidas por la legislación nacional e internacional. No se autoriza su reproducción, utilización ni explotación a ningún tercero. Solo se autoriza su uso para fines exclusivamente académicos. Esta información no podrá ser alterada, modificada o enmendada.

3 TÉRMINOS Y CONDICIONES DE USO PARA PUBLICACIONES Y OBRAS DE PROPIEDAD DEL ICFES El Instituto Colombiano para la Evaluación de la Educación (ICFES) pone a la disposición de la comunidad educativa y del público en general, DE FORMA GRATUITA Y LIBRE DE CUALQUIER CARGO, un conjunto publicaciones a través de su portal Dichos materiales y documentos están normados por la presente política y están protegidos por derechos de propiedad intelectual y derechos de autor a favor del ICFES. Si tiene conocimiento de alguna utilización contraria a lo establecido en estas condiciones de uso, por favor infórmenos al correo prensaicfes@icfes.gov.co. Queda prohibido el uso o publicación total o parcial de este material con fines de lucro. Únicamente está autorizado su uso para fines académicos e investigativos. Ninguna persona, natural o jurídica, nacional o internacional, podrá vender, distribuir, alquilar, reproducir, transformar ( 1 ), promocionar o realizar acción alguna de la cual se lucre directa o indirectamente con este material. Esta publicación cuenta con el registro ISBN (International Standard Book Number, o Número Normalizado Internacional para Libros) que facilita la identificación no sólo de cada título, sino de la autoría, la edición, el editor y el país en donde se edita. En todo caso, cuando se haga uso parcial o total de los contenidos de esta publicación del ICFES, el usuario deberá consignar o hacer referencia a los créditos institucionales del ICFES respetando los derechos de cita; es decir, se podrán utilizar con los fines aquí previstos transcribiendo los pasajes necesarios, citando siempre la fuente de autor ) lo anterior siempre que estos no sean tantos y seguidos que razonadamente puedan considerarse como una reproducción simulada y sustancial, que redunde en perjuicio del ICFES. Asimismo, los logotipos institucionales son marcas registradas y de propiedad exclusiva del Instituto Colombiano para la Evaluación de la Educación (ICFES). Por tanto, los terceros no podrán usar las marcas de propiedad del ICFES con signos idénticos o similares respecto de cualesquiera productos o servicios prestados por esta entidad, cuando su uso pueda causar confusión. En todo caso queda prohibido su uso sin previa autorización expresa del ICFES. La infracción de estos derechos se perseguirá civil y, en su caso, penalmente, de acuerdo con las leyes nacionales y tratados internacionales aplicables. El ICFES realizará cambios o revisiones periódicas a los presentes términos de uso, y los actualizará en esta publicación. El ICFES adelantará las acciones legales pertinentes por cualquier violación a estas políticas y condiciones de uso. * La transformación es la modificación de la obra a través de la creación de adaptaciones, traducciones, compilaciones, actualizaciones, revisiones, y, en general, cualquier modificación que de la obra se pueda realizar, generando que la nueva obra resultante se constituya en una obra derivada protegida por el derecho de autor, con la única diferencia respecto de las obras originales que aquellas requieren para su realización de la autorización expresa del autor o propietario para adaptar, traducir, compilar, etcétera. En este caso, el ICFES prohíbe la transformación de esta publicación.

4 Contenido Introducción Antecedentes La ley 1324 de Qué es la evaluación estandarizada? La formación en competencias SABER Exámenes de educación básica y de educación superior La consolidación del Sistema Nacional de Evaluación Estandarizada Modificaciones propuestas para SABER El examen SABER 11 resultante Referencias Anexos Pruebas del examen SABER 11 propuesto y estudios que respaldan la alineación Anexo 1. La prueba de Lectura Crítica Anexo 2. La prueba de Matemáticas Anexo 3. La prueba de Sociales y Ciudadanas Anexo 4. La prueba de Ciencias Naturales Anexo 5. La prueba de Inglés Anexo 6. Estudios que respaldan la propuesta de alineación

5 Introducción Este documento presenta una propuesta de cambios en el examen de Estado de la educación media, SABER 11, y justifica su implementación 1. El ICFES y el Ministerio de Educación Nacional (MEN) han trabajado durante más de tres años en la propuesta, siguiendo un mandato del Plan Nacional de Desarrollo Estos cambios consisten en alinear el examen SABER 11 dentro del conjunto de pruebas SABER de manera que se consolide el Sistema Nacional de Evaluación Estandarizada de la Educación (SNEE) y en la introducción de una serie de mejoras. Es importante señalar que, si bien el trabajo de revisión adelantado ha sido extenso y profundo, los cambios que se proponen para el examen SABER 11 vigente (en 2013) no constituyen modificaciones sustanciales ni en sus condiciones de aplicación ni en su alcance. Se mantendría la orientación que tiene hacia la evaluación de competencias aquellas especificadas en los Estándares Básicos de Competencias en Lenguaje, Matemáticas, Ciencias y Ciudadanas (MEN 2006) 2. De hecho, esta orientación se haría más clara y consistente. Durante 2013 el ICFES ha estado presentando la propuesta de cambios en SABER 11 en diferentes eventos dirigidos a la comunidad académica. Está previsto que el debate continúe desarrollándose durante los primeros meses de 2014 y que, tras recoger las recomendaciones que se decanten, se implementen algunos cambios para la aplicación del examen a partir del segundo semestre de Sin embargo, es preciso tener en cuenta que, como se verá más adelante, la legislación vigente y cuestiones técnicas sólidamente sustentadas exigen la modificación del examen SABER 11 actual siguiendo las líneas generales que se describirán en este documento. La discusión y recomendaciones sobre los cambios en SABER 11 deben entonces focalizarse exclusivamente sobre puntos específicos relacionados con las características de las pruebas que se propone conformarán el examen, y con los resultados que arrojarían. 1 Este documento fue elaborado por Reinaldo Bernal Velásquez, contratista de la Subdirección de Diseño de Instrumentos (ICFES) y Julián Mariño Von Hildebrand, Director de Evaluación (ICFES), bajo la dirección de Margarita Peña Borrero (Directora General del ICFES). Contó con la colaboración de Patricia Pedraza Daza (Subdirectora de Diseño de Instrumentos - ICFES), Maria Isabel Fernandes Cristovao (Subdirectora de Análisis y Divulgación - ICFES), Adriana Molina Mantilla (Jefe de la Oficina de Gestión de Proyectos de Investigación - ICFES), María Isabel Patiño Gómez (contratista de la Subdirección de Diseño de Instrumentos - ICFES), y un comité de asesores externos conformado por Carlos Eduardo Vasco Uribe, Mauricio Duque Escobar, Ángela Bermúdez Vélez y Javier Sáenz Obregón. 2 De ahora en adelante nos referiremos a este documento como los Estándares. 5

6 En términos generales, los cambios propuestos en SABER 11 consisten en: Alinear el examen Por alinear el examen se entiende, en pocas palabras, modificar su estructura de manera que los resultados que arroje sean directamente comparables con los de los otros exámenes del SNEE: SABER 3, SABER 5, SABER 9 y SABER PRO. Esta alineación puede conseguirse mediante una reestructuración en torno a la evaluación de competencias genéricas. Se propone, en primer lugar, introducir una prueba de Competencias Ciudadanas. En segundo lugar, distinguir en la prueba de Matemáticas entre lo que es genérico y lo que no lo es. Y, finalmente, fusionar diferentes pruebas en torno a las competencias genéricas que evalúan en común: Lenguaje y Filosofía se fusionarían en una prueba de Lectura Crítica; Física, Química y Biología se fusionarían en una prueba de Ciencias Naturales (que incluiría un el componente de Ciencia, Tecnología y Sociedad establecido en los Estándares); y las competencias ciudadanas se evaluarían a través de una prueba de Sociales y Ciudadanas. Introducir mejoras El nuevo examen mejoraría, con respecto al vigente, gracias a la implementación de tres modificaciones: se aumentaría el número de preguntas por prueba, se incorporarían preguntas abiertas, y se eliminaría el componente flexible. Además, se divulgarían las especificaciones de las competencias evaluadas en cada prueba del nuevo examen SABER 11 con el objeto de informar detalladamente a la comunidad educativa sobre aquello que se evaluaría. A continuación se exponen, en primer lugar, algunos antecedentes de la presente propuesta. Incluyen la Ley 1324 de 2009, referencias conceptuales, y una descripción de los exámenes que conforman actualmente el SNEE en particular de SABER 11. En segundo lugar, se justifica la necesidad de introducir cambios en el examen SABER 11. En tercer lugar, se describe en qué consisten los cambios propuestos. En cuarto lugar, se describe la estructura que tendría el nuevo examen SABER 11. Finalmente, a manera de anexos, se presentan descripciones detalladas de las modificaciones que se implementarían en cada una de las pruebas y se relacionan los principales estudios y validaciones de la propuesta. 6

7 1. Antecedentes En este capítulo se presentará brevemente el marco jurídico que rige la labor del ICFES, se introducirán nociones que juegan un papel central en la propuesta que presenta este documento evaluación estandarizada y competencias y se presentarán los diferentes exámenes que componen el SNEE. 1.1 La ley 1324 de 2009 En 2009 la Ley 1324 estableció parámetros y criterios para organizar el sistema de evaluación de resultados de la calidad de la educación, [ ] normas para el fomento de una cultura de la evaluación, en procura de facilitar la inspección y vigilancia del Estado y la transformación del ICFES. En virtud de esta ley, el ICFES se convirtió en una empresa social del Estado, de carácter oficial, que ofrece servicios de evaluación de la educación en todos sus niveles y se ocupa de los exámenes de Estado. En particular, el ICFES debe cumplir con la siguiente tarea: [ ] Desarrollar la fundamentación teórica, diseñar, elaborar y aplicar instrumentos de evaluación de la calidad de la educación, dirigidos a los estudiantes de los niveles de educación básica, media y superior, de acuerdo con las orientaciones que para el efecto defina el Ministerio de Educación Nacional. [ ] (Artículo 12). Es preciso señalar que es el MEN, y no el ICFES, quien establece los propósitos y efectos de las evaluaciones, y determina qué es aquello que debe ser evaluado. El ICFES cumple con la función técnica de diseñar, aplicar y analizar las evaluaciones siguiendo las orientaciones del MEN. A propósito de los exámenes de Estado, cabe destacar que de acuerdo con la Ley 1324 de 2009, [ ] La estructura de los exámenes deberá mantenerse por períodos no menores a 12 años, sin perjuicio de que se incluyan áreas o estudios particulares que no alteren su comparabilidad en el tiempo. La presentación de los exámenes de Estado es requisito para ingresar a los programas de pregrado y obtener el título respectivo [ ]. (Artículo 7 ). 7

8 En la actualidad el ICFES diseña y aplica dos exámenes de Estado: SABER 11 y SABER PRO, y tres exámenes de educación básica: SABER 3, SABER 5 y SABER 9. Además, procesa, analiza y reporta los resultados correspondientes. Estos exámenes están estandarizados, en la medida en que se busca evaluar a todos los estudiantes que corresponda de la misma manera. En el siguiente numeral se desarrolla este punto. 1.2 Qué es la evaluación estandarizada? Cada uno de los exámenes de Estado y de educación básica que aplica el ICFES está dirigido a la totalidad de estudiantes del país que se encuentran en determinado nivel de la formación educativa. Estos exámenes están estandarizados, en la medida en que las condiciones de aplicación y el procesamiento de los resultados son uniformes. Todos los evaluados que se encuentren en determinado nivel o que hayan seguido determinado tipo de formación presentan exámenes que comparten todas sus características técnicas. De esta manera, se garantiza la objetividad de los resultados que se producen, y se obtienen mediciones uniformes y robustas de poblaciones e instituciones diversas que permiten la realización de análisis comparativos, incluso en distintos momentos del tiempo. Es importante tener en cuenta, a propósito de los exámenes estandarizados realizados por el ICFES, las siguientes tres acotaciones. En primer lugar, los exámenes estandarizados no pretenden ser la medida absoluta de la calidad de la educación, y no reemplazan la evaluación interna que llevan a cabo las instituciones. Por un lado, dadas las restricciones derivadas del carácter estandarizado de los exámenes externos, relacionadas con su formato y el procesamiento de los resultados, la evaluación interna es un complemento necesario de la evaluación externa realizada por el ICFES. Por otro lado, independientemente de que se apliquen o no exámenes estandarizados, la evaluación interna constituye un elemento esencial de la formación educativa. En segundo lugar, a la política de aplicar evaluaciones estandarizadas no subyace un desconocimiento de la diversidad que existe entre los grupos de evaluados, a nivel cultural, económico y social, y en el tipo de educación que reciben. Se aplican exámenes estandarizados dirigidos a la totalidad de la población de estudiantes que se encuentren en determinado nivel de la formación en lugar de exámenes específicos para subpoblaciones, dado el objetivo de poder comparar la calidad de la educación que estas reciben. De esa manera, se pueden detectar y caracterizar detalladamente las diferencias en la educación que reciben diferentes subpoblaciones, y sobre esta base se pueden tomar medidas cuando sea posible y pertinente. En tercer lugar, la existencia de evaluaciones externas estandarizadas no exige ni pretende que se orienten de una misma manera los diferentes programas pedagógicos. El ICFES evalúa competencias básicas: aquellas que es indispensable desarrollar independientemente de la especificidad que pueda presentarse en las diferentes instituciones educativas. 8

9 A continuación se presentarán algunas consideraciones relacionadas con la precisión de las mediciones que proveen los exámenes estandarizados. Precisión en exámenes estandarizados Una característica muy importante de un examen estandarizado es su precisión, es decir, qué tan grande es el margen de error de las mediciones que produce. A continuación se presentarán algunas consideraciones sobre el impacto que tienen sobre la precisión del examen dos factores relacionados con características formales. A partir de esas consideraciones podrá comprenderse por qué algunas de las modificaciones que se propone implementar en el examen SABER 11 constituyen mejoras. El primer factor es el número de preguntas. Un examen estandarizado está constituido por un conjunto de pruebas, cada una con un determinado número de preguntas que incide sobre su precisión: a menor número de preguntas menor precisión ceteris paribus. Esto es claro intuitivamente: entre más preguntas enfrenta un estudiante, más información se obtiene sobre él 3. El segundo factor es el tipo de preguntas que incluye la prueba: si son cerradas o abiertas. Las preguntas cerradas son aquellas que proponen una serie de respuestas posibles, entre las cuales el evaluado escoge. Las preguntas abiertas, en cambio, no restringen las respuestas posibles a un conjunto finito de opciones. A continuación se explicarán brevemente algunas ventajas y desventajas de las preguntas cerradas frente a las abiertas. Por un lado, las preguntas cerradas tienen dos grandes ventajas frente a las abiertas. Primero, no dan lugar a equívocos en la evaluación de las respuestas. Queda perfectamente definido qué respuesta propuso un evaluado, y está establecido de antemano qué opción de respuesta es la correcta. Por el contrario, la evaluación de preguntas abiertas depende de la interpretación que el evaluador haga de la respuesta y de los criterios que aplique. Segundo, las preguntas cerradas facilitan el procesamiento de los resultados, en la medida en que este puede realizarse con sistemas automáticos. En contraste, las preguntas abiertas exigen la participación de evaluadores, lo que implica mayores inversiones de tiempo, esfuerzo y recursos económicos frente al caso del procesamiento automático. Por otro lado, las preguntas cerradas tienen dos grandes desventajas frente a las abiertas. En primer lugar, los resultados obtenidos mediante preguntas cerradas siempre conllevan 3 La precisión de las mediciones individuales el resultado por estudiante naturalmente afecta el de las mediciones institucionales el resultado por institución pues estas últimas se derivan de los resultados individuales que obtienen los estudiantes correspondientes. Sin embargo, por cuestiones estadísticas, el nivel de precisión de las mediciones institucionales es mayor que el de las mediciones individuales. 9

10 imprecisiones derivadas de las respuestas dadas al azar: en la medida en que cada pregunta cerrada ofrece un número relativamente pequeño de opciones de respuesta, siempre hay una probabilidad relativamente grande de proponer la respuesta correcta mediante una selección aleatoria. Por esta razón, la correcta resolución de la pregunta cerrada no provee una evidencia definitiva de que el estudiante sabe la respuesta. En contraste, en la medida en que el espacio de respuestas posibles frente a una pregunta abierta es virtualmente ilimitado, la probabilidad de contestar correctamente por azar es sumamente pequeña. Una respuesta correcta a una pregunta abierta provee una evidencia prácticamente definitiva de que el estudiante sabe la respuesta. En segundo lugar, la probabilidad de contestar correctamente una pregunta cerrada aumenta gracias a la preparación artificial : el entrenamiento que persigue el éxito en una prueba mediante el aprendizaje de técnicas o estrategias para contestar preguntas con el formato de respuesta múltiple. Con las preguntas abiertas, por el contrario, no hay lugar para ese tipo de preparación. 1.3 La formación en competencias Actualmente, el MEN concibe el objetivo de la educación como el desarrollo de determinadas competencias y, en consecuencia, a estas como el objeto de la evaluación. A continuación se expondrá brevemente la noción de competencias y su integración en los documentos de orientación de la educación elaborados por el MEN. La noción de competencias El término competencias en el contexto académico y, en particular, en lo que se refiere a las teorías de la educación, se utiliza con diferentes significados 4. Para especificar cómo ha de comprenderse competencia en el presente documento se propone la siguiente definición: conjunto de conocimientos, habilidades, actitudes, comprensiones y disposiciones cognitivas, metacognitivas, socioafectivas, comunicativas y psicomotoras apropiadamente relacionadas entre sí para facilitar el desempeño flexible, eficaz y con sentido de una actividad o de cierto tipo de tareas en contextos relativamente nuevos y retadores (Vasco 2003). Ahora bien, concebir el propósito de la educación como el desarrollo de competencias contrasta entonces con la idea según la cual este consiste en transmitir conocimientos declarativos. Bajo la primera concepción, se afirma que educar es desarrollar un saber hacer en contexto antes que transmitir conocimientos del tipo saber que. La decisión de privilegiar la formación en competencias sobre la transmisión de conocimientos declarativos se apoya en el siguiente argumento: un ciudadano que ha desarrollado una serie de 4 Véanse Acosta & Vasco (2013); Rychen & Salganik (2001); Rychen & Salganik (2003). 10

11 competencias está en capacidad de utilizar los conocimientos declarativos que posee y de adquirir nuevos conocimientos o competencias para enfrentar adecuadamente los diferentes problemas o situaciones que se le presenten. Por el contrario, un ciudadano que adquirió múltiples conocimientos declarativos pero no desarrolló cabalmente competencias, solo puede hacer un uso muy limitado de esos conocimientos y enfrenta serias dificultades para adquirir nuevos conocimientos y desarrollar otras competencias. Este último ciudadano no está convenientemente preparado para afrontar algunas situaciones propias de contextos académicos, laborales, cívicos, etc. Es muy importante tener presente que como se observa en la definición propuesta competencias y conocimientos no son categorías excluyentes. El conocimiento de determinados conceptos, técnicas e información es necesario para contar con cierta competencia, y sin algunos conocimientos sobre el contexto (real o hipotético) que se enfrenta no es posible ejercitarla. Luego, en la medida en que las competencias involucran siempre conocimientos, al evaluar una competencia también se evalúa la posesión de ciertos conocimientos. Cabe anotar que, en la formulación de las preguntas diseñadas por el ICFES, los conocimientos sobre los contextos que enmarcan las preguntas y que resultan necesarios para su adecuada interpretación se proveen. Sin embargo, es claro que siempre habrá, inevitablemente, un mínimo de cultura general y de conocimientos que se adquieren por fuera de las instituciones educativas que resultan necesarios para la correcta interpretación de las preguntas. Las competencias genéricas Dentro de las diferentes competencias que pueden desarrollarse a lo largo del proceso educativo hay una categoría que merece especial atención: la de las competencias genéricas, entendidas como aquellas que resultan indispensables para el desempeño social, laboral y cívico de todo ciudadano, independientemente de su oficio o profesión. Contrastan con las competencias (no-genéricas) propias de oficios o actividades laborales particulares, que resultan de un entrenamiento especializado. Por esa razón, las competencias genéricas han sido catalogadas como competencias para la vida. Es importante insistir en que competencias genéricas no se refiere simplemente a competencias desde el punto de vista del funcionamiento básico de la sociedad y la supervivencia inmediata de los individuos. Se refiere a competencias desde la perspectiva de una vida exitosa y una sociedad que funcione adecuadamente, teniendo en cuenta los beneficios sociales que puede brindar un individuo adecuadamente educado para una economía productiva, la democracia, la cohesión social y la paz. A nivel individual, los beneficios que pueden traer las competencias llevan a una participación exitosa en el mercado laboral, en procesos políticos, y en contextos sociales; y a relaciones interpersonales armónicas y una satisfacción general con la vida propia. (Rychen & Salganik 2003, p. 5; traducido del inglés). 11

12 Se han propuesto en la literatura especializada múltiples definiciones de competencia genérica, diferentes conjuntos de competencias que serían las genéricas, y diversas caracterizaciones de estos elementos 5. Sin embargo, parece haber consenso sobre la importancia central que tienen las competencias en lectura, escritura, matemáticas y ciudadanía, por lo menos en lo que concierne a sociedades como la colombiana. En efecto, todo ciudadano de nuestro país, cualquiera sea su oficio o profesión, se verá enfrentado a la necesidad o deseo de leer, de escribir, de calcular y de interactuar socialmente. Todos los colombianos deberían estar en capacidad, por ejemplo, de leer (y comprender) periódicos, manuales y reglamentos; de escribir (correctamente) cartas y llenar formularios; de calcular el valor de una cuenta y realizar un presupuesto; y de respetar, hacer valer y ejercer los derechos y deberes cívicos. De hecho, entre más se hayan desarrollado esas competencias en todos los ciudadanos tanto mejor 6. Por todo lo anterior, el desarrollo de competencias genéricas es o debe ser el objetivo primordial de la educación básica y media, y un componente esencial de la educación superior. En efecto, la educación básica debe tener como objetivo el desarrollo de competencias genéricas, y gracias a ellas debe sentar las bases para el desarrollo de algunas competencias no-genéricas en la educación media. A la vez, el perfeccionamiento de las competencias genéricas en la educación media debe sentar unas bases sólidas para el desarrollo de competencias no-genéricas en la educación superior. Y en la medida en que las competencias genéricas son esenciales para un adecuado desempeño en ámbitos laborales, sociales, cívicos, académicos, etc., es imperativo que la educación superior contribuya significativamente a la consolidación de la formación en ese tipo de competencias. En lo que se refiere en particular a la formación en competencias genéricas dentro de los diferentes ciclos educativos, cabe resaltar que, dada la naturaleza de esas competencias, esta formación tiene o debe tener las características de ser: Longitudinal Las competencias genéricas deben desarrollarse a lo largo de la totalidad del proceso educativo; todos los ciclos deben contribuir significativamente a ello. Es más: las competencias genéricas deben verse como aquello que brinda un elemento articulador de los diferentes niveles de formación y deben servir como referente común de lo que se debe aprender a lo largo de la trayectoria en el sistema educativo. 5 Véase Rychen & Salganik (2001). 6 Véase Rychen & Salganik (2003). 12

13 Transversal Todas las áreas curriculares deben contribuir al desarrollo de competencias genéricas. Es claro que todas las clases, ejercicios, etc. que se desarrollan en las instituciones educativas involucran, en mayor o menor medida según sea el caso, competencias genéricas; por ejemplo, competencias relacionadas con la lectura. En esa medida, todas las áreas curriculares pueden y deben contribuir al perfeccionamiento de competencias genéricas. Es importante señalar que contar con una competencia genérica más que poseer un conocimiento, es saber utilizarlo de manera adecuada y flexible en nuevas situaciones (Torrado 2000), y que supone poseer la sensibilidad para identificar situaciones en donde pueda aplicarse de manera pertinente y adecuada (Acosta & Vasco 2013). Luego, si bien la formación en competencias genéricas tiene lugar en gran medida en el interior de las instituciones educativas 7, estas competencias deben desarrollarse de tal manera que puedan aplicarse adecuada y oportunamente en otro tipo de contextos, durante el ciclo educativo y una vez este haya finalizado. En síntesis, las competencias genéricas son fundamentales para un desempeño adecuado de todo estudiante y ciudadano; no existe un punto en la formación académica (ni posteriormente) en el cual no resulte posible y conveniente seguirlas desarrollando, y en esa medida han de constituir el eje central de la educación a lo largo de todos los ciclos que la conforman. La orientación de la educación nacional hacia el desarrollo de competencias En 1998 el MEN publicó la Serie Lineamientos Curriculares para la educación preescolar, básica y media 8. Estos se presentaron como puntos de apoyo y de orientación general frente al postulado de la Ley [115 de 1994] que nos invita a entender el currículo como...un conjunto de criterios, planes de estudio, programas, metodologías y procesos que contribuyen a la formación integral y a la construcción de la identidad cultural nacional, regional y local... (Artículo 76). En esos Lineamientos ya puede identificarse una concepción de la educación nacional como orientada hacia el desarrollo de competencias. Se afirma que [lo] básico [en la educación] está constituido más por competencias, habilidades, actitudes y valores que por los contenidos aprendidos en la forma tradicional (MEN 1998). Con la subsiguiente elaboración, entre 2003 y 2006, de los Estándares guía oficial de la educación básica y media en el país la orientación de la educación hacia el desarrollo de competencias se estableció explícitamente como política nacional. En efecto, de acuerdo 7 El desarrollo de algunas competencias, y en particular de las competencias ciudadanas, trasciende el contexto académico involucrando a otras instituciones o a la sociedad en general. 8 De ahora en adelante nos referiremos a ese documento como los Lineamientos. 13

14 con los Estándares [lo] que en últimas se busca con el proceso educativo es el desarrollo de un conjunto de competencias cuya complejidad y especialización crecen en la medida en que se alcanzan mayores niveles de educación. La noción de competencia, históricamente referida al contexto laboral, ha enriquecido su significado en el mundo de la educación en donde es entendida como saber hacer en situaciones concretas que requieren la aplicación creativa, flexible y responsable de conocimientos, habilidades y actitudes (MEN 2006). Ahora bien, tanto los Lineamientos como los Estándares hacen énfasis en que lo fundamental durante el proceso educativo es el desarrollo de aquellas competencias que hemos denominado genéricas. De hecho, hasta noveno grado final de la educación básica la formación se orienta mayoritariamente hacia aquello que es genérico. Y la educación media, a pesar de que incluye un componente importante de elementos no-genéricos, mantiene esa orientación. En 2009, con la publicación de la Propuesta de Lineamientos para la Formación por Competencias en Educación Superior por parte del MEN, el precepto de desarrollar las competencias genéricas en los estudiantes se extendió explícitamente hasta ese nivel educativo. Quedó establecido que todas las instituciones de educación superior deben contribuir al desarrollo de las competencias genéricas y no solamente al de competencias específicas a cada tipo de programa. En síntesis, los lineamientos curriculares, los Estándares y los lineamientos para la educación superior orientan la educación hacia el desarrollo de competencias y, en particular, de competencias genéricas. En esa medida, esas competencias constituyen un eje que articula los diferentes niveles de la educación. A continuación se presentarán los diferentes exámenes que aplica en la actualidad el ICFES, haciendo énfasis en SABER SABER 11 El examen del ICFES, hoy llamado SABER 11, fue creado en 1968 con el objeto exclusivo de apoyar los procesos de admisión de las universidades. No era un requisito para el ingreso a la educación superior en el país; se volvió obligatorio para ese propósito a partir de Aunque no fuera su propósito inicial, los resultados del examen del ICFES se empezaron a utilizar, cada vez más, para evaluar la calidad de la educación impartida por los colegios. Esto quedó reglamentado en el Decreto 2343 de 1980, el mismo que volvió obligatoria la presentación del examen para ingresar a cualquier programa de educación superior. En su artículo 4, se estableció que el ICFES debía reportarle al MEN la información agregada de resultados por colegios, con el fin de que esa entidad tomara las medidas que aplicaran. 14

15 La reforma principal que se le ha hecho al examen del ICFES tuvo lugar en el año Hasta entonces el examen se concentraba en la evaluación de conocimientos y aptitudes, y a partir de ese año se orientó hacia la evaluación de competencias directamente ligadas a resultados educativos y a logros verificables en consonancia con lo que habían establecido los Lineamientos. La adopción de ese enfoque fue posible, fundamentalmente, gracias a las incursiones que había realizado el Servicio Nacional de Pruebas del ICFES en la evaluación de resultados de la educación básica durante los años noventa. Fue en la construcción de las primeras versiones de las pruebas SABER que se exploraron las prácticas de evaluación educativa de su momento en el mundo entero y que se decidió adoptar la más novedosa de ellas: la evaluación de competencias. Mediante la implementación de instrumentos de evaluación que tenían competencias como su objeto, y la de modelos de la teoría de respuesta al ítem para procesar los resultados 9, el ICFES ubicó a Colombia en la vanguardia de la evaluación de la educación. La reforma de 2000 dio lugar a un examen con una estructura que sigue las áreas curriculares de educación media establecidas en los Lineamientos 10. Esta estructura se ha mantenido hasta la actualidad. El examen SABER 11 vigente cuenta con nueve pruebas listadas a continuación, ocho en un núcleo común y una electiva. Núcleo común. Consta de aquellas pruebas que deben ser presentadas por todos los evaluados: Lenguaje Matemáticas Biología Física Química Ciencias Sociales 11 Filosofía Inglés 12 9 Los modelos de la teoría de respuesta al ítem son modelos estadísticos que permiten analizar y procesar los resultados de exámenes estandarizados. 10 En el artículo 23 de la Ley General de Educación Ley 115 de 1994 se establecen áreas obligatorias y fundamentales del conocimiento y de la formación. Así mismo, en el artículo 31 se define que las áreas fundamentales de la educación media académica serán las mismas de la educación básica en un nivel más avanzado, además de las ciencias económicas, políticas y la filosofía. 11 En 2006 las pruebas de Historia y Geografía fueron reemplazadas por la prueba de Ciencias Sociales. 12 En 2007 la prueba de Idiomas se restringió a la evaluación de Inglés (anteriormente se ofrecían, además, Francés y Alemán). 15

16 Componente flexible. Está conformado por cuatro pruebas de profundización y dos interdisciplinares 13. Cada evaluado escoge una de las siguientes, de acuerdo con sus intereses: Profundización en Lenguaje Profundización en Matemáticas Profundización en Sociales Profundización en Biología Medio ambiente Violencia y sociedad Este examen se diligencia en su totalidad con papel y lápiz, y todas las preguntas son cerradas: se presentan cuatro opciones de respuesta de las cuales una (y solo una) es correcta 14. Antes de 2005 la duración del examen era de tres sesiones de medio día cada una. Cada prueba contaba con un total de 35 preguntas. En 2005, para responder a dificultades logísticas 15, se redujo el tiempo de aplicación a un día (dos sesiones), y se redujo el número de preguntas por prueba a 24. La aparición de los Estándares no exigió una reorientación del objeto de evaluación del examen SABER 11, en la medida en que este ya estaba orientado hacia la evaluación de competencias. Sólo se hicieron ajustes menores y se han seguido haciendo para adecuarse de la mejor manera posible a los Estándares. El examen arroja resultados a nivel individual e institucional, que cumplen diferentes propósitos. A continuación se desarrollan estos puntos. 13 En el examen del año 2000 también se incluyeron profundizaciones en química, física, filosofía, geografía, historia, medios de comunicación y cultura, y otras pruebas de idioma extranjero como francés y alemán. Por otra parte, antes del año 2000 se ofrecían pruebas electivas que incluían aptitudes generales como razonamiento abstracto, relaciones espaciales o razonamiento mecánico, y pruebas específicas para los énfasis de los programas curriculares de la educación media técnica como metalmecánica y contabilidad, entre otras. 14 En 2013 se han realizado aplicaciones experimentales de preguntas abiertas de respuesta corta mediante el examen PRE SABER Las principales razones para este cambio fueron: los evaluados tenían una gran carga de esfuerzo; había problemas asociados con ausencias parciales; había restricciones por razones religiosas para disponer de los dos días de un fin de semana; los costos eran muy altos, particularmente con respecto a la seguridad de los materiales de prueba. 16

17 Resultados individuales El propósito inicial con que fue creado el examen está plenamente vigente. Produce información a nivel individual sobre estudiantes que están próximos a culminar la educación media. Esta información concierne al nivel de desarrollo de las competencias, por áreas curriculares, que son necesarias para emprender estudios de educación superior. Cada estudiante que presenta el examen recibe en el reporte suministrado por el ICFES la siguiente información: El puntaje que obtuvo en cada una de las pruebas que constituyen el examen, en una escala que fue fijada en la aplicación del primer semestre de 2000 con promedio 50 y desviación 10. El puntaje obtenido y el nivel en que se encuentra ubicado para cada uno de los componentes y para cada una de las competencias 16 que conforman las diferentes pruebas 17. El puesto en que se encuentra ubicado frente al conjunto total de evaluados en la aplicación que corresponda Las competencias que aparecen en los reportes no son las mismas establecidas en los Estándares. Se trata de competencias que han sido definidas específicamente para una prueba o grupo de pruebas. Estas son: Prueba Lenguaje Ciencias Sociales Filosofía Biología Química Física Matemáticas Competencias Interpretativa Propositiva Argumentativa Identificar Indagar Explicar Comunicación Razonamiento Solución de problemas 17 Los niveles definidos para los componentes y competencias se determinan con respecto a la población evaluada; no resultan de una definición conceptual. 18 Para el cálculo del puesto se divide la población evaluada en una determinada aplicación entre y se determina cuántas personas caen en cada uno de los puestos posibles. 17

18 Estos resultados se utilizan oficialmente para: Procesos de admisión en programas de educación superior 19 Los resultados de los evaluados en el examen se utilizan, de una forma u otra, en los procesos de selección de las oficinas de admisión de más del 70% de las instituciones de educación superior del país. Nivelación Algunas instituciones de educación superior cuentan con programas de nivelación para los estudiantes que ingresan. Los resultados que obtuvo en el examen un estudiante admitido se utilizan, en mayor o menor medida, para determinar qué programa de nivelación debe seguir. Prevención de la deserción El examen ha demostrado ser un indicador confiable de la probabilidad de que un estudiante que ingresa a un programa de educación superior se retire antes de culminarlo. La razón estriba en que una de las causas más frecuentes del abandono de los estudios es una formación previa insuficiente para enfrentar las exigencias propias de la educación superior. En esa medida, el examen se utiliza como fuente de información en programas de prevención de la deserción 20. Becas y distinciones Los resultados en el examen se utilizan como criterio para otorgar becas y distinciones, por parte de diferentes instituciones, a aquellos estudiantes que obtienen altos logros. El carácter censal y estándar del examen permite identificar estudiantes sobresalientes sobre la totalidad de la población que culmina la educación media en el país. 19 La educación superior incluye tanto programas universitarios como programas técnicos profesionales y tecnológicos. 20 Para prevenir la deserción de la educación superior, el MEN ha implementado el Sistema para la Prevención de la Deserción de la Educación Superior (SPADIES). Este sistema consolida y ordena información de las condiciones académicas y socioeconómicas de los estudiantes que han ingresado a la educación superior, y a partir de esta calcula el riesgo que tienen de desertar. La estimación del riesgo de desertar, y en consecuencia las acciones que se puedan tomar para reducir este riesgo, se hace a partir de los datos de habilidad académica medida mediante el examen SABER 11. Ahora bien, una mejor medición de dicha habilidad derivada de mejoras en el examen permitiría enfocar con mayor precisión las acciones encaminadas a disminuir la deserción. 18

19 Resultados institucionales El ICFES le reporta a cada colegio información derivada de los resultados obtenidos por el conjunto de los estudiantes que están matriculados en él. Específicamente: Promedios y distribuciones de los resultados obtenidos por los estudiantes en las sub-escalas. Clasificación del colegio en una categoría de rendimiento. Los resultados a nivel institucional se utilizan, en términos generales, para el monitoreo de los resultados educativos. Tienen usos tanto oficiales como no-oficiales. Los usos oficiales son: Producción de la clasificación de colegios Con base en las distribuciones de los puntajes obtenidos en cada una de las pruebas del núcleo común del examen por parte de los estudiantes del colegio que lo hayan presentado en los últimos dos años, se asigna a cada colegio una categoría entre siete (muy inferior, inferior, bajo, medio, alto, superior o muy superior) favoreciendo a quienes tienen puntajes más altos y más uniformes. Además, a partir de esta clasificación, los colegios privados pueden aplicar unos cupos de incremento de sus tarifas. Asignación de recursos a los municipios De acuerdo con los resultados obtenidos por sus colegios oficiales, se les asignan a los municipios recursos de calidad educativa provenientes del Sistema General de Participaciones. Premiaciones a colegios Tanto el MEN como las secretarías de educación cuentan con programas de premiación para aquellos colegios que hayan obtenido resultados sobresalientes. Por su parte, dentro de los usos no oficiales de los resultados institucionales del examen cabe destacar: 19

20 La difusión y en análisis de los resultados en diferentes medios de comunicación. El análisis de los resultados por parte de las instituciones con el objeto de definir estrategias de mejoramiento. En el numeral que sigue se hará una breve presentación de la evaluación que realiza el ICFES de otras etapas de la formación. 1.5 Exámenes de educación básica y de educación superior La concepción de la educación orientada a competencias desarrollada en la década de los 90 no solo determinó la reestructuración del entonces examen de Estado para el ingreso a la educación superior del año 2000 sino también el diseño de los exámenes de educación básica y superior. De hecho, esta línea de trabajo se ha profundizado en los últimos años. En lo que concierne a la educación básica, las primeras evaluaciones realizadas por el ICFES con el propósito de obtener información sobre la calidad de la educación se dieron en los años 90. De manera sistemática, se han aplicado evaluaciones para los grados 5 y 9 desde el 2002 y alcanzaron su forma actual en 2009, y para el grado 3 desde Estos exámenes están estructurados por competencias, reflejando la estructura de los Estándares, y no por áreas curriculares. Se producen y se reportan resultados a nivel institucional. En lo que se refiere a la educación superior, se han desarrollado evaluaciones sistemáticas desde Hasta 2009, se aplicaron los exámenes conocidos como ECAES y, a partir de ese año, se ha aplicado el examen SABER PRO 21. El reemplazo del ECAES por SABER PRO respondió a la búsqueda de los siguientes objetivos: (1) ampliar la cobertura de las pruebas; (2) informar más allá del nivel de un programa específico; (3) medir valor agregado; (4) evaluar competencias genéricas; (5) medir la evolución de las competencias; y (6) darle un significado pedagógico a los resultados 22. El examen SABER PRO está explícitamente enfocado sobre la evaluación de competencias genéricas. En efecto, incluye un núcleo común para todos los evaluados conformado por un conjunto de pruebas genéricas, de acuerdo con las definiciones realizadas por el MEN. Estas son: Lectura Crítica, Comunicación Escrita, Razonamiento Cuantitativo, Competencias Ciudadanas e Inglés. Además de este núcleo común, SABER PRO evalúa competencias nogenéricas por tipo de programa. 21 En los años 90 ya se habían hecho ensayos para evaluar la calidad de algunos programas de educación superior: Medicina, Derecho y Contaduría. 22 Véase ICFES (2013). 20

21 Para terminar esta sección, cabe señalar que además de la evaluación externa de la calidad de la educación realizada por el ICFES, Colombia ha participado en diferentes evaluaciones internacionales desde 1995, las cuales han brindado información adicional y comparada de los desempeños de estudiantes de otros países. En particular, Colombia ha participado en PISA (Programa Internacional de Evaluación de Estudiantes, por su sigla en inglés) desde

22 2. La consolidación del Sistema Nacional de Evaluación Estandarizada de la Educación SNEE Como vimos, la educación en Colombia, en todos sus niveles, está orientada hacia el desarrollo de competencias y, en particular, las competencias genéricas están presentes en todos los niveles de la formación. En consonancia con esto, el sistema de pruebas SABER se encuentra orientado en su totalidad hacia la evaluación de competencias, entre las que se destacan aquellas que son genéricas. Las competencias genéricas constituyen entonces un eje no solo de la totalidad del sistema educativo sino también de la evaluación de los diferentes niveles de ese sistema. Ahora bien, tanto los exámenes de educación básica como el de educación superior están estructurados siguiendo ese eje. En esa medida, se encuentran alineados : las pruebas de evaluación de competencias genéricas de SABER PRO representan los eslabones finales de unas series de pruebas que se aplican desde la educación básica. En efecto: La prueba de Lectura Crítica de SABER PRO está alineada con las pruebas de Lenguaje presentes en SABER 3, SABER 5 y SABER 9. En efecto, contar con las competencias propias de la lectura crítica es haber desarrollado hasta un nivel avanzado las competencias que se evalúan a través de todas las pruebas de Lenguaje. La prueba de Razonamiento Cuantitativo de SABER PRO está alineada con las pruebas de Matemáticas de SABER 3, SABER 5 y SABER 9. En efecto, la formación en matemáticas de la educación básica busca desarrollar competencias matemáticas de tipo genérico. La prueba de Competencias Ciudadanas de SABER PRO está alineada con las pruebas cognitivas de Competencias Ciudadanas de SABER 5 y SABER En efecto, estas pruebas difieren en la dificultad de las preguntas, en los ámbitos por los que se indaga y en el hecho de que involucran conocimientos adicionales a medida que se avanza en el ciclo educativo SABER 5 y SABER 9 incluyen la evaluación de competencias ciudadanas tanto cognitivas como no cognitivas, mientras que SABER PRO solo incluye las primeras. La razón para no incluir el módulo de evaluación de las no cognitivas en SABER PRO es que sus resultados se reportan de manera individual (cosa que no sucede con los exámenes de educación básica), y en esa medida las preguntas son susceptibles de ser contestadas de acuerdo con lo que el estudiante cree que es el deber ser, y no de acuerdo con sus opiniones o experiencias personales. 24 Adicionalmente, la prueba de Pensamiento Científico de SABER PRO, que no es de carácter genérico en la medida en que está dirigida a estudiantes que hayan seguido formaciones de educación superior con un componente importante de ciencias naturales, está alineada con las pruebas de Ciencias Naturales de SABER 5 y SABER 9. 22

23 Es importante advertir que afirmar que dos exámenes están alineados no significa que sean iguales. Estar alineados significa estar articulados en virtud del hecho de que evalúan unas mismas competencias en diferentes grados de desarrollo. En segundo lugar, nótese que del hecho de que SABER PRO esté alineado con los exámenes de educación básica no se sigue que en todos ellos se evalúen la totalidad de las competencias genéricas. Están alineadas aquellas pruebas de los diferentes exámenes que evalúan competencias genéricas comunes. Por ejemplo, en la medida en que SABER 5 y SABER PRO evalúan competencias ciudadanas, las pruebas correspondientes se encuentran alineadas. Pero en la medida en que SABER 5, a diferencia de SABER PRO, no evalúa la competencia (genérica) de dominio del idioma inglés, no hay lugar para una alineación de pruebas correspondientes. Finalmente, es importante insistir en que si bien las competencias genéricas son un eje integrador de la formación básica y media, esta no se limita a ellas. En los últimos años de la educación básica y en la educación media también se busca establecer cimientos para competencias no-genéricas. Por otro lado, vimos que el examen SABER 11, a pesar de evaluar competencias genéricas, no está diseñado siguiendo ese eje. Además, no cubre todas las competencias genéricas establecidas en los Estándares. Estos incluyen Competencias Ciudadanas, y un componente de Ciencia, Tecnología y Sociedad en las competencias de ciencias, que no son evaluados con el examen actual. Adicionalmente, a pesar de que los Estándares no incluyen competencias específicas de filosofía, este examen incluye una prueba de Filosofía. Consolidar el SNEE se traduce en conseguir la alineación de todos los exámenes que lo conforman. En el momento presente, dicha consolidación requiere la alineación de SABER 11 con SABER 3, SABER 5, SABER 9 y SABER PRO. Gracias a esa alineación, se pasaría de tener un sistema con mediciones aisladas para la educación media a tener uno que haga un seguimiento sistemático de los resultados de la educación a través de los diferentes niveles. La consolidación del SNEE traería los siguientes beneficios: Sería posible evaluar, para las competencias genéricas que corresponda, el grado de desarrollo en cada uno de los niveles de la formación en particular en el nivel de educación media. Sería posible establecer, con un alto grado de confiabilidad, el valor agregado de un nivel de formación con respecto al anterior y el crecimiento correspondiente. Se contaría con información rica y confiable para estudiar el sistema educativo y los efectos de las políticas educativas en los diferentes niveles. Se apoyaría desde la evaluación la articulación de los diferentes niveles y ciclos de formación que establecen los lineamientos curriculares, los Estándares y los lineamientos de educación superior. 23