Competencias para la vida

Transcripción

1

2

3 Competencias para la vida Resultados de los estudiantes chilenos en el estudio PISA 2000 Unidad de Curriculum y Evaluación Ministerio de Educación de Chile

4 Agradecimientos El Instituto de Estadísticas UNESCO (UIS) colaboró en la preparación del informe internacional de PISA 2000 que incluyó a los países que aplicaron la evaluación en el año 2001, y prestó valiosa asesoría a los equipos del Ministerio de Educación de Chile y a otros centros nacionales de la región para el análisis de los datos del estudio. Los equipos que participaron en la preparación de este informe nacional dejan expresa constancia de su agradecimiento a la UNESCO-UIS, especialmente al Dr. Yanghong Zhang. También se agradece al Dr. Douglas Willms de la Universidad de New Brunswick y director del Instituto Canadiense de Investigación para Políticas Sociales, que dirigió dos talleres para revisar y analizar los datos de Chile. Ministerio de Educación, Unidad de Curriculum y Evaluación, SIMCE, Estudios Internacionales Documento de Trabajo, Habilidades y conocimientos para el mundo del mañana Inscripción en Cámara Chilena del Libro código I.S.B.N Registro Propiedad Intelectual Inscripción Nº Diseño, diagramación e impresión: LOM Ediciones Santiago, Junio 2004

5 Presentación PRESENTACIÓN Por qué es importante que el sistema escolar del país participe en mediciones internacionales de sus resultados de aprendizaje? Por la visión comparativa que ofrecen, que nos permite saber dónde estamos respecto a un amplio espectro de países, y adquirir visión y elementos interpretativos clave para definir nuestras políticas, tanto a nivel macro como en el quehacer de las unidades educativas. También, y decisivamente, porque las mediciones mismas nos enseñan respecto al tipo de competencias y conocimientos juzgados por los sistemas educativos más robustos del mundo, como los relevantes para la sociedad del conocimiento y del aprendizaje permanente. Desde esta doble perspectiva, el Ministerio de Educación ofrece el presente informe sobre los resultados de Chile en la primera medición del proyecto PISA, sigla que corresponde a Programme for International Student Assessment, estudio organizado y coordinado por la Organización para la Cooperación y el Desarrollo Económico (OCDE), que cada tres años evalúa a los estudiantes de 15 años en las áreas de Lectura, Matemáticas y Ciencias. PISA se aplicó el año 2000 en 32 países; después de iniciado el estudio, la OCDE realizó un proyecto paralelo denominado PISA +, para permitir que otros países interesados, entre los que se contaba Chile, participaran en Los objetivos, metodología y población evaluada en este segundo estudio replicaron exactamente al primero, lo que hizo posible a PISA, como a este informe, comparar los resultados de nuestro país con los de otros cuarenta y dos países. Cinco de los cuales son latinoamericanos. Uno de los aportes más valiosos del presente estudio PISA es el marco que establece distinciones, interpretación y medición de las habilidades lectoras. Estas son definidas como fundacionales: constituyen una meta del sistema escolar y son su herramienta clave; son claves asimismo en el trabajo, en la educación terciaria, en la vida cotidiana, en la participación ciudadana. Las capacidades lectoras medidas por PISA tienen tres dimensiones: extracción de información, interpretación, y reflexión y evaluación de un texto. Textos que son además, continuos y discontinuos. PISA permite descubrir que hay países cuyos estudiantes obtienen mejores resultados en la extracción de información de un texto, que en la reflexión sobre el mismo. En estos mismos países, los alumnos obtienen mejores resultados con textos discontinuos (cuadros, gráficos, diagramas, mapas, formularios), que con textos continuos (oraciones organizadas en párrafos). Este libro analiza en profundidad la situación de nuestros alumnos respecto de las habilidades mencionadas. El principal criterio con que PISA selecciona los contenidos a evaluar es la exigencia de que sean situaciones que se presentan en la vida cotidiana a cualquier Estudios Internacionales, SIMCE, Unidad de Curriculum y Evaluación 3

6 Programa Internacional de Evaluación de Estudiantes (PISA) PRESENTACIÓN ciudadano, con independencia de que figuren o no en el currículum escolar. PISA por otro lado se distingue de otras mediciones internacionales, en su amplio uso de preguntas abiertas: casi la mitad de sus preguntas requirieron de nuestros alumnos construir una respuesta (en vez de elegir opciones en preguntas de selección múltiple). El proyecto PISA, junto con evaluar las competencias cognitivas y actitudes de los estudiantes, también indaga sobre factores o condiciones que favorecen el aprendizaje de los estudiantes, así como sobre las características del sistema educativo que hacen que dicho aprendizaje se distribuya equitativamente o no. Con estos objetivos, PISA mide variables relativas al entorno familiar y social del estudiante, al mismo tiempo que el clima escolar dentro y fuera de la sala de clases. Este informe con los resultados de Chile en PISA es un esfuerzo complementario a los informes inter nacionales, publicados en inglés y francés por la OCDE. También expande y pr ofundiza de manera sustancial el informe de resultados PISA conocido por la opinión pública del país en julio de Además de ofrecer los resultados desde la perspectiva nacional del Ministerio de Educación, el libro aborda análisis específicos de especial importancia para nuestra realidad, como la caracterización de los establecimientos, la relación entre nivel socioeconómico y el rendimiento, los factores que inciden en los logros de los estudiantes chilenos, y los marcos de referencia de la prueba para las áreas de lectura, matemáticas y ciencias. El Ministerio de Educación, a través de la Unidad de Curriculum y Evaluación y el equipo Estudios Internacionales, del componente SIMCE, entrega esta importante evidencia sobre resultados de aprendizaje de nuestro sistema escolar y sus comparaciones internacionales, para uso del campo educativo. Con la esperanza de que sea aprovechada no solo por evaluadores y diseñadores de políticas y programas en educación, sino también, y especialmente, por formadores de profesores, profesores y directivos de establecimientos, para examen, a la luz de las preguntas PISA que desafiaron a sus alumnos, de las oportunidades de aprendizaje que ofrecen, y como inspiración para innovar, o hacer las cosas distinto, para hacerlas mejor 1. Cristián Cox D. Coordinador Unidad de Curriculum y Evaluación Ministerio de Educación 1 D.Hargreaves (2003), Education Epidemic, Demos, Londres. 4 Gobierno de Chile, Ministerio de Educación

7 Tabla de Contenidos TABLA DE CONTENIDOS INTRODUCCIÓN...11 Programa Internacional de Evaluación de Estudiantes (PISA)...14 Objetivos de PISA Qué evalúa PISA? Los países participantes en PISA Elementos de contexto de los países participantes...18 Organización del informe LECTURA EN EL PROYECTO PISA I. Marco de evaluación de alfabetización en lectura Qué es alfabetización en lectura en el Proyecto PISA 2000? Tres dimensiones de la lectura Las tareas de lectura Extraer información Interpretar un texto Reflexionar y evaluar el contenido y la forma de un texto Tipos de textos Textos continuos Textos discontinuos Contextos Formato de las preguntas Clasificación de las preguntas de PISA II. Evaluación del desempeño en alfabetización en lectura Los puntajes en lectura Niveles de desempeño en lectura...33 III. Presentación y análisis de preguntas RESULTADOS DE ALFABETIZACIÓN EN LECTURA...63 I. Puntajes de alfabetización en lectura Resultados internacionales El desempeño de Chile en lectura El desempeño de Chile y de los países comparados en lectura Distribución de los puntajes de Chile y de los países comparados en lectura global II. Niveles de desempeño en lectura Resultados internacionales de distribución en niveles de desempeño Distribución de los estudiantes de Chile y los países comparados según niveles de desempeño en lectura Niveles de desempeño en lectura global Niveles de desempeño en la tarea de extraer información...73 Estudios Internacionales, SIMCE, Unidad de Curriculum y Evaluación 5

8 Programa Internacional de Evaluación de Estudiantes (PISA) TABLA DE CONTENIDOS 2.3. Niveles de desempeño en la tarea de interpretar un texto Niveles de desempeño en la tarea de reflexionar y evaluar el contenido y la forma de un texto Distribución de los estudiantes chilenos según sus características individuales en niveles de desempeño en lectura global III. Conclusiones ALFABETIZACIÓN EN MATEMÁTICAS Y CIENCIAS...81 I. Marco de evaluación de matemáticas La alfabetización en matemáticas Dimensiones de la alfabetización en matemáticas Habilidades para desarrollar procesos matemáticos Tipos de competencias matemáticas Contenidos matemáticos Cambio y crecimiento Espacio y forma Contextos en los cuales se usan las matemáticas Formato de las preguntas de matemáticas II. Evaluación del desempeño en la alfabetización en matemáticas III. Presentación y análisis de preguntas IV. Resultados de alfabetización en matemáticas Resultados internacionales El desempeño de Chile y de los países comparados en matemáticas Distribución de los puntajes de Chile y de los países comparados en matemáticas V. Marco de evaluación de ciencias La alfabetización en ciencias Dimensiones de la alfabetización en ciencias Procesos científicos Conceptos científicos Contextos científicos Formato de las preguntas de ciencias VI. Evaluación del desempeño en la alfabetización en ciencias VII. Presentación y análisis de preguntas VIII. Resultados de alfabetización en ciencias Resultados internacionales El desempeño de Chile y de los países comparados en ciencias Distribución de los puntajes de Chile y de los países comparados en ciencias IX. Conclusiones Gobierno de Chile, Ministerio de Educación

9 Tabla de Contenidos TABLA DE CONTENIDOS 4. HÁBITOS, ACTITUDES Y ESTRATEGIAS PARA EL APRENDIZAJE CONTINUO I. Compromiso con la escuela, la lectura y las estrategias para el aprendizaje continuo El compromiso con la escuela El estudiante y la lectura Estrategias de aprendizaje de los estudiantes II. Perfil de los estudiantes chilenos con mayor puntaje en los índices El compromiso con la escuela El estudiante y la lectura Estrategias de aprendizaje de los estudiantes III. Conclusiones CARACTERÍSTICAS DE LOS ESTABLECIMIENTOS CON ESTUDIANTES DE QUINCE AÑOS I. Los establecimientos de los países comparados Estructura del establecimiento Cuánto creen los directores que afectan al aprendizaje de los estudiantes los recursos materiales y humanos de la escuela? Cómo juzgan los directores y los estudiantes el clima escolar y las características de los profesores? La disciplina y las actitudes de los estudiantes Las características de los profesores II. Conclusiones CARACTERÍSTICAS DEL ESTUDIANTE Y ASPECTOS DEL ESTABLECIMIENTO QUE SE RELACIONAN CON SU DESEMPEÑO EN LECTURA I. Cambios en el puntaje de los estudiantes cuando cambia una variable explicativa Características individuales de los estudiantes como variables explicativas Características promedio del establecimiento como variables explicativas II. Cambio en el puntaje de los estudiantes si se considera un conjunto de variables simultáneamente III. Conclusiones EL NIVEL SOCIOECONÓMICO Y CULTURAL Y EL DESEMPEÑO DE LOS ESTUDIANTES EN PISA I. El rendimiento de la elite Los estudiantes de la elite socioeconómica y cultural en Chile El desempeño de los estudiantes de elite en Chile y sus similares en los países comparados Estudios Internacionales, SIMCE, Unidad de Curriculum y Evaluación 7

10 Programa Internacional de Evaluación de Estudiantes (PISA) TABLA DE CONTENIDOS II. Qué distingue a los establecimientos con rendimiento más alto que el esperado? Criterios de clasificación Qué caracteriza a cada tipo de establecimiento? La estructura de los establecimientos Recursos materiales y humanos en la escuela, clima escolar y características de los estudiantes y de los profesores III. Conclusiones SÍNTESIS Y PERSPECTIVAS I. Contexto socioeconómico y educacional de los países participantes en PISA II. Habilidades lectoras de los estudiantes chilenos III. Alfabetización en matemáticas y ciencias IV. Hábitos, estrategias y actitudes hacia el aprendizaje V. Características de las escuelas con estudiantes de quince años VI. Qué se puede hacer para mejorar el rendimiento de nuestros alumnos? VII. Perspectivas del estudio ANEXOS Anexo A Anexo A1: Escalamiento de preguntas a través de la metodología de Teoría de Respuesta al Ítem (IRT) Anexo A2: Construcción de los índices y otras medidas para los cuestionarios de alumnos y directores Características de los estudiantes y entorno familiar Hábitos, actitudes y estrategias para el aprendizaje continuo Recursos docentes Prácticas en la sala de clases y relación profesor-alumno Clima disciplinario Recursos escolares y tipo de establecimiento Anexo A3: Variación explicada en el desempeño estudiantil Anexo A4: La población objetivo y la muestra de PISA Anexo A5: Error estándar, pruebas de significancia y comparaciones múltiples Anexo B Tablas de datos Gobierno de Chile, Ministerio de Educación

11

12

13 INTRODUCCIÓN

14

15 Introducción PISA es una de las evaluaciones internacionales que el Ministerio de Educación, desde su unidad de Curriculum y Evaluación, ha emprendido en los últimos años con el objetivo de conocer el aprendizaje alcanzado y las habilidades desarrolladas por los estudiantes chilenos en diversas asignaturas y niveles, comparándolo con los logros de los estudiantes de otros países. El objetivo del Ministerio de Educación en Chile para realizar estas evaluaciones no es competir con miras a ostentar un lugar destacado entre los muchos países que participan; por el contrario, se asumen los costos políticos que puede significar aparecer en un lugar poco destacado en el ordenamiento de logros de conocimientos elaborados en estos estudios internacionales, porque existe la convicción de que hay beneficios que compensan estos costos. Las ventajas y propósitos de participar en estudios internacionales son: Evaluar el rendimiento de los estudiantes de Chile en el contexto internacional. Desarrollar mediciones que permitan un seguimiento de los resultados nacionales que sea confiable en el largo plazo y de manera independiente a las mediciones a nivel nacional. Esto permite verificar el desempeño de los estudiantes y evitar las distorsiones que se pueden haber provocado por la enseñanza orientada a las pruebas nacionales que sí tienen consecuencias directas para los establecimientos. Confrontar el currículo nacional con otros, con el objetivo de retroalimentarlo, considerando las exigencias internacionales. Vincular el logro de los estudiantes con información relativa a características de los sistemas educacionales y a variables de contexto -tanto inter nas como externas a la escuela- que difieran o sean regulares en los distintos países, y así informar a las políticas educativas. Analizar las prácticas pedagógicas y establecer su relación con el aprendizaje, con el fin de mejorar la formación y perfeccionamiento de los docentes, al comparar las realidades de los distintos sistemas. Recoger la experiencia internacional en el desarrollo de instrumentos y procesos de evaluación, lo cual beneficia al sistema nacional de Estudios Internacionales, SIMCE, Unidad de Curriculum y Evaluación 13

16 Programa Internacional de Evaluación de Estudiantes (PISA) evaluación en la elaboración de marcos de referencia e instrumentos de evaluación, en el aprendizaje y aplicación de nuevas metodologías y procedimientos relativos a la implementación de mediciones, en el análisis de la información, y en la presentación y comunicación de resultados. Además de las ventajas mencionadas, es necesario considerar que los estudios comparativos conllevan algunos riesgos, dos de los cuales son importantes de mencionar. El primero se refiere a la necesidad de tener cautela frente a conclusiones que pueden ser válidas para algunos países y no para otros. Cuando son muchos los países participantes, los análisis permiten identificar conclusiones generales, pero siempre será necesario ver con mayor detalle si ellas se aplican y son pertinentes en el contexto del país de interés. El otro riesgo es simplificar y reducir los resultados del estudio a una competencia por el lugar que ocupa cada país según su puntaje y sus logros. Chile reanudó sus evaluaciones internacionales a mediados de los años noventa, cuando participó en el Laboratorio Latinoamericano de la Evaluación de la Calidad de la Educación y, además, decidió reincorporarse a la IEA 1 después de participar a fines de los años sesenta en el Estudio de Seis Asignaturas 2. El Ministerio de Educación ha realizado y se ha comprometido a participar en nueve estudios internacionales 3. Programa Internacional de Evaluación de Estudiantes (PISA) Desde hace una década, el programa de educación de la Organización para la Cooperación y el Desarrollo 1 La IEA (International Association for the Evaluation of Educational Achievement), fundada en 1959, es una entidad internacional independiente que agrupa en la actualidad a 58 miembros, la mayoría de los cuales representan sistemas nacionales de educación. Chile participó en algunos proyectos a fines de la década de los 60 y se reincorporó como miembro en IEA, The Six Subject Study. Este estudio se llevó a cabo entre los años 1970 y 1971 y contempló las áreas de Ciencias, Comprensión lectora, Literatura, Educación Cívica, e Inglés y Francés como segundas lenguas. 3 Ver la Nota al final de Introducción. Económico (OCDE) 4 ha trabajado con sus países miembros para mejorar los indicadores de desempeño educacional y hacerlos comparables entre países, los que son publicados en Education at a Glance 5. Sin embargo, faltaba incluir mediciones regulares y confiables sobre logros de conocimiento y habilidades. Por esa razón, en años recientes, la OCDE se propuso trabajar con los países miembros para organizar estudios de medición, internacionales y comparativos, que se enfocaran en las competencias que se necesitan en la vida moderna. El primero de ellos fue el Estudio Internacional de Alfabetización de Adultos (IALS), que midió si los adultos en edad de trabajar eran capaces de usar las habilidades lectoras en las tareas habituales de la vida diaria. El segundo fue el estudio PISA 6, proyecto en que los países miembros de la OCDE, junto con el Consorcio PISA 2000, se comprometieron a evaluar periódicamente a los estudiantes de quince años, bajo el supuesto de que a esa edad los jóvenes están próximos a terminar la educación obligatoria, a continuar con estudios especializados y/o a incorporarse a la fuerza de trabajo. Se privilegió evaluar los conocimientos y habilidades requeridos para participar plenamente en sociedad, desde el punto de vista de los países de la OCDE. PISA es una experiencia de colaboración entre gobiernos y reúne la capacidad científica de los más de cuarenta 4 En la Organización para la Cooperación y el Desarrollo Económico (OCDE) participan los países de Europa Occidental y algunos de Europa del Este, Estados Unidos, Canadá, Japón, Corea y México, organización que permite a sus gobiernos miembros estudiar y formular políticas en las esferas económicas y sociales. Los problemas que los países de la OCDE enfrentan se ven reflejados en las principales preocupaciones actuales de sus líderes y ciudadanos. Entre ellas cabe señalar la creación de empleo, el crecimiento económico, elevar el nivel de vida y aumentar el capital humano de las naciones a través de la educación y capacitación. 5 OECD, Education at a Glance, OECD Indicators, PISA es administrado y liderado por un consorcio internacional, compuesto por instituciones académicas y de investigación educacional con amplia experiencia en diseñar e implementar sistemas de evaluación tanto en contextos nacionales como internacionales. Esto asegura la capacidad técnica en la dirección del estudio y, al mismo tiempo, posibilita que los países participantes actualicen sus conocimientos en técnicas de evaluación. El Consorcio PISA 2000 es dirigido por el Australian Council for Educational Research (ACER, Consejo Australiano para la Investigación Educativa). El consorcio también incluye: The Netherlands National Institute for Educational Measurement (CITO, Instituto Nacional Holandés para la Medición Educativa) Educational Testing Service (ETS, Servicio de Evaluación Educacional), Western Statistics (WESTAT, Estadísticas Occidentales) de Estados Unidos, y el National Institute for Educational Research (NIER, Instituto Nacional de Investigación Educativa) de Japón. 14 Gobierno de Chile, Ministerio de Educación

17 Introducción países participantes, basándose en las preocupaciones compartidas en cuanto a política educacional. Los países trabajan juntos para desarrollar metodologías de evaluación del aprendizaje de los estudiantes, y se pretende lograr que estos métodos de evaluación sean válidos para todos los países, idóneos para medir habilidades relevantes y que se basen en situaciones auténticas de vida 7. Este proyecto pretende ser un mecanismo de seguimiento del desempeño de los estudiantes en lectura, matemáticas y ciencias, por lo que cada tres años se realizan evaluaciones de los conocimientos y habilidades en estas áreas. En cada oportunidad se pone énfasis en una de ellas. Así, el primer ciclo ( ) evaluó con profundidad las competencias lectoras, las que fueron medidas a través de dos tercios de las preguntas de la prueba. En el segundo ciclo, el área principal fue matemáticas y, en el tercero, será el área de ciencias, en los años 2003 y 2006 respectivamente. Las evaluaciones detalladas de cada área se harán cada nueve años, y cada tres se examinarán parcialmente como una forma de seguimiento permanente. En términos generales, cada tres años este estudio entregará un nuevo conjunto de hallazgos y análisis e informará los cambios en el desempeño de los estudiantes de quince años y de sus características. Al comparar la dirección y ritmo de esos cambios en los distintos países, los diseñadores de políticas públicas contarán con antecedentes para cumplir con los desafíos del siglo que se inicia. Los países podrán seguir, en forma objetiva y regular, los progresos en el logro de aprendizajes claves, a través de la evaluación periódica de las tres áreas. Objetivos de PISA El objetivo general del estudio PISA es evaluar las competencias que son esenciales para la participación plena en la sociedad. La evaluación considera elementos curriculares, pero el criterio de construcción de su marco de referencia no está restringido a ellos. Las tareas 7 Aunque la prueba fue calibrada exclusivamente con los países de la OCDE, se realizaron análisis estadísticos posteriores que mostraron que no existía sesgo cultural entre los países OCDE y no-ocde. evaluadas en PISA corresponden a situaciones de la vida real, al poner a prueba la habilidad de los estudiantes para reflexionar sobre su conocimiento y experiencia, y aplicarlos a asuntos prácticos de la vida cotidiana. Dado que dentro de las habilidades por evaluar están las que se consideran esenciales para la vida futura, cuyos requerimientos específicos aún se desconocen, el estudio PISA pone un fuerte énfasis en medir las capacidades para aprender y supone la necesidad de un aprendizaje continuo a lo largo de la vida, pues los estudiantes no pueden aprender en la escuela todo lo que necesitarán cuando sean adultos. A escala internacional, la orientación principal del estudio es aportar a la formulación de políticas públicas. Los gobiernos de la OCDE quieren responder a preguntas tales como: Están nuestras escuelas y liceos preparando niños y jóvenes para una participación plena en sociedad? Qué estructuras y prácticas educacionales maximizan las oportunidades de los alumnos con desventajas socioeconómicas? Cuánto influye la calidad de los recursos de la escuela en los resultados de los estudiantes? PISA está diseñada para aumentar la comprensión de estos temas, especialmente a través de la entrega de resultados consistentes en un gran número de países. Qué evalúa PISA? En el estudio internacional se utiliza el concepto de literacy» para indicar los conocimientos y habilidades en las tres áreas evaluadas. En el presente informe este término se ha traducido como alfabetización. Cuando se dice alfabetización, ya sea en lectura, matemáticas o ciencias, no se trata del dominio de un conocimiento especializado ni necesariamente profundo, sino de contar con los elementos básicos que puedan ser utilizados en la vida diaria, para aprender ahora y para seguir aprendiendo. Estudios Internacionales, SIMCE, Unidad de Curriculum y Evaluación 15

18 Programa Internacional de Evaluación de Estudiantes (PISA) Hoy en día, estar alfabetizado requiere mucho más que decodificar palabras, implica entender la lectura y utilizar esa información para una participación plena en la sociedad. Si una persona puede leer, por ejemplo el diario, pero no comprende lo leído es, en rigor, un analfabeto. Se considera alfabetizada a la persona que es capaz de hacer correctamente los cálculos del interés para determinar la conveniencia de un crédito o para comparar precios; o quien es capaz de comprender la información que recibe respecto de cómo cuidar su salud personal o el medio ambiente de la región en que vive. La alfabetización en matemáticas se define como la capacidad de identificar, comprender y practicar las matemáticas, así como de ejercer juicios bien fundamentados acerca del papel que las matemáticas desempeñan en la vida privada actual y futura de un individuo, en su vida laboral, social y como ciudadano constructivo, comprometido y reflexivo. Este concepto se emplea para indicar la capacidad de aplicar los conocimientos y habilidades matemáticas de manera funcional en la vida cotidiana, más que su simple manejo en el contexto curricular. Se supone que el conocimiento evaluado no solo es fundacional y básico, sino que prepara para aprender, porque involucra el desarrollo de habilidades que permitan utilizar ese conocimiento en los distintos ámbitos en que los estudiantes deben desempeñarse en el momento actual y, tan importante como ello, en el futuro. La alfabetización en lectura se define como la comprensión, el uso y la reflexión sobre textos escritos, con el fin de cumplir las propias metas, desarrollar los propios conocimientos y potencialidades, y participar en la sociedad. Esta definición toma en cuenta el papel activo e interactivo del lector para relacionarse con los textos escritos. Se entiende, además, que la alfabetización en lectura entrega un conjunto de herramientas lingüísticas de importancia creciente para satisfacer las exigencias de las sociedades modernas con sus instituciones formales, grandes burocracias y complejos sistemas legales. La alfabetización en ciencias se define como la capacidad para usar los conocimientos y procesos científicos, para reconocer preguntas relacionadas con la ciencia y para integrarlas al momento de tomar decisiones que afectan a la naturaleza. Ello va más allá de solo comprender los fenómenos naturales. La alfabetización en ciencias se considera como un objetivo fundamental en la educación de todos los estudiantes a los quince años, independientemente de si éstos continúan estudiando ciencias o no, ya que el pensar científicamente es importante para todas las personas. Un efecto del creciente aumento de las problemáticas relacionadas con la ciencia y tecnología, en el contexto de la sociedad del siglo XXI, es considerar la alfabetización en ciencias como una capacidad para la vida adulta, lo que no significa que los adultos necesiten dominar un gran acervo de conocimientos científicos o ser capaces de pensar científicamente. Dado que lectura es el área principal del primer período de aplicación de PISA, hay un mayor número de preguntas relativas a ella, lo cual permite evaluar tres tipos de tareas lectoras: extraer información, interpretar un texto y, reflexionar y evaluar el contenido y la forma de un texto. Para cada una de esas tareas se construyeron puntajes, los que informan del desempeño de los estudiantes 8. También se construyó un cuarto puntaje que reúne todas las preguntas de lectura, denominado lectura global. 8 Las competencias de los estudiantes se expresan en puntajes continuos, uno para cada área y, en el caso de lectura, para cada tipo de tarea evaluada. Un puntaje alto indica una mayor cantidad y complejidad de competencias desarrolladas por el estudiante y, por el contrario, un puntaje bajo indica un menor desarrollo de las mismas. Además de los conocimientos y habilidades por áreas, PISA mide hábitos, actitudes y estrategias, es decir, también se ocupa de aspectos que cruzan las líneas divisorias del currículo, habitualmente llamados objetivos y contenidos transversales. Este estudio los considera también como un resultado educativo, ya que son condiciones posibles de desarrollar en la escuela, aunque no solo en ella. PISA analiza las motivaciones y otras actitudes de los estudiantes que, por una parte, afectan su rendimiento actual, pero que, además, indican si los estudiantes han desarrollado habilidades que son prerrequisitos para aprender con éxito en el futuro. Para poder aprender una vez que dejen la escuela, los estudiantes deben ser capaces de organizar y disciplinar su propio aprendizaje, aprender por sí solos y en grupo, y superar las dificultades de este proceso. Por lo 16 Gobierno de Chile, Ministerio de Educación

19 Introducción tanto, el estudio recoge información sobre estas actitudes y habilidades transversales que pueden ser adquiridas en diversos contextos, formales e informales y externos e internos a la escuela. Los países participantes en PISA 2000 El estudio PISA es dirigido y coordinado por la OCDE para responder a las necesidades de sus países. El año 2000 se aplicó en veintiocho países miembros de la OCDE y en cuatro países que no eran miembros. Después de iniciado el estudio la OCDE realizó un proyecto paralelo denominado PISA+ para permitir que otros países interesados participaran en la evaluación con un año de retraso. Esta medición que cubrió once países, incluido Chile, se efectuó durante el año Los objetivos, así como la metodología, la población evaluada, el diseño muestral y los procedimientos de aplicación de la prueba fueron exactamente los mismos que en PISA Así también, el tratamiento de los datos y los análisis realizados a escala internacional siguen el mismo esquema que los realizados para los países de la primera aplicación de PISA El análisis que se describe en el segundo informe internacional de PISA incorpora la totalidad de países participantes en ambas oportunidades. De este modo, hoy se cuenta con resultados para Chile junto con los de otros cuarenta y dos países que rindieron la prueba en alguna de las dos oportunidades en que se aplicó PISA Cinco de estos países son latinoamericanos (ver la Tabla 0.1). Los análisis específicos que se realizan en este informe nacional se han centrado principalmente en los cinco países latinoamericanos participantes en PISA 2000, así como en tres países miembros de la OCDE. Estos últimos son Finlandia, país con el mejor resultado en lectura, Estados Unidos, cuyo promedio en lectura (504) es semejante al promedio de la OCDE, y Portugal, país que obtuvo uno de los promedios más bajos entre los países de la OCDE, solo superior a México y Luxemburgo. En el presente documento, a este conjunto de países seleccionados se les denomina países comparados. Además, los análisis también incluyen los resultados del Alemania Australia Austria Bélgica Canadá Corea Dinamarca España Estados Unidos Finlandia Francia Grecia Holanda* Hungría Irlanda Tabla 0.1: Países participantes en PISA 2000 Países OCDE participantes en PISA 2000 Islandia Italia Japón Luxemburgo México Noruega Nueva Zelanda Polonia Portugal Reino Unido República Checa Suecia Suiza Países no-ocde participantes en PISA 2000 Albania ** Argentina ** Brasil Bulgaria ** Chile ** Federación Rusa Hong - Kong China ** Indonesia ** Israel ** Letonia Liechtenstein Macedonia (ex Yugoslavia) ** Perú ** Rumania** * Tailandia ** * Del análisis internacional se excluyeron los datos de Holanda, por no contar con una muestra que cumpliera con los requisitos técnicos necesarios, y los de Rumania, porque sus datos no fueron enviados a tiempo al consorcio internacional para su procesamiento. ** Países que aplicaron PISA 2000 en el año 2001, proyecto denominado PISA+. 9 OECD, Knowledge and Skills for Life. First Results from PISA 2000, OECD, 2001; OCDE, Conocimientos y aptitudes para la vida. Resultados de PISA 2000, Aula XXI, Santillana, México, OECD y UNESCO-UIS, Literacy Skills for the World of Tomorrow. Further results from PISA 2000, OCDE/UNESCO-UIS, Estudios Internacionales, SIMCE, Unidad de Curriculum y Evaluación 17

20 Programa Internacional de Evaluación de Estudiantes (PISA) Gráfico 0.1: Cobertura de educación secundaria en países comparados (porcentaje) 100% 80% 60% % 20% 0 Chile Argentina Brasil México Perú Finlandia Portugal Estados Unidos Fuente: Base de datos PISA OCDE, En base a Tabla 0.1 en Anexo B. promedio de países de la OCDE y los del promedio de países latinoamericanos participantes en PISA Elementos de contexto de los países participantes Es importante tener en cuenta las diferencias de cobertura a la hora de interpretar los resultados, porque una alta cobertura indica que se ha producido una menor selección, por motivos académicos o socioeconómicos, de la población estudiantil que se midió. Cuando se comparan resultados de aprendizaje en distintos países, es importante considerar el contexto en el cual operan sus sistemas educativos, especialmente cuando se trata de países con niveles de desarrollo económico y cultural tan diferentes como los que existen entre los OCDE y no-ocde, lo que hace variar también el desarrollo educativo. Un primer elemento para tomar en cuenta es la cobertura en educación media, indicador del desarrollo del sistema educativo y de la incorporación al mismo de los adolescentes entre los cuales está la población objetivo de PISA De los veintiocho países de la OCDE, en veintiséis de ellos la cobertura de educación media varía entre 82% y 100%. En los dos países restantes (Irlanda y México) la cobertura alcanza a un 76% y un 57% respectivamente (ver la Tabla 0.1 en Anexo B, ). Entre los países latinoamericanos participantes la cobertura más baja de educación media la tienen México y Perú (61%), mientras que en Brasil alcanza al 68% y en Argentina y Chile la cobertura supera el 70% (ver el Gráfico 0.1). Chile ocupa el segundo mayor porcentaje de cobertura en educación media entre los países latinoamericanos participantes en PISA 2000, con un 72% de cobertura según los datos de la OCDE 12. Se ubica después de Argentina -país con el más alto producto interno bruto (PIB) de la región-, lo que muestra un desarrollo positivo de nuestro sistema educacional. Esta mayor cobertura permite conocer el desempeño de una mayor diversidad de estudiantes, incluyendo así a los estudiantes con mayores desventajas socioeconómicas. PISA 2000 concluye que los países con un mayor producto interno bruto (PIB) tienden a lograr mejores desempeños que los países con un ingreso nacional más bajo 13. De acuerdo al análisis en el informe internacional, un 43% de la variación entre los promedios de los países se puede predecir a partir de su PIB per cápita. Es importante notar que las diferencias en el PIB entre los países de la OCDE y los países no-ocde son amplísimas: en la mayoría de los países no-ocde el PIB es inferior a los US$ , 11 En el presente informe, el promedio de Latinoamérica se refiere al promedio de los países latinoamericanos participantes en PISA México se trabaja en este informe como perteneciente al grupo de países latinoamericanos participantes en PISA en vez de ser analizado como miembro de la OCDE; sus datos están incluidos en el promedio OCDE y en el promedio de países latinoamericanos participantes en PISA Según los datos de la Coordinación de Estudios y Estadísticas del Departamento de Planificación y Estudios del Ministerio de Educación de Chile, la cobertura en Educación Media es de 88,5% para el año Sin embargo, para fines comparativos en este informe se considera la cobertura reportada por la OCDE en el informe internacional del proyecto PISA, Knowledge and Skills for Life. First Results from PISA 2000, OECD, OECD, 2003; op. cit. 18 Gobierno de Chile, Ministerio de Educación

21 Introducción mientras que el PIB per cápita de los países OCDE es de US$ por alumno es muy inferior al monto de los países de la OCDE 17. Otro indicador presentado en el informe internacional es el gasto acumulado en educación por alumno, el que explica un 54% de la variación entre países. Es también muy inferior en Chile y en los otros países latinoamericanos participantes, en comparación al gasto de los países de la OCDE 15. Para la mayoría de los países de esta organización este monto varía entre US$ y US$ (PPC), descontando a México con US$ aproximadamente. Para los países latinoamericanos participantes en PISA 2000, este valor oscila entre US$ y US$ PPC aproximadamente, teniendo Chile un gasto acumulado por alumno de US$ (ver el Gráfico 0.2). Durante los últimos años el porcentaje de gasto en educación se ha incrementado considerablemente en Chile. Sin embargo, el monto real del gasto acumulado Un hallazgo importante de los resultados de PISA 2000 es que los países con distribuciones de ingreso menos equitativas tienden a un desempeño promedio más bajo. La desigualdad económica es, al menos en parte, causa y efecto de que haya una desigualdad en el acceso a la educación. Considerando el índice de Gini 18 como medida de desigualdad del ingreso, este explica el 26% de la variación en el desempeño promedio entre los países participantes 19. Entre todos los países participantes en PISA 2000, Chile es el segundo con mayor desigualdad en la distribución del ingreso (ver la Tabla 0.1 en Anexo B). Por su parte, el capital cultural y la tradición de un país son, sin duda, otros factores que están también Gráfico 0.2: Gasto acumulado en educación por estudiante y PIB en los países comparados Estados Unidos Gasto acumulado por estudiante Brasil Chile México Portugal Argentina Finlandia 0 Perú PIB per Capita Fuente: Base de datos PISA OCDE, Basado en la Tabla 0.1 en el Anexo B. 14 PIB total per cápita de los países OCDE obtenido en OECD Washington Center, (visitado en marzo de 2004). 15 Gasto acumulado por estudiante en instituciones educacionales, desde la educación primaria hasta los quince años. 16 Los valores expresados en este informe han sido ajustados a dólares americanos en poder paritario de compra. 17 Entre 1989 y 2000, la participación del gasto público en educación y del gasto fiscal en educación en el PIB aumentó desde 2,6% a 4,2%, y desde 2,5% a 4,2%, respectivamente. Datos obtenidos en Ministerio de Planificación y Cooperación, Indicadores económicos y sociales , disponible en sitio/sitio/indicadores/htm/indicadores_gastos.htm (visitado en enero de 2004). 18 El índice de Gini va desde 0 a 100, donde 0 indica que la distribución del ingreso es la más equitativa entre los habitantes de un país (todas las personas tienen un ingreso similar) y 100 indica que la distribución es la menos equitativa (todo el ingreso se concentra en un grupo). 19 OECD y UNESCO-UIS, Literacy Skills for the World of Tomorrow. Further results from PISA 2000, OCDE/UNESCO-UIS, 2003, Página. 29. Estudios Internacionales, SIMCE, Unidad de Curriculum y Evaluación 19

22 Programa Internacional de Evaluación de Estudiantes (PISA) Gráfico 0.3: Gráfico de promedios y dispersión del nivel socioeconómico y cultural a nivel de los estudiantes y de los establecimientos en los países comparados 4 2 ISEC Chile Argentina Brasil México Perú Promedio Estados Portugal Finlandia Latinoamérica Unidos Percentiles Promedio OCDE 5º 25º 75º 95º Alumno Establecimiento Fuente: Base de datos PISA OCDE, Ver Tabla 0.2 en el Anexo B. relacionados con los logros en el aprendizaje de sus estudiantes. En general, los datos también reflejan que mientras más alta es la escolaridad promedio de los padres en un país, mayor es el desempeño promedio de sus estudiantes 20. El promedio de escolaridad de los padres de los estudiantes participantes en PISA 2000 de los países de la OCDE es 14 años, mientras que los países latinoamericanos participantes en PISA 2000 tienen promedios que varían desde 9,2 años de escolaridad en México a 11,4 en Chile (ver la Tabla 0.1 en Anexo B). Se debe notar que los indicadores anteriores son factores que se asocian al rendimiento de los estudiantes en los países, sin ser estrictamente causales 21. El análisis manifiesta una tendencia muy clara, pero sin duda existen otros factores que están relacionados con el hecho de que los estudiantes obtengan mejores o peor es resultados. Finalmente, para medir el contexto socioeconómico y cultural de los estudiantes, PISA 2000 construyó un Índice Socioeconómico y Cultural, ISEC 22. En él se combinan elementos de status ocupacional y nivel educacional de los padres de los estudiantes, y riqueza y bienes culturales de sus familias, para así caracterizar 20 OECD, 2003; op. cit. 21 OECD, 2003; op. cit. 22 Ver detalles del índice en el Anexo A2. a la población medida. Entre los estudiantes de la OCDE, el promedio del índice es 0, con una desviación estándar de 1. Este índice puede ser analizado en el nivel de los estudiantes o en el nivel de los establecimientos. En cada uno de esos niveles Chile tiene un promedio de -0,9, posición similar a la de Argentina y superior a la de Perú, México y Brasil. En ambos promedios, Chile está sobre el de los países latinoamericanos participantes en PISA En relación a los países comparados de la OCDE, el promedio del ISEC de Chile en los niveles de estudiantes y de establecimientos es inferior al de Portugal, Finlandia, Estados Unidos y al promedio de los países de la OCDE (ver el Gráfico 0.3). Los países no solo difieren en su ISEC, sino también en la distribución interna de ese índice. En los países latinoamericanos que participan en este estudio las difer encias en su interior, en términos de la dispersión del índice ISEC, son mayores que en los países comparados de la OCDE, situación que se puede observar en las diferencias del largo de las barras del Gráfico 0.3, donde a mayor longitud de la barra, mayor es la dispersión del ISEC. Los establecimientos de los países latinoamericanos participantes en PISA 2000 son más heterogéneos entre sí que los de la OCDE. Como se puede observar en el Gráfico 0.3, en los países latinoamericanos participantes el rango de dispersión del ISEC entre establecimientos es más amplio que en los otros países comparados. Además, en 20 Gobierno de Chile, Ministerio de Educación

23 Introducción los países latinoamericanos participantes la dispersión del ISEC entre los establecimientos y entre los estudiantes es más semejante que para los países comparados de la OCDE 23. Esto muestra que en Estados Unidos, Finlandia y Portugal, los establecimientos integran estudiantes con distinto nivel socioeconómico y cultural en mayor medida que los países latinoamericanos participantes. Organización del Informe El primer capítulo presenta en detalle el marco de referencia de lectura y las características de la prueba PISA 2000 en esta área. Este capítulo permite comprender qué se entiende por alfabetización en lectura y se detallan en forma precisa los tipos de tareas que son medidas a través de la prueba. Para ellas se muestra una selección de preguntas liberadas para su conocimiento público. El objetivo de incluirlas en este informe es mostrar de modo más claro cómo las definiciones expresadas en el marco conceptual de PISA 2000 se concretan a través de preguntas. En este primer capítulo también se describen las dos formas de medir el logro de los estudiantes en términos de sus conocimientos y habilidades: puntajes y niveles de desempeño. El capítulo 2 muestra los resultados de lectura. Se analiza la distribución de los alumnos chilenos de acuerdo a sus puntajes promedio y también según sus niveles de desempeño en lectura; se les compara con los estudiantes de los otros países latinoamericanos participantes en PISA 2000 y con los países comparados de la OCDE. El capítulo 4 describe las actitudes, estrategias y hábitos de los estudiantes, que se refieren principalmente a su compromiso, gusto, interés y motivación por aprender, especialmente con relación a la lectura. El capítulo 5 caracteriza a los establecimientos de acuerdo a variables estructurales, los recursos materiales, el clima escolar y algunas características de los docentes. El capítulo 6 se refiere a cuáles son los factores que más se relacionan con el rendimiento de los estudiantes, basándose en un análisis de regresión realizado especialmente en Chile. El capítulo 7 tiene como eje central la relación entre el nivel socioeconómico y el logro de los estudiantes a través de dos análisis. El primero revisa el desempeño de los estudiantes chilenos más aventajados en términos socioeconómicos. El segundo compara tipos de establecimientos caracterizados según nivel socioeconómico y cultural (ISEC) y rendimiento de sus estudiantes en el puntaje de lectura global. El capítulo 8 desarrolla una síntesis de los resultados y las proyecciones de este estudio para las políticas educacionales. El capítulo 3 se centra en los otros dos dominios de la prueba: matemáticas y ciencias. Explica los marcos de referencia para ellos, los criterios que definen niveles de dificultad con ejemplos de preguntas y entrega los puntajes promedios para Chile comparados con otros países latinoamericanos participantes y con los países de la OCDE. 23 Todos los países tienen menor variación entre los promedios del ISEC de establecimientos que entre los promedios de sus alumnos. Esto se produce por un efecto meramente matemático, en que el promedio del establecimiento estará en el centro entre los estudiantes con los ISEC más altos y más bajos. Lo que interesa destacar es que una diferencia pequeña entre los promedios del índice ISEC de los establecimientos indica que la composición socioeconómica del conjunto de alumnos es más semejante entre establecimientos, es decir, es mayor la integración de alumnos con distinto nivel socioeconómico en su interior. Estudios Internacionales, SIMCE, Unidad de Curriculum y Evaluación 21

24 Programa Internacional de Evaluación de Estudiantes (PISA) Nota Los estudios internacionales en los que ha participado o participa el Ministerio de Educación son: Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación (LLECE), liderado por la UNESCO. Se implementó en 1997 en once países latinoamericanos en los cuales se aplicaron pruebas de lenguaje y matemáticas a tercero y cuarto grado. En la actualidad se inició un segundo estudio que, al igual que el anterior, está a cargo de la Unidad de Curriculum y Evaluación del Ministerio de Educación. Indicadores de Educación Mundial (World Educational Indicators, WEI) que se inició en Publica anualmente información secundaria relativa a los sistemas educacionales. Está a cargo de la Coordinación de Estudios y Estadísticas del Departamento de Planificación y Estudios del Ministerio de Educación. Encuesta Internacional sobre Alfabetización de Adultos (International Adult Literacy Survey, IALS), se aplicó en 1998 con la participación conjunta de los Ministerios del Trabajo, de Economía y de Educación. Tendencias (o Tercer) Estudio Internacional de Matemáticas y Ciencias (Trends -o Third- International Mathematics and Science Study, TIMSS), que evalúa Ciencias y Matemáticas. En 1999 se evaluó 7 y 8 grado, y Chile participó también en el estudio del año 2003 con 8 Básico. Estos estudios son liderados por la International Association for The Evaluation Of Educational Achievement (IEA) y llevados a cabo por Boston College. Está a cargo de la Unidad de Curriculum y Evaluación del Ministerio de Educación. Estudio Internacional de Educación Cívica, también liderado por la IEA. Se aplicó a 8 Básico en 1999 y a 4 Medio en el año Ambos a cargo de la Unidad de Curriculum y Evaluación del Ministerio de Educación. Proyecto Regional de Indicadores Educacionales (PRIE), que se inició en 2000, está a cargo de la Coordinación de Estudios y Estadísticas del Departamento de Planificación y Estudios del Ministerio de Educación. Se utiliza información secundaria de la Región y UNESCO recolecta información primaria cuando es necesario. Estudio Internacional de Tecnología en Educación (Second Information Technology in Education Study, SITES) de la IEA, realizado durante los años 2000 a 2002, a cargo del programa Enlaces del Ministerio de Educación. Estudio de Profesores (Attracting, Developing and Retaining Effective Teachers) de la OCDE. Está en curso y a cargo de la Coordinación de Estudios y Estadísticas del Departamento de Planificación y Estudios del Ministerio de Educación. Programa Internacional de Evaluación de Estudiantes (Programme for International Student Assessment, PISA). Se aplicó por primera vez en los países de la OCDE en el año 2000 y para los países que no son miembros de la OCDE se organizó PISA+ que se aplicó en el año Está a cargo de la Unidad de Curriculum y Evaluación del Ministerio de Educación. 22 Gobierno de Chile, Ministerio de Educación