PISA a examen: Evento mediático, nueva forma de gobernanza, o propuesta de cambio escolar? Miguel A. Pereyra mpereyra@ugr.es Universidad de Granada Congreso Internacional de Educación. Evaluación, Universidad Autónoma de Tlaxcala, 25 de septiembre, 2014
Profesorado. Revista de Currículum y Formación de Profesorado http://www.ugr.es/~recfpro/
Profesorado. Revista de Currículum y Formación de Profesorado http://www.ugr.es/~recfpro/
PISA, el Programme for International Student Assessment (Programa internacional para la evaluación de los estudiantes) de la OCDE se ha convertido en algo más de una década en el más avanzado y complejo sistema de evaluación internacional, cuyo impacto mediático es apabullante. Cuando se publican sus resultados, un año después de haber pasado las pruebas a escolares de 15 años, edad próxima a su terminación de la escolaridad obligatoria y en su transición al mundo laboral, se produce un terremoto mediático (generado por una estrategia de diseminación de resultados extremadamente proactiva por parte de la OCDE), que básicamente consiste en divulgar en los media los aspectos más generales de las pruebas pasadas y la competitividad por resultados entre los países intervinientes. Un fenómeno que en realidad debería evitarse porque el instrumento es elaborado o producido con minuciosidad y base científica importante como para enfocar sus resultados más elaboradamente.
Contenido 1. Cambios en la formación y la escolarización y la gobernación de los sistemas educativos 2. Contexto de las Evaluaciones Internacionales 3. Los antecedentes del PISA: la IEA 4. La OCDE y el programa PISA Qué innovaciones aporta PISA Objetivos y características Resultados 5. Críticas al programa PISA
, que son una creación del siglo XIX ligada a la idea del Estadonación surgida con la Revolución Francesa y cuyos antecedentes se encuentran en la Paz de Westfalia de 1648 que dio paso a un nuevo orden en Europa basado en el concepto de soberanía nacional. Con la configuración de los Estadosnación, las políticas que comenzaron a desarrollarse se plantearon transformar a los habitantes de las nuevas soberanías en sujetos legales con lenguajes e historias similares. Entonces la idea de la nación no era un proyecto racionalista, como lo fue más adelante, sino uno IDEALISTA Y EMOCIONAL, que inspiraba una identificación casi religiosa con la nación (la comunidad imaginada, como conceptualizó Bendic Anderson). La escuela y el magisterio fueron concebidos como una misión en la que primaban la moralización y la formación cultural y del carácter de los futuros ciudadanos y ciudadanas.
A partir de la Primera Guerra Mundial y sobre todo de la Segunda se va a consolidar un programa transnacional de ingeniería social, que desplazó las visiones ideaistas y emocionales de la educación nacionalista por una visión esencialmente ajena a la tradición, la moraleja y la historia. Se puso el énfasis en la indiferencia cultural de las poblaciones y en los principios racionales y lógicos, haciendo uso asimismo de las técnicas de planificación social, la psicología cognitiva y la comprensión social de la ciencia. El objetivo final era lograr de un mundo armónico internacionalmente vinculado (global) que compitiera con el bloque soviético ) se generó una especie de creencia mundial en la salvación a través de la tecnocracia y la educación científica (con sus disciplinas escolares básicas como las matemáticas y las ciencias); una educación científica orientada al futuro, que se puede aplicar de manera universal al mismo tiempo que posibilita un sistema de control que funciona de manera intrínsecamente porque es interno y no impuesto desde el exterior (Daniel Tröhler, 2012 y 2013).
Cambio en la tradicional dicotomía sobre el concepto de Educación Educación como formación y desarrollo del individuo versus Educación como medio de socialización de las nuevas generaciones en las demandas del capitalismo En la actualidad, dentro del capitalismo cognitivo globalizado EDUCACIÓN PARA LAS COMPETENCIAS Y EDUCACIÓN PARA EL DESARROLLO INDIVIDUAL EN CONTEXTOS LOCALES CON UNA DIMENSIÓN GLOBAL 12
Daniel Tröhler Armonizar el globo educativo. Política mundial, rasgos culturales y los desafíos de la investigación educativa (Profesorado. Revista de Currículum y Formación de Profesorado, 2009) http://www.ugr.es/~recfpro/rev132firinv1.pdf Estamos inmersos en un proceso de armonización del globo educativo, en una política educativa mundial. PISA representa su más distinguido instrumento. Esta nueva gobernación mundial tiene sus raíces en el medio cultural del contexto de la Guerra Fría. El fracaso de las iniciativas educativas condujo a un nuevo modelo de gobernación en el cual se estandarizaron los exámenes a gran escala surgidos como el instrumento principal en la gobernación educativa, como PISA. Mi tesis es que la idea de gobernación global está arraigada en una cultura específica, en la que los instrumentos desarrollados corren el riesgo de afectar sólo a estructuras formales. Así, PISA presenta señales prominentes en la armonización del globo educativo; ofrece un nuevo acercamiento para considerar los resultados de la escuela, utiliza cómo sus evidencias base las experiencias de los estudiantes a través del mundo más que las del contexto cultural específico de un solo país.
Contexto de las Evaluaciones Internacionales Una historia de más de 50 años Escenario Guerra fría de fondo. Preocupación por conocer y analizar los SE otros países. Gran preocupación en EEUU, por el adelanto de la URSS en la carrera espacial. Viabilidad de los currícula de Matemáticas y Ciencias Necesidad de medición del rendimiento educativo a escala internacional y eficacia de las escuelas. A mediados de los años cincuenta reunión de un grupo de expertos en medición escolar (e.g. Bloom, Thorndike, Husén, Mialaret, etc.).
Contexto de las Evaluaciones Internacionales Preocupación por la viabilidad de éxito de las comparaciones internacionales del rendimiento educativo. Creación de la IEA (International Association for the Evaluation of Educational Achievement), en 1960, por parte de académicos del mundo de la psicología y la educación. La IEA es una institución no gubernamental de carácter transnacional integrada por: Asociaciones de investigación internacionales. La cooperación de agencias de evaluación nacionales (como el Ministerio de Educación en España), de más de 50 países. Sede actual en Amsterdan (Holanda), el Centro de Datos (Hamburgo) y el Centro de Estudios Internacionales, en el Boston College (que se encarga de los proyectos TIMSS y PIRLS a los que luego nos referiremos)
Contexto de las Evaluaciones Internacionales Objetivos de la IEA: Investigación comparada sobre la dimensión internacional del rendimiento educativo. Laboratorio mundial de recogida de datos, introducción de indicadores y variables, de los diferentes sistemas educativos. Obtención de datos comparables para mejorar los sistemas educativos. Aportar datos sobre tendencias del rendimiento del alumnado en Comprensión Lectora, Matemáticas y Ciencias.
IEA (International Association for the Evaluation of Educational Achievement) Destinatarios Periodicidad Última realizada PIRLS (Estudio Internacional de Progreso en Comprensión Lectora / Progress in International Reading Literacy Study) TIMSS (Estudio International de Matemáticas y Ciencias / Trends in International Mathematics and Science Study) ICILS (Estudio Internacional sobre Competencia Digital / International Computer and Information Literacy Study) ICCS (Estudio Internacional sobre Educación Cívica y Ciudadana / International Civic and Citizenship Education Study) TEDS-M (Estudio Internacional sobre la Formación Inicial del Profesorado de Matemáticas / Teacher Education and Development Study in Mathematics) 4º ens. primaria 4º ens. primaria 2º ens. secundaria 2º ens. secundaria Futuros profesores de Primaria y Secundaria 5 años 2011 4 años 2011 Primera vez en 2013 2009 Primera vez en 2008
Contexto de las Evaluaciones Internacionales Las evaluaciones a gran escala y a nivel internacional se han convertido en: una especialización en sí misma; un campo científico enteramente estructurado, con sus reglas de funcionamiento, de legitimación, de control y de reconocimiento. Motivo de su aparición fue la preocupación política inicial por la insuficiencia de los datos estadísticos de la UNESCO y la consolidación del proyecto de la OCDE Education at a glance (Panorama de la educación), inicia-do en los años 80 del pasado siglo, y cuyo primer volumen aparece en 1992. Los estudios de la IEA desde 1962 han constituido un campo de pruebas.
.
Recordemos que la OCDE es: Una organización de cooperación internacional con el objetivo de coordinar políticas económicas y sociales creado en París en 1960. En origen un think tank (fábrica de ideas) que poseen los países que la forman como una fuente de información comparativa, de análisis y de previsiones con vistas al fortalecimiento de la cooperación multilateral. Formada por 34 países miembros, que representan el 80% del PIB mundial. Uno de los foros mundiales más influyente sobre temas de relevancia internacional como economía, educación y medio ambiente.
Recordemos que la OCDE A partir de los años 80 del pasado siglo ha ido conciliando un papel casi hegemónico en la política educativa mundial. Se ha convertido en un emprendedor político de primera naturaleza Define problemas (económicos, sociales y educativos) y aporta soluciones (Anna Jakobi & Kerstin Martens, 2008), en el contexto de un cierto liberalismo inclusivo (Doug Porter y David Craig, 2005) y de una competitividad solidaria. Su enfoque es la gobernanza por comparación (Nóvoa & Yariv- Mashal, 2003) y por los números (Grek, 2009) (una suerte de nueva forma de redención y salvación por el gobierno de los números ) Sin capacidad de legislar, su influencia se expresa a través de sofisticados informes, evaluaciones y publicaciones, así como por la organización de eventos varios, con vistas a ofrecer historias causales a los dirigentes políticos de sus países miembros sobre visiones del futuro y modelos del desarrollo de las mejores prácticas (best practices).
La OCDE y PISA o o o Hacia 1988, finaliza el monopolio de la IEA de las evaluaciones internacionales, criticada por gestionar numerosos proyectos cuyos resultados tardaban en publicarse y tenían una pobre esrategia de comunicación, como también por su falta de interés por las cuestiones de política educativa. La Administración federal norteamericana de Ronald Regan se interesó por un sistema de encuestas más ágil y funcional que los de la IEA y obligó a la OCDE a diseñar, primeramente, en 1986, un proyecto innovador de indicadores estadísticos sobre los sistemas educativos, el INIES (International Indicators of Educational Systems), para medir la eficacia de las escuelas ante la problemática de la competitividad nacional propia (A Nation at Risk, 1983). A mediados de los años 90, el proyecto INIES se concluye con el comienzo del diseño de un programa de evaluación del conocimiento que posee el alumnado a nivel internacional.
La OCDE y PISA En 1997, los ministerios de Educación de los países de la OCDE deciden aplicar un ciclo de encuestas autónomo, de un nuevo tipo, sobre los conocimientos del alumnado. En el año 2000, los entonces 30 países miembros de la OCDE participaron en el primer estudio del Programme for International Student Assessment o Programa Internacional sobre las Evaluación de los Alumnos, conocido por sus iniciales como PISA. La OCDE obtuvo así lo que nunca había conseguido realizar en cuarenta años, reorientar las políticas educativas en muchos países. PISA se había convertido en un referente para justificar decisiones o reformas en los sistemas educativos.
26
OCDE (Organización para la Cooperación y Desarrollo Económico) PISA (Programa para la Evaluación Internacional de Estudiantes / Programme for International Student Assessment) TALIS (Estudio Internacional de Enseñanza y Aprendizaje /Teaching and Learning International Survey) PIAAC (Programa para la Evaluación Internacional de las competencias de Adultos / Programme for International Assessment of Adult Competences) UNIÓN EUROPEA Destinatarios Alumnos que cumplen 16 años en el año de realización Profesores y directores de Educación Secundaria Población adulta (16 a 65 años) Periodicidad Última realizada 3 años 2012 2008 Siguiente 2013 10 años 2012 Destinatarios Periodicidad Última realizada EECL o ESLC (Estudio Europeo de Competencia Lingüística / European Survey Language Competence) 4º ESO 5 años (próxima 2016) 2011
Interpretando PISA El Proyecto PISA, que se comenzó a gestar desde 1994, tuvo el primer informe en 2000, con la intervención de 265.000 escolares de 32 países (los miembros de la OCDE y otros 11 países que firmaron participar con la OCDE; en 2003 fueron 41 país, en 2006, 57 países y en 2009, 62 países). PISA no solo supone una prueba de rendimiento PISA no es un test de escolarización; no es una evaluación del sistema educativo, sino el exponente del neoliberalismo en educación de orientación economicista, que se está convirtiendo en una estrategia de uso con vistas a la reconfiguración de la gobernanza de los sistemas educativos y, por ende, al logro de una gobernación mundial de la educación a través de los filtros nacionales. PISA, concebida como una verdadera gobernanza postburocrática blanda, aporta una base de orientación para la racionalización transna- 28 cional de la acción pública en educación.
Elementos innovadores de PISA Orientación hacia la preparación para la vida adopta un enfoque competencial. Eficiencia y relevancia de los resultados para los poderes públicos. Elevados estándares de calidad. Circulación de datos, transferencia de resultados.
Objetivos del Programa Permitir a los responsables políticos detectar qué factores están asociados al éxito educativo. Evaluar el rendimiento escolar y establecer relaciones estadísticas con determinadas variables del contexto escolar y familiar, actitudes de los maestros y características personales del alumnado. Interés por la calidad del aprendizaje, la igualdad de resultados y la equidad de oportunidades. Mejorar la eficacia y eficiencia de los procesos educativos. Evaluar los conocimientos, habilidades, actitudes y comportamientos en los ámbitos de la lectura, matemáticas y ciencias.
Qué mide PISA? Habilidad lectora Usar e interpretar material escrito y reflexionar sobre él. Habilidad matemática Aplicación práctica de los conocimientos matemáticos en diferentes situaciones, de forma variada y reflexiva. Habilidad científica Utilización de los conocimientos científicos, para comprender el mundo natural y tomar decisiones sobre él.
Cómo mide PISA? El promedio de las puntuaciones de la OCDE se establece en 500. Es un número índice que facilita la comparación entre países, desde las más elementales en el nivel 1 hasta las más complejas en el nivel 6. La puntuación promedio del país que mejores resultados obtiene es de 563 puntos y la de los peores resultados es 322. Los estudiantes que participan se selección por muestreo bi-etápico: primero se elige un determinado número de centros educativos (mínimo de 150 por país) y luego se eligen unos 35 alumnos de 15 años en cada centro. El número de estudiantes evaluados por país debe ser superior a 4.500.
33
Los PISA(s) Áreas de evaluación y periodicidad A partir de 2009, aplicación ERA (Electronic Reading Assesment) prueba que mide la competencia lectora en formato electrónico. Aplicación de la prueba de competencia financiera a partir de 2009 y a partir de 2012 una prueba digital de resolución de problemas de la vida práctica.
Los resultados y los contextos sociales económicos y culturales En PISA se considera que los factores socioeconómicos y culturales presentes en el entorno del alumnado pueden explicar en buena medida el rendimiento obtenido. Calcula un índice de estatus socioeconómico y cultural (ESCS) que tiene en cuenta tres componentes: el nivel más alto de educación alcanzado por los padres, el grado de la profesión más alta de los padres y el nivel de recursos domésticos. Y otras variables
Variables asociadas al rendimiento según PISA
37
38
39
40
Interpretando PISA PISA no pretende ser un programa que trate de abarcar la formación escolar de forma comprensiva. PISA trata de medir la habilidad de los muchachos y muchachas que se encuentran en transición al mundo del trabajo con vistas a usar conocimiento extrapolable y las habilidades que van a necesitar en situaciones vitales reales. Por ello, la OCDE afirma que no le interesa medir la eficiencia interna de la escuela. PISA no propone revisiones del currículum; no toma interés por las problemáticas teóricas y de enseñanza de la educación y la escolarización. 41
Interpretando PISA PISA ha reactivado la dimensión pragmático-funcional de la formación: adquisición de saberes prácticos y capacidades básicas operativamente aplicables. La OCDE considera relevante, además de aplicar los tests de rendimiento del conocimiento extrapolable de las enseñanzas recibidas por el estudiantado, los datos que se recaban de forma paralela; datos de los estudiantes y sus familias, de las clases y las escuelas (obteniendo informes de los directores a través de cuestionarios amplios en los que también participan docentes y padres). PISA se elabora con elevados estándares de calidad (en cada edición intervienen más de 300 personas y expertos en su diseño y elaboración), y en cada uno de sus informes se produce una muy importante circulación de datos y transferencia de resultados. 42
Las limitaciones de PISA para la escuela (I) El modelo PISA supone una reinterpretación reduccionista del concepto de educación o formación general sólo se evalúan algunas enseñanzas en relación con el currículum escolar y, lo que es más importante, trata las materias o asignaturas escolares de la enseñanza obligatoria como unidades aisladas, dando de este modo un renovado impulso a perpetuar las formas individualistas del trabajo del profesorado cuando en nuestra época son muy necesarios los métodos de proyectos, la integración de contenidos en proyectos curriculares específicos como también el trabajo en equipo. PISA no especifica las razones de las debilidades de nuestros sistemas educativos sino más bien aporta información para desarrollar formas de interpretación o explicación que deberían ser objeto de observaciones e investigaciones más específicas, necesitadas de contextualizarse social, cultural y 43 pedagógicamente.
Las limitaciones de PISA para la escuela (II) PISA no especifica qué es lo que hay que hacer para mejorar la calidad de la enseñanza y la educación en sistemas escolares individuales, por útiles y elaboradas que puedan ser sus recomendación. PISA tampoco especifica realmente cómo son nuestras escuelas proyecta de ella una imagen de aspectos limitados, por medio de instrumentos selectivos (como los tests de lápiz y papel, con la introducción últimamente de las nuevas tecnologías, como la lectura en pantalla en pruebas complementarias). Estas pruebas, con su rigor, pretenden ofrecer un stock de condiciones específicas de las escuelas en un tiempo preciso, útiles sin duda para el pilotaje de los sistemas educativos, a modo de señales de alerta o aviso, aunque realmente lo que es necesario es diseñar pruebas con formas más elaboradas de diagnóstico. En PISA, el «entorno social y educativo» que debe fomentar la institución escolar se limita fundamentalmente a primar el papel de la escuela como productora de lo que, como revulsivo a las enseñanzas tradicionales de nuestras escuelas, se concibe como conocimientos prácti- 44 cos útiles, objetivo estimable pero limitado y a veces confuso.
Las limitaciones de PISA para la escuela (y III) Para la OCDE, el primar la evaluación del conocimiento útil, extrapolable de las enseñanzas que posee el estudiantado, se basa en la creencia de que esto es lo más adecuado, porque vivimos una época de transición de unas sociedades industriales a otras globalizadas basadas en el conocimiento, con el riesgo evidente de que continúe sin producirse realmente la proyección del conocimiento en nuestras escuelas de forma más provechosa. Los constructores de PISA, dentro de la OCDE, están más interesados en producir un cierto cambio educativo que pueda conducir a cada nación a un mundo nuevo global, a una sociedad y economía basadas en el conocimiento. En este orden de cosas y más en concreto, el modelo lógicotécnico-objetivo propuesto por PISA está acentuando desde la pasada década, de forma muy efectiva, «la universalidad revolucionaria de las competencias/habilidades evaluadas» en el ámbito internacional, lo que está conduciendo a replanteamientos cada vez más 45 evidentes en el mundo de la enseñanza.
Tom Popkewitz Más allá de la objetividad de los números de PISA ( PISA: números, estandarización de la conducta y la alquimia de la materias escolares. Profesorado. Revista de Currículum y Formación de Profesorado, 2013) http://www.ugr.es/local/recfpro/rev172art3.pdf Los números de PISA no son meramente números. Pero PISA hace que el aparente rigor y uniformidad de los números parezca que se transportan en el tiempo y en el espacio de manera tal que no se requiera una confianza personal ni un conocimiento íntimo. La comparación confiere una aparente naturalidad a las respuestas en los diferentes contextos nacionales. Como las luchas perennes de las ciencias y las políticas contra la subjetividad, los números parecen excluir juicio alguno. La objetividad mecánica de los números parece seguir, a priori, unas reglas que proyectan equidad e imparcialidad, excluyendo el juicio y atenuando la subjetividad