Resultados de Asturias en el estudio PIRLS 2016

Transcripción

1 Resultados de Asturias en el estudio PIRLS 2016 É r a s e una vez un anciano de ochenta y siete años que se llamaba Labon. Toda la vida había sido una persona tranquila y pacífica. Era muy pobre y muy feliz. Cuando Labon descubrió que tenía ratones en su casa no le importó mucho al principio. Pero los ratones se multiplicaron. Le empezaron a molestar. Continuaron multiplicándose, hasta que finalmente llegó un momento en que no lo pudo soportar más. Esto es demasiado, dijo. Esto realmente está llegando demasiado lejos. Salió de casa cojeando hacia la tienda al final de la calle, donde compró algunas ratoneras, un pedazo de queso y algo de pegamento. Cuando llegó a casa puso el pegamento en la parte inferior de las ratoneras y las pegó al techo. Luego colocó los cebos de queso cuidadosamente y las dejó preparadas para que se activaran. Aquella noche, cuando los ratones salieron de sus agujeros y vieron las ratoneras en el techo, pensaron que se trataba de una broma tremenda. Anduvieron por el suelo, dándose codazos cariñosos los unos a los otros y señalando hacia arriba con sus patas delanteras riéndose a carcajadas. Después de todo, era bastante tonto, ratoneras en el techo. Cuando Labon bajó a la mañana siguiente y vio que no había ningún ratón atrapado en las ratoneras sonrió pero no dijo nada. Cogió una silla, puso pegamento en la parte inferior de las patas y la pegó patas arriba al techo, cerca de las ratoneras. Hizo lo mismo con la mesa, la televisión y la lámpara. Cogió todo lo que había en el suelo y lo pegó patas arriba en el

2 Título: Resultados de Asturias en el estudio PIRLS 2016 Autoría: Servicio de Evaluación Educativa. Dirección General de Ordenación Académica e Innovación Educativa del Principado de Asturias. Colección: Informes. Edita: Consejería de Educación y Cultura del Gobierno del Principado de Asturias. Depósito Legal: AS Copyright: 2017 Consejería de Educación y Cultura. La reproducción de fragmentos de las obras escritas que se emplean en los diferentes documentos de esta publicación se acogen a lo establecido en el artículo 32 (citas y reseñas) del Real Decreto Legislativo 1/1.996, de 12 de abril, modificado por la Ley 23/2006, de 7 de julio, Cita e ilustración de la enseñanza, puesto que se trata de obras de naturaleza escrita, sonora o audiovisual que han sido extraídas de documentos ya divulgados por vía comercial o por internet, se hace a título de cita, análisis o comentario crítico, y se utilizan solamente con fines docentes. Esta publicación tiene fines exclusivamente educativos, se realiza sin ánimo de lucro, y se distribuye gratuitamente a todos los centros educativos del Principado de Asturias. Queda prohibida la venta de este material a terceros, así como la reproducción total o parcial de sus contenidos sin autorización expresa de la Consejería de Educación y Cultura. Todos los derechos reservados.

3 Tabla de contenido 1. SEIS DÉCADAS DE EVALUACIÓN DE LA COMPRENSIÓN LECTORA: ANTECEDENTES DEL ESTUDIO INTERNACIONAL DE PROGRESO DE LA COMPRENSIÓN LECTORA (PIRLS) EL ESTUDIO INTERNACIONAL DE PROGRESO DE LA COMPRENSIÓN LECTORA (PIRLS) Un proyecto de alcance mundial Un único proyecto con tres modalidades de participación QUÉ EVALÚA PIRLS? Elementos de la definición de Comprensión Lectora Especificaciones de la Comprensión Lectora Propósitos de lectura La lectura como experiencia literaria La lectura para la adquisición y el uso de información Procesos de la Comprensión Lectora Localización y obtención de información explícita Extracción de conclusiones directas Interpretación e integración de ideas e informaciones Análisis y evaluación del contenido y de los elementos textuales

4 4. EL DISEÑO DE LA EVALUACIÓN PIRLS Factores asociados a la Comprensión Lectora Instrumentos de evaluación (I): pruebas de rendimiento Estructura de las lecturas y formatos de los ítems Textos e ítems liberados Estructura de la prueba PIRLS Instrumentos de evaluación (II): cuestionarios de contexto Cuestionario para el alumnado Cuestionario para las familias Cuestionario para el profesorado Cuestionario para el centro Cuestionario del currículo Enciclopedia PIRLS Qué información aporta PIRLS 2016 y cómo aprovecharla para la mejora del sistema educativo? LA PARTICIPACIÓN DE ASTURIAS EN PIRLS RESULTADOS: LA SITUACIÓN DE ASTURIAS EN EL CONTEXTO NACIONAL E INTERNACIONAL Resultados en Comprensión Lectora Resultados en las sub-escalas: Propósitos de la lectura Resultados en las sub-escalas: Procesos de comprensión lectora RESULTADOS POR NIVELES DE RENDIMIENTO Niveles de rendimiento Comparación de los niveles de rendimiento en Asturias, España y el promedio internacional PIRLS La distribución del alumnado por niveles de rendimiento La situación de los centros en la escala de niveles de rendimiento

5 8. FACTORES ASOCIADOS A LOS RESULTADOS EN PIRLS Variables y factores individuales asociados a los resultados educativos Género Lugar de nacimiento como indicador de la condición de emigrante Recursos para el estudio disponibles en el hogar Año de nacimiento como indicador de repetición Absentismo y faltas injustificadas Resultados según la percepción de la propia competencia lectora Resultados según el interés por la lectura Análisis conjunto de las variables de alumnado Procesos medidos a nivel grupal Sentido de pertenencia Convivencia Valoración que el alumnado hace de la metodología docente Factores asociados a la actividad lectora en el hogar Iniciación a la lectura Competencia lectora inicial Número de libros y de libros infantiles en casa Gusto por la lectura de las familias Análisis conjunto de las variables familiares CONCLUSIONES ANEXO I REFERENCIAS ÍNDICE DE GRÁFICOS ÍNDICE DE TABLAS

6

7 1. Seis décadas de evaluación de la Comprensión Lectora: antecedentes del Estudio Internacional de Progreso de la Comprensión Lectora (PIRLS) Este apartado recrea la historia de las evaluaciones comparadas de la Comprensión Lectora realizadas por la Asociación Internacional para la Evaluación del Rendimiento Educativo, y presenta los antecedentes de la serie de estudios PIRLS. El Estudio Internacional de Progreso en Comprensión Lectora (PIRLS, por el acrónimo del original inglés: Progress in International Reading Literacy Study), es una evaluación comparada de sistemas educativos promovida por la Asociación Internacional para la Evaluación del Rendimiento Educativo (IEA, un referente mundial en el campo de la evaluación educativa. La IEA es un consorcio internacional e independiente, si bien la mayoría de sus miembros son organismos gubernamentales, agencias ministeriales, universidades o institutos dedicados a la investigación sobre evaluación educativa. Su misión es realizar estudios comparativos a gran escala sobre el logro educativo para generar información que permita analizar los efectos de las políticas y prácticas educativas. La IEA nace bajo el auspicio de la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO), a finales de los años 50, para dar respuesta a los problemas prácticos a los que se enfrentaba la evaluación de la eficacia escolar y de los aprendizajes del alumnado. Hasta aquel momento los juicios sobre la calidad y méritos de los sistemas educativos se basaban en afirmaciones sin apoyatura empírica alguna. En ese contexto se vio la necesidad de acumular evidencias en diferentes sistemas educativos que permitieran identificar y analizar los factores que tenían influencias significativas y consistentes en los resultados educativos. Desde entonces la IEA ha desarrollado diferentes evaluaciones en diez áreas curriculares y estudios sobre temas específicos como el clima de aula, los recursos informáticos para el aprendizaje, la formación docente o la educación infantil. La Comprensión Lectora es una de las áreas fundamentales en los proyectos impulsados por la IEA. El gráfico 1 recoge la línea temporal de los estudios de la IEA centrados en dicha materia. El devenir de la evaluación de la Comprensión Lectora puede compararse con el ciclo vital de un ser vivo que ha cubierto, hasta el momento, las etapas de gestación, nacimiento, desarrollo autónomo y madurez. Resultados de Asturias en el estudio PIRLS

8 Gráfico 1. Evaluaciones de la Comprensión Lectora realizadas por la IEA Gestación Nacimiento Mayoría de edad Madurez Adulta Estudio piloto 12 países (1959) Estudio de 6 materias 18 países ( ) International Reading Literacy Study 32 países ( ) PIRLS 2001 PIRLS 2006 V PIRLS 2011 V PIRLS Estudios en los que participó España PIRLS 2016: Asturias participó con muestra propia V V PIRLS 2011: Andalucía y Canarias participaron con muestra propia PIRLS 2016: Varias CC.AA. participaron con muestra propia Entre 1959 y 1961 la IEA realizó el primer ensayo a nivel mundial destinado a evaluar el rendimiento académico en cuatro materias: Matemáticas, Ciencias, Geografía y Comprensión Lectora. Este proyecto, también conocido como El estudio piloto de 12 países, corresponde con la etapa de gestación de la evaluación internacional de sistemas educativos ya que su finalidad era explorar la viabilidad y posibilidades de realizar equiparaciones internacionales rigurosas del rendimiento académico. Por tanto, la Comprensión Lectora ya se encontraba como área de evaluación en el estudio primigenio donde participaron casi estudiantes de 13 años de una docena de países. El Piloto-12 países apuntó las limitaciones y grandes desafíos a los que se enfrentaba la evaluación internacional de sistemas educativos (traducción y adaptación cultural de las pruebas, logística de la aplicación, comparabilidad de resultados ), pero también señaló que, bajo ciertas condiciones, la comparación era posible. Por ejemplo, las pruebas de Comprensión Lectora presentaban niveles de fiabilidad adecuados para su finalidad (Foshay, Thorndike, Hotyat, Pidgeon & Walker, 1962). Igualmente, el formato de los ítems de Comprensión Lectora ensayado en el Piloto-12 países (pasajes de lectura asociados a una serie de preguntas) se mantiene invariante en la actualidad. Fruto de las lecciones extraídas del Piloto-12 países la evaluación a gran escala de sistemas educativos estaba lista para su nacimiento, hecho que ocurre entre 1966 y Durante esos años la IEA planifica, diseña, aplica y reporta los resultados de la primera comparación internacional de rendimiento académico, también conocida como El estudio de seis materias, donde participan estudiantes de 10 y 14 años y del último curso de secundaria postobligatoria (Bloom, 1969). Dentro del proyecto 6-Materias se encontraba el Study of Reading Comprehension (Estudio de Comprensión Lectora) que incluía pruebas de velocidad y comprensión lectora, habilidad verbal y vocabulario. La evaluación se extendió durante cuatro años ( ) y en la misma participaron casi estudiantes de más de escuelas de 15 de los 18 países (Niessen y Peschar, 1982). El interés estratégico de los datos acumulados durante las primeras décadas de evaluación comparada de sistemas educativos, unido al desarrollo en los campos de la medición educativa y de la validación y adaptación transcultural de las prue- 8 Consejería de Educación y Cultura del Principado de Asturias

9 bas hace que en el siguiente estudio de la IEA, la evaluación de la Comprensión Lectora alcance la mayoría de edad. El International Reading Literacy Study (IRLS), realizado entre 1990 y 1991 y aplicado sobre dos poblaciones (10 y 14 años) muestra muchos de los rasgos que se consolidarán en la edad adulta de la evaluación de la Comprensión Lectora. En primer lugar, la Comprensión Lectora es objeto de una evaluación propia y específica y no como hasta entonces una materia dentro de un estudio mayor. Además, establece un marco teórico que en gran parte será seguido por los estudios posteriores, de hecho, la definición que actualmente se maneja sobre Comprensión Lectora fue establecida en el estudio del año Por otro lado la nómina de países participantes y los tamaños muestrales empleados se duplican con respecto al estudio anterior: participan más de estudiantes y docentes de escuelas ubicadas en 32 países. El IRLS es también el primer estudio internacional centrado en la Comprensión Lectora que expresa sus resultados en los modelos derivados de la Teoría de Respuesta al Ítem lo que ofrece mayores garantías para la comparación de resultados entre países. Finalmente, en IRLS ya aparecen los modelos de presentación de los resultados por países que actualmente se maneja en la evaluación internacional (Elley, 1992; Postlethwaite & Ross, 1992). Resultados de Asturias en el estudio PIRLS

10 2. El Estudio Internacional de Progreso de la Comprensión Lectora (PIRLS) Este apartado presenta las características principales de la evaluación PIRLS: alcance y modalidades de participación disponibles para los países Un proyecto de alcance mundial En los años de transición entre siglos los programas internacionales de evaluación de sistemas educativos adquieren un carácter sistemático y regular. En 1995 se lleva a cabo la primera edición del Estudio Internacional de las Tendencias en Matemáticas y Ciencias (TIMSS) que evaluará cuatrienalmente Matemáticas y Ciencias en estudiantes de 4º y 8º año de escolaridad obligatoria. Por su parte, en el año 2000 debuta el Programa Internacional para la Evaluación de Estudiantes (PISA), que cada tres años evalúa Lectura, Matemáticas y Ciencias al alumnado de 15 años. En ese contexto, la IEA toma la decisión de realizar una evaluación periódica de la Comprensión Lectora en el 4º curso de la escolaridad obligatoria. La elección de 4º curso como edad de referencia para el estudio está motivada por el hecho de que es el momento en el cual el alumnado ya ha aprendido a leer y comienza a leer para aprender (Mullis y Martin, 2017). La primera evaluación del Estudio Internacional de Progreso de la Comprensión Lectora (PIRLS) se llevó a cabo en el año 2001, y desde entonces el mismo se ha repetido cada cinco años. Por tanto, PIRLS 2016 es el cuarto estudio de la serie que permite a aquellos países que participaron desde el principio disponer de datos evolutivos y comparables de los últimos quince años. Por otra parte, PIRLS es un ejemplo de cooperación internacional en materia de educación, donde colaboran gobiernos y centros de investigación educativa a nivel mundial. La IEA, a través de su Secretaría (con sede en Ámsterdam) y del IEA Data Processing and Research Centrer (con sede en Hamburgo), es la promotora del estudio. La dirección del programa es responsabilidad del TIMSS & PIRLS International Study Center del Boston College ( Por su parte, Statistics Canada ( se encarga de la selección de la muestra de todos los países participantes. El soporte técnico para el desarrollo de los ítems y pruebas de evaluación es responsabilidad del National Foundation for Educational Research (NFER, de Inglaterra y del Australian Council for Educational Research (ACER, Por su parte, el Educational Testing Service (ETS, ejerce de consultor psicométrico del estudio. La coordinación internacional del estudio se realiza en colaboración con las coordinaciones nacionales de los países participantes. Estas coordinaciones, ubicadas en órganos de los ministerios y administraciones 10 Consejería de Educación y Cultura del Principado de Asturias

11 educativas de los países y regiones participantes en el estudio, son las encargadas de proporcionar la información necesaria para describir el contexto y el currículo de lectura de los países; ejecutar el estudio en cada territorio (aplicación, corrección, codificación y edición de las bases de datos); formar al profesorado; y difundir y dar a conocer los productos y resultados del estudio. Gráfico 2. Red de cooperación internacional para el desarrollo del estudio PIRLS NFER Stat- Can ETS Boston College IEA ACER Ministerios y unidades gubernamentales de los países participantes Dado que PIRLS es la evaluación internacional de Comprensión Lectora más reputada, la nómina de países participantes es siempre muy numerosa. En el año 2016 participaron 50 países y economías mundiales, 11 territorios adjudicados dentro de los países participantes (por ejemplo, Quebec y Ontario en Canadá o Buenos Aires en Argentina) y otras regiones, como en el caso de Asturias, que sin ser territorio adjudicado amplían muestra para hacer que sus resultados sean perfectamente comparables con el de los países y economías de referencia. En total la muestra quedó conformada por casi estudiantes de 4º curso y unos docentes pertenecientes a escuelas. El gráfico 3 muestra los países participantes en PILRS 2016 entre los que se encuentran la mayoría de los miembros de la Organización para la Cooperación y el Desarrollo Económicos (OCDE) y de la Unión Europea. Resultados de Asturias en el estudio PIRLS

12 Gráfico 3. Países participantes en PIRLS 2016 Canadá Estados Unidos Alemania Austria Bélgica (Fl., Fr.) Bulgaria Chequia Dinamarca Eslovaquia Eslovenia España Finlandia Francia Georgia Hungría Inglaterra Irlanda Irlanda Norte Italia Letonia Lituania Malta Noruega Países Bajos Polonia Portugal Rusia Suecia Arabia Saudita Baréin Catar Emiratos Arábes Unidos Irán, Rep. Islámica Israel Jordania Kuwait Omán Trinidad y Tobago Azerbayán Hong Kong Kazajstán Macao Singapur Taiwán Chile Argentina (CABA) Botswana Egipto Marruecos Sudáfrica Australia Nueva Zelanda España participó por primera vez en la evaluación del año 2006, por lo que el estudio del año 2016 supondrá la posibilidad de establecer tendencias de rendimiento toda vez que se dispone de una serie de tres datos comparables. Por su parte, las Comunidades Autónomas españolas muestran una tendencia creciente de participación. En el año 2011 se registraron las primeras ampliaciones de muestra por parte de las administraciones educativas. En aquella ocasión sólo dos regiones, Andalucía y Canarias, costearon la ampliación muestral. Sin embargo, en la edición de 2016 el número de autonomías que han ampliado muestra ha aumentado, participando las siguientes regiones: Andalucía, Asturias, Castilla y León, Cataluña, La Rioja, Madrid y País Vasco. Al igual que ocurre con estudios similares (PISA, TIMSS) la previsión es que la participación de las regiones españolas tienda a generalizarse en próximas ediciones Un único proyecto con tres modalidades de participación Si bien PIRLS tiene vocación de estudio de tendencias es cierto que a lo largo de estos años el proyecto ha ido evolucionando y enriqueciéndose. Por ejemplo, en el año 2011 para ciertos países se proporcionó una versión más fácil de la prueba, denominada prepirls. Con todo, coincidiendo con la evaluación del año 2016 PIRLS presenta el cambio más significativo de la serie histórica del estudio, de modo que 12 Consejería de Educación y Cultura del Principado de Asturias

13 los países pueden participar en alguna de las siguientes modalidades de la evaluación: PIRLS-2016, PIRLS Literacy y epirls. PIRLS-2016 es la opción principal y básica de la evaluación, y la modalidad en la que participan la mayoría de los países. Es también la opción elegida por Asturias en la aplicación de muestra y, por tanto, será descrita en el apartado siguiente. PIRLS Literacy comparte el diseño y algunos textos y preguntas con PIRLS-2016, sin embargo, incluye también textos de menos extensión y la mayor parte de las preguntas están centradas en evaluar procesos cognitivos básicos (recuperar y extraer conclusiones directas). PIRLS Literacy sustituye en 2016 a la versión prepirls y, al igual que aquella, está pensada para ser aplicada en países y sistemas educativos donde los estudiantes de 4º curso están desarrollando destrezas básicas de comprensión lectora y para los cuales la opción principal (PIRLS-2016) supone un nivel de dificultad elevado. epirls es una evaluación innovadora de lectura en línea, es decir, una evaluación de lectura basada en ordenador. Usa un entorno de Internet donde se presentan tareas que simulan situaciones reales relacionadas con temas de Ciencias Naturales y Ciencias Sociales. Desde una ventana del navegador de Internet se proporciona al alumnado sitios web que contienen información sobre sus tareas, estos tienen que navegar a través de diferentes páginas que contienen una variedad de elementos como fotografías, gráficos, numerosas fichas y enlaces. Resultados de Asturias en el estudio PIRLS

14 3. Qué evalúa PIRLS? Este apartado resume el capítulo Marco de Comprensión Lectora de PIRLS 2016 del trabajo de Mullis & Martin (2017). La lectura de dicho documento es altamente recomendable para las personas interesadas en conocer en detalle las especificaciones del contenido de la evaluación PIRLS Elementos de la definición de Comprensión Lectora Como ya se apuntó, el concepto de Comprensión Lectora utilizado por PIRLS es deudor de la definición manejada por la IEA en el International Reading Literacy Study del año 90, si bien ha sido revisada y matizada durante las últimas décadas. La definición de Comprensión Lectora de PIRLS es la siguiente: La competencia lectora es la habilidad para comprender y utilizar las formas lingüísticas requeridas y/o valoradas por el individuo. Los lectores son capaces de construir significado a partir de una variedad de textos. Leen para aprender, para participar en las comunidades de lectores del ámbito escolar y de la vida cotidiana, y para su disfrute personal. Esta definición incluye e integra las aportaciones actuales sobre la investigación en Comprensión Lectora y se basan en un concepto amplio de lo que significa la capacidad de lectura. El primer elemento de esta definición ( habilidad para comprender y utilizar las formas lingüísticas requeridas y/o valoradas ) enfatiza la capacidad para reflexionar y utilizar los textos escritos para lograr sus metas sociales e individuales, es la capacidad de leer para actuar, en un contexto que enfatiza las habilidades del alumnado para usar la información obtenida a través de la lectura. Los desarrollos teóricos actuales ponen el énfasis en demostrar la habilidad lectora para aplicar lo que se lee a situaciones y proyectos nuevos, en lugar de demostrar la fluidez y comprensión básica. El elemento central de la definición ( los lectores son capaces de construir significado ) es coherente con los últimos desarrollos de la investigación educativa que señalan que la lectura es un proceso activo de construcción de significados. En ese sentido los lectores usan sus conocimientos previos, sus destrezas lingüísticas y sus estrategias cognitivas y metacognitivas para generar sus significados. Estos significados se construyen mediante la interacción entre la persona que lee y el texto ( construir significado a partir de una variedad de textos ), por lo que dicho texto puede presentarse en multitud de formatos: libros, revistas, tablas e información gráfica, correos electrónicos, formatos multimedia, etc. 14 Consejería de Educación y Cultura del Principado de Asturias

15 Finalmente la lectura, es decir, la construcción de significados se lleva a cabo en diferentes contextos y con distintos fines ( Leen para aprender, para participar en el ámbito escolar y de la vida cotidiana, y para su disfrute personal ). En ese proceso de construcción social de significados, las interacciones que se producen en las comunidades de lectura del ámbito escolar (el aula o la biblioteca escolar), familiares y círculos sociales dan oportunidades para entender y valorar los textos Especificaciones de la Comprensión Lectora La tabla 1 muestra las especificaciones empleadas por PIRLS para la selección muestral de los contenidos y tareas de evaluación propuestas en sus pruebas. Dicha tabla se organiza en dos ejes fundamentales: propósitos de la lectura y procesos de Comprensión Lectora. Tabla 1. Especificaciones de Comprensión Lectora en PIRLS 2016 Propósitos de lectura Procesos de comprensión Tener una experiencia literaria Adquirir y usar la información Totales Localización y obtención de información explícita 20 % Extracción de conclusiones directas 30 % Interpretación e integración de ideas e informaciones Análisis y evaluación del contenido y los elementos textuales 30 % 20 % Totales 50 % 50 % 100 % Los propósitos de lectura reflejan las razones por las que leen las personas: leer para disfrutar y leer para informarse. Por su parte, los procesos señalan los niveles de comprensión lectora, graduados en términos de complejidad y desafío cognitivo y que incluyen, desde el proceso básico de localizar y recuperar información claramente explicitada en el texto, hasta el análisis y la crítica literaria del contenido y de los elementos formales del propio texto. Los porcentajes de los marginales de la tabla señalan el porcentaje de ítems destinados a medir cada uno de los propósitos y procesos lectores. Los dos propósitos se reparten paritariamente el peso en el conjunto de la evaluación. En cuanto a los procesos cognitivos de comprensión lectora se observa un peso ligeramente mayor de la interpretación y extracción de conclusiones, frente a los procesos de recuperación literal de información y el análisis de contenido y de los elementos formales del texto. Resultados de Asturias en el estudio PIRLS

16 3.3. Propósitos de lectura La competencia lectora está directamente relacionada con las razones por las que se lee: disfrute personal, aprendizaje y participación en la sociedad. En el caso del alumnado de Educación Primaria que se inicia en la lectura, las dos primeras razones son mucho más importantes, por lo que el eje de propósitos de lectura de las especificaciones de la evaluación sólo incluye dos tipos de lecturas: tener una experiencia literaria y adquirir y usar información. En general estos propósitos están asociados a algún tipo de texto. Así, la lectura como experiencia literaria emplea textos de ficción, mientras que la lectura para la adquisición y uso de la información emplea artículos informativos y textos didácticos La lectura como experiencia literaria Los reactivos presentados para evaluar este aspecto de la Comprensión Lectora suelen ser textos narrativos o de ficción literaria que cuentan una historia, y aunque imaginarios reflejan la vida real y permiten reflexionar sobre la misma. En estos textos las preguntas de la prueba se refieren al tema, argumento, acontecimientos, acciones y consecuencias, personajes (sentimientos e ideas) y ambientación de la historia. Pueden presentarse desde el punto de vista de la persona que narra o del protagonista y, en los casos más complejos, presentar distintos tipos de vista. Las informaciones o ideas pueden describirse directamente o bien mediante diálogos y acontecimientos. A su vez, los acontecimientos pueden presentare cronológicamente, si bien en otras ocasiones el uso del tiempo es más complejo manejando retrospectivas o saltos en el tiempo. Por diferencias culturales, algunos tipos de textos como la poesía (que es difícil de traducir) o el teatro (que no se enseña en todos los países en Educación Primaria) no son incluidos en el estudio La lectura para la adquisición y el uso de información Los textos empleados para evaluar este propósito son representaciones directas de datos (detalles biográficos, los pasos para realizar una tarea, etc.), aunque también textos informativos subjetivos (explicaciones, razonamientos y argumentos del autor) que el lector debe abordar con visión crítica para formarse una opinión. Los textos informativos son variados en cuanto a contenido, estructura y formato. En cuanto al contenido, se presentan textos científicos, históricos, geográficos o sociales. Estructuralmente los textos pueden variar: los datos histórico-biográficos se presentan cronológicamente, las instrucciones y los procedimientos como una lista de pasos a seguir y los razonamientos se organizan lógicamente (p. ej., causa y efecto o comparar y contrastar información). Finalmente, la información se presenta en formatos diferentes que, además de texto, pueden incluir tablas de datos, gráficos, diagramas o imágenes que ilustren las descripciones. Por su parte, la información textual no siempre se presenta en forma de texto continuo, sino que incluyen información ad hoc, como definiciones, listas o cronogramas en notas o en las columnas laterales. Así pues, el alumnado tendrá que aplicar procesos de comprensión distintos en función de cómo se haya presentado la información. 16 Consejería de Educación y Cultura del Principado de Asturias

17 3.4. Procesos de la Comprensión Lectora PIRLS evalúa cuatro procesos cognitivos de lectura: localización y obtención de información explícita; extracción de conclusiones directas; interpretación e integración de ideas e informaciones; y análisis y evaluación del contenido y los elementos textuales. Más allá de estos procesos, se encuentran las estrategias y los procesos de tipo metacognitivo que permiten al lector comprobar su grado de comprensión y ajustar cómo se enfrenta al texto. PIRLS usa los cuatro procesos para desarrollar las preguntas que van ancladas a cada texto o grupo de textos. Diferentes tipos de preguntas son utilizados con cada procedimiento y sus componentes para evaluar este proceso. Existe una interacción entre la extensión y complejidad del texto y la sofisticación del proceso de comprensión requerido. Inicialmente, puede parecer que localizar y obtener información explícita resultaría menos difícil que, por ejemplo, realizar interpretaciones a partir de un texto completo e integrar ideas y experiencias externas. Sin embargo, no todos los textos son iguales y pueden variar en características como la extensión, la complejidad sintáctica, la abstracción de ideas y la estructura organizativa. De este modo, la naturaleza del texto puede afectar a la dificultad de la pregunta, tanto para cada uno de los tipos de procesos como entre ellos Localización y obtención de información explícita El proceso de localización y obtención de información explícita requiere que el lector se concentre en palabras, frases u oraciones concretas del texto con el fin de construir un significado; y que localice y obtenga información de diferentes apartados. Este proceso supone entender el texto de manera prácticamente inmediata o automática y se necesita muy poca o ninguna deducción o interpretación ya que el significado es evidente y está explícito en el texto. Obtener y localizar información explícita con éxito supone: Identificar información relevante para el propósito específico de la lectura. Buscar ideas específicas. Buscar definiciones de palabras o frases. Identificar el escenario de una historia (p. ej., el tiempo y el espacio). Encontrar la idea principal (cuando está indicada expresamente) Extracción de conclusiones directas En la lectura, como en toda construcción de significados, se pueden extraer conclusiones directas sobre ideas o informaciones presentadas. Extraer conclusiones y realizar inferencias va más allá de la literalidad del texto y permite resolver lagu- Resultados de Asturias en el estudio PIRLS

18 nas de significado. Algunas de estas inferencias son directas en el sentido de que están basadas principalmente en la información que se encuentra en el texto; será suficiente con que el lector conecte dos o más ideas o informaciones, aunque las mismas no estén explícitamente reseñadas en el texto. Estas ideas en sí mismas pueden ser explícitas pero no así la conexión entre ellas que deberá ser inferida. Por otra parte, aunque la inferencia no esté explícita, el significado del texto sigue siendo relativamente claro. Por ejemplo, las acciones de un personaje permiten concluir algún rasgo concreto de su personalidad o de las razones de su conducta. Algunas de las tareas de lectura en este proceso de comprensión son: Inferir que un acontecimiento da pie a otro acontecimiento. Deducir el propósito principal de una secuencia de argumentos. Identificar generalizaciones efectuadas en el texto. Describir la relación entre personajes Interpretación e integración de ideas e informaciones Interpretar e integrar ideas e informaciones supone relacionar significados puntuales o globales del texto o relacionar detalles de la lectura con ideas más generales. En todo caso este proceso supone entender la intención del autor y alcanzar una comprensión completa de todo el texto. Para lograr el proceso de comprensión el alumnado debe incorporar al significado del texto sus experiencias y conocimientos personales. Por ejemplo, para deducir las motivaciones ocultas de un personaje, para construir una imagen mental de la información presentada o para extraer conclusiones generales. Algunas de las tareas de lectura en este proceso de comprensión son: Discernir el mensaje o tema general de un texto. Considerar una alternativa a las acciones de los personajes. Comparar y contrastar información del texto. Inferir el ambiente o tono de una historia. Interpretar una aplicación en el mundo real de la información del texto Análisis y evaluación del contenido y de los elementos textuales Este proceso no se centra en la construcción de significado sino en el análisis crítico del texto, ya que se trata de examinar y evaluar el mismo. Requiere que las personas que leen justifiquen sus opiniones y puedan contrastar la información del 18 Consejería de Educación y Cultura del Principado de Asturias

19 texto rechazando, aceptando o manteniéndose neutrales con respecto a los argumentos presentados. Para enjuiciar los elementos textuales, los lectores emplean sus conocimientos sobre el uso del lenguaje, los elementos de una presentación de información o las características del texto. Igualmente pueden evaluar la idoneidad del lenguaje empleado, el tono elegido, el método (visual o textual) usado para proporcionar la información y explicar las funciones de los elementos manejados (p. ej., cuadros de texto, imágenes o tablas) para presentar la información. Algunas de las tareas de lectura en este proceso de comprensión son: Juzgar si la información del texto es clara y completa. Evaluar la posibilidad de que los acontecimientos descritos pudieran suceder en la realidad. Evaluar la posibilidad de que el argumento cambie la manera de pensar y de actuar de las personas. Juzgar si el título del texto refleja correctamente el tema principal. Describir las características del lenguaje como las metáforas o el tono. Determinar el punto de vista del autor sobre el tema principal. Resultados de Asturias en el estudio PIRLS

20 4. El diseño de la evaluación PIRLS Este apartado resume los capítulos 2 y 3 del trabajo de Mullis & Martin (2017). La lectura de dicho documento es altamente recomendable para las personas interesadas en profundizar en el diseño y los marcos teóricos del análisis de PIRLS Factores asociados a la Comprensión Lectora Un objetivo importante de PIRLS es recabar información de contexto educativo que permita identificar los factores asociados a las diferencias en los resultados de los sistemas educativos. En otras palabras, PIRLS, además de determinar el nivel de competencia lectora de un país, región o sistema educativo, tiene como segunda finalidad analizar las razones por las que estudiantes, escuelas y sistemas educativos presentan diferentes niveles de Comprensión Lectora. Para responder a esta pregunta PIRLS desarrolla un marco teórico amplio donde recoge y define los factores que potencialmente marcan diferencias en los resultados de las pruebas de Comprensión Lectora. La tabla 2 organiza los factores del marco teórico para el análisis de contexto educativo establecidos para PIRLS. Tabla 2. Marco teórico de los factores asociados al rendimiento en Comprensión Lectora en PIRLS 2016 Nacional Regional Centro Aula Contexto / Entrada Lenguas oficiales Recursos económicos, demografía y características geográficas Organización y estructura del sistema educativo Ubicación del centro escolar Nivel socioeconómico del centro Recursos del centro Condiciones laborales del profesorado Formación y experiencia del profesorado Recursos del aula Proceso Recorrido escolar del alumnado Currículo de lectura en Educación Primaria Profesorado y su formación Control y evaluación de la aplicación del currículo Satisfacción del profesorado Liderazgo educativo Énfasis del centro en el éxito académico Centro escolar seguro y disciplinado Tiempo lectivo y deberes escolares Implicación del alumnado en la enseñanza Enseñanza de la lectura en línea Evaluación en el aula Familias Estudiante Recursos educativos en el hogar Lengua hablada en casa Características sociológicas del alumnado Conocimientos previos Expectativas familiares y socialización académica Actividades tempranas de lectura Apoyo familiar a la lectura Motivación del alumnado Percepción que el alumnado tiene sobre sí mismo Hábitos y comportamientos del alumnado relacionados con la lectura 20 Consejería de Educación y Cultura del Principado de Asturias

21 La tabla se organiza en dos ejes. El primero agrupa las variables según su naturaleza en dos categorías: contexto/entrada y proceso. Las variables de contexto/entrada son, por definición, antecedentes sobre los que el centro apenas puede incidir. No obstante, aunque sean factores poco modificables influyen en los resultados educativos. Desde el trabajo original de Coleman, Campbell, Hobson, McPartland, Mood, Weinfeld y York (1966) se ha acumulado abundante evidencia que señala que antecedentes como los recursos y oportunidades del contexto del centro, el nivel económico y cultural de las familias y otras características sociológicas del alumnado y del centro están claramente asociados a los resultados educativos. Por su parte, las variables de proceso educativo conforman el conjunto de factores susceptibles de ser controlados y modificados por parte del centro para aumentar la calidad de su oferta formativa. Se trata pues de los factores capitales para la mejora de la escuela. El interés por los procesos escolares surge como reacción a las primeras conclusiones del informe Coleman et al (1966), y su sentencia de que la escuela no importa, y a lo largo de las últimas décadas se ha identificado un conjunto de procesos educativos claramente asociados a buenos resultados. La mayoría de estos procesos son los que se recogen en el marco teórico de PIRLS y aparecen en la columna de la derecha de la tabla 2. En todo caso debe advertirse que la ubicación de ciertas variables como factores de entrada o de proceso puede variar en función de las características de los países. Por ejemplo, en sistemas educativos altamente centralizados o donde la autonomía de gestión de los centros es limitada, variables como las condiciones laborales y características del profesorado se manejan como factores de entrada o antecedentes, ya que en estos casos los centros apenas tienen competencia en la política de contratación del profesorado. Sin embargo, en otros países los centros y sus comunidades educativas tienen amplias competencias en materia de contratación y provisión de plazas. En ese caso, las condiciones laborales del profesorado serían una variable de proceso que los centros educativos podrían manejar para optimizar su oferta educativa. El segundo eje de la tabla 2 señala que las variables identificadas, sean de entrada o de proceso, operan en diferentes niveles de análisis. Razonablemente se espera que los factores individuales del alumnado (conocimientos previos, motivación, hábitos de trabajo, expectativas familiares ) expliquen la mayor parte de las diferencias de los resultados. Por su parte las variables de aula (aprovechamiento del tiempo, metodología de enseñanza, clima de trabajo ) tengan más peso en los resultados que los factores de centro. En todo caso, esta estructura multinivel de los factores escolares obliga a emplear modelos de análisis que reproduzcan la naturaleza multinivel de la realidad educativa. Resultados de Asturias en el estudio PIRLS

22 4.2. Instrumentos de evaluación (I): pruebas de rendimiento Estructura de las lecturas y formatos de los ítems Los reactivos de las pruebas de Comprensión Lectora de PIRLS responden a un mismo formato: inicialmente se presenta un texto o estímulo que lleva aparejado una serie de preguntas o ítems. Como ya se apuntó, los textos que conforman la situación estimular pueden ser muy diversos en cuanto a su estructura y organización, desde materiales escritos en orden lineal a fragmentos de pocas palabras o frases dispuestos en tablas o gráficos. En todo caso, cada lectura y las preguntas asociadas a la misma están diseñadas para ocupar unos 40 minutos de trabajo. Las preguntas anidadas al texto están diseñadas para evaluar los cuatro procesos de Comprensión Lectora mencionados y responden a dos formatos básicos: ítems de elección múltiple e ítems de respuesta construida o abierta. Los ítems de elección múltiple representan la mitad de las preguntas totales de la evaluación. Estos ítems ofrecen cuatro opciones de respuesta entre las que el alumnado debe seleccionar la correcta. Estos ítems se puntúan binariamente: 1 punto si selecciona la opción correcta y 0 puntos si elige una alternativa incorrecta. En principio, con este tipo de ítems se puede evaluar cualquier proceso de comprensión lectora, pero como no permite al alumnado ofrecer explicaciones y justificaciones presenta más limitaciones para evaluar los procesos de Comprensión Lectora más complejos como la interpretación y valoración de textos. Los ítems de respuesta construida o abiertos demandan una respuesta por escrito y no la selección de una respuesta entre una serie de opciones. Su peso en la evaluación es coherente con la definición de la competencia lectora entendida como un proceso de construcción de significados a través de la interacción entre la persona que lee, el texto y el contexto de la tarea de lectura (ver apartado 3.1). Estos ítems evalúan procesos de comprensión como justificar o interpretar el texto a partir la experiencia y conocimientos previos. Los ítems abiertos pueden ser de respuesta corta o de respuesta larga. Los primeros pueden puntuarse con 0, 1 ó 2 puntos y los segundos pueden puntuarse hasta 3 puntos según el grado de comprensión o de soporte textual que requieran. La calificación de los ítems abiertos es compleja, y para su corrección se elaboran guías de puntuación que describen el tipo y grado de comprensión que evalúa la pregunta, con ejemplos reales de respuestas que orientan la corrección y codificación de los ítems. En muchos casos en estos ítems puede haber una o más de una interpretación aceptable y, por tanto, variedad de respuestas correctas. En general los textos de PIRLS suman unos 15 puntos repartidos del siguiente modo: unas siete preguntas de opción múltiple (1 punto cada una), dos o tres preguntas de respuesta corta (1 o 2 puntos cada una) y una pregunta de respuesta larga (3 puntos). Cada lectura debe abarcar todos los procesos de comprensión evaluados en PIRLS, si bien el número 22 Consejería de Educación y Cultura del Principado de Asturias

23 total de puntos y la distribución exacta de los tipos de preguntas por bloques puede variar ligeramente, ya que los diferentes textos dan lugar a tipos de preguntas distintas Textos e ítems liberados Uno de los objetivos de PIRLS es establecer tendencias de rendimiento a lo largo de los años. Eso supone que algunos de los textos empleados en ediciones anteriores vuelven a presentarse en las evaluaciones futuras. Para evitar que esos textos sean conocidos previamente, las pruebas son sometidas a embargo y no son públicas. No obstante, todos los años algunos textos son descartados para ser empleados en evaluaciones sucesivas y se liberan públicamente. Tabla 3. Enlaces a las versiones electrónicas de los ítems liberados en los estudios PIRLS Año Enlace a la prueba en línea Dirección electrónica de la prueba 2001 Los ratones patas arriba 2001 La liebre anuncia el terremoto 2001 Las noches de los frailecillos 2001 Sigue el sendero del río Nord 2006 El pequeño terrón de arcilla 2006 Una noche increíble 2006 Buscando comida 2006 La Antártida: tierra de hielo 2011 El misterio del diente gigante 2011 Tarta para enemigos 2011 Vuela, águila, vuela 2011 Hacer excursiones de un día timsspirls/tests/57 timsspirls/tests/58 timsspirls/tests/59 timsspirls/tests/60 timsspirls/tests/62 timsspirls/tests/63 timsspirls/tests/65 timsspirls/tests/66 timsspirls/tests/1 timsspirls/tests/29 timsspirls/tests/30 timsspirls/tests/31 Resultados de Asturias en el estudio PIRLS

24 En este enlace pueden consultarse las lecturas liberadas por PIRLS desde su primera edición, tanto en castellano como en inglés. Igualmente, la tabla 3 muestra los enlaces individuales a todas las lecturas liberadas en la versión castellana en formato de aplicación en línea y corrección automática. Como se acaba de apuntar, al estar liberadas estas lecturas nunca más se volverán a aplicar en años venideros pero el hecho de que sean pruebas de corrección automática y que se disponga del promedio de acierto de España y de la media internacional hacen de las mismas un recurso de aula interesante Estructura de la prueba PIRLS 2016 Para ofrecer una imagen completa del rendimiento en lectura a los países participantes, la evaluación PIRLS 2016 consta de 12 textos y sus correspondientes ítems, que en su conjunto equivalen a 8 horas de trabajo. Dado que no es posible que cada estudiante responda a la prueba completa, PIRLS implementa una técnica, denominada diseño matricial (Fernández-Alonso y Muñiz, 2011), que permite distribuir sistemáticamente los 12 textos o bloques en 16 modelos de cuadernillos. En el momento de la aplicación cada estudiante responde a un único cuadernillo que contiene 2 de las 12 lecturas y que ocupa unos 80 minutos de trabajo, más otros 20 para cumplimentar un cuestionario de contexto idéntico para todo el alumnado. Esta distribución matricial de las lecturas, unida al uso de una metodología específica para estimar las puntuaciones del alumnado denominada Teoría de Respuesta al Ítem, permite comparar los resultados de los estudiantes, aunque éstos se enfrenten a lecturas distintas y respondan a preguntas diferentes. 24 Consejería de Educación y Cultura del Principado de Asturias

25 Tabla 4. Diseño matricial de los cuadernillos PIRLS 2016 Número del cuadernillo Lectura que contiene cada cuadernillo y orden en el que se presenta Parte 1 Parte 2 1 MP-Inf.2 MP-Lit.1 2 MP-Lit.3 MP-Inf.2 3 PL-Inf.3 MP-Lit.3 4 PL-Inf.3 MP-Lit.4 5 MP-Lit.4 MP-Inf.1 6 MP-Lit.2 MP-Inf.1 7 MP-Inf.3 MP-Lit.2 8 PL-Lit.3 MP-Inf.3 9 PL-Lit.3 MP-Inf.4 10 MP-Inf.4 MP-Lit.1 11 MP-Lit.3 MP-Inf.1 12 PL-Inf.3 MP-Lit.2 13 MP-Inf.3 MP-Lit.1 14 PL-Lit.3 MP-Inf.2 15 MP-Inf.4 MP-Lit.4 Lectura MP-Lit.5 MP-Inf.5 MP = Lectura del estudio principal PIRLS 2016 PL = Lectura del estudio PIRLS Literacy Inf = Texto informativo Lit = Texto literario 1-5 = Número de identificación de la Lectura La tabla 4 muestra el diseño matricial de los cuadernillos de PIRLS 2016, que presenta las siguientes características: Del total de 12 textos, 10 son específicamente de la evaluación PIRLS 2016, de los cuales la mitad evalúan la lectura como experiencia literaria (textos MP-Lit.1 a MP-Lit.5) y la otra mitad la adquisición y uso de la información (textos MP-Inf.1 a MP-Inf.5). Los otros dos textos (PL-Inf.3 y PL-Lit.3) provienen del estudio PIRLS Literacy y se incluyen en los cuadernillos de PIRLS 2016 para hacer comparables los resultados de las dos modalidades del estudio. Los dos textos de PIRLS Literacy aparecen en 6 de los 16 cuadernillos: los cuadernillos 3, 4, 8, 9, 12 y 14. De igual modo 6 de los 10 bloques del estudio principal ya fueron aplicados en ediciones anteriores: dos en las tres evaluaciones (2001, 2006 y 2011), dos en 2006 y 2011 y otras dos sólo en PIRLS Estos bloques se denominan Resultados de Asturias en el estudio PIRLS