PLIEGO DE CONDICIONES TÉCNICAS PARA LA CORRECCIÓN DE LA LECTURA, LAS CIENCIAS Y LAS MATEMÁTICAS DE LAS PRUEBAS PISA 2009

Transcripción

1 PLIEGO DE CONDICIONES TÉCNICAS PARA LA CORRECCIÓN DE LA LECTURA, LAS CIENCIAS Y LAS MATEMÁTICAS DE LAS PRUEBAS PISA 2009 El proyecto PISA 2009, evalúa las competencias matemáticas, de ciencias y de lectura de los alumnos y alumnas de 15 años (nacidos en 1994). Para ello se aplicarán en diferentes países de la OCDE y otros participantes, una serie de pruebas de rendimiento. Muestra: En la CAPV se aplicarán estas pruebas a 5300 alumnos y alumnas, que las completarán en euskara y en castellano, en una relación aproximada de 1 a 6. Pruebas: Se utilizarán 13 modelos diferentes de pruebas en los cuales se repetirán distintos bloques de cuestiones con un total de 15 preguntas diferentes de Matemáticas, 15 de Ciencias y 58 de Lectura. Además de la pruebas de PISA se incluyen una serie de cuadernos -PISA L-, con los mismos ítems de lectura, y el mismo formato, pero más reducido. Corrección. Las preguntas abiertas requieren una corrección que debe seguir unos criterios técnicos claramente especificados: La corrección debe realizarse por profesorado especialista de cada una de las áreas: las de Matemáticas por personas que pudieran trabajar como profesorado de Matemáticas de Educación Secundaria, las de Ciencias de la Naturaleza por quienes puedan hacerlo de Física, Química, Biología o Geología y, las de Lectura, por aquellos relacionados con las áreas lingüísticas. Los criterios de corrección rigurosos, vienen recogidos en diferentes manuales en castellano y en euskera. La corrección se realizará ítem a ítem. (Es decir se debe corregir primero un mismo ítem de todos los cuadernos de cada bloque antes de pasar a otro ítem) como se señala en el manual general: Note also that the student responses must be coded item by item. That is, Item X is coded in all booklets in the pile provided to each coder before the next item requiring coding is considered. Procedures for coding constructedresponse items MS09. (49, PG 11) Todos los correctores de una especialidad deben corregir todos los clusters (agrupación de ítems). Note that during the single coding, it is a requirement that within each domain, all recruited coders code every cluster. Procedures for coding constructed-response items MS09. (48, PG 10) Hay dos correcciones: Página 1 de 11

2 o Una sencilla de todos los cuadernos realizada por todos los correctores, de forma que cada cuaderno sea corregido por más de un corrector. Además de los ítems propios de la prueba de PISA, habrá que incluir los correspondientes a los cuadernos de PISA L. o Una múltiple sobre cien ejemplares de todos los cuadernos, en la que una serie de preguntas abiertas (el primer bloque de ítems) se corrige cuatro veces por cuatro correctores diferentes y el resto una vez, (que ya habrán sido corregidos previamente). En cada una de estas correcciones realizadas deben constar quienes son los correctores que han participado en las mismas. El proceso de corrección seguirá un orden previamente establecido, primero todos los ítems de corrección simple, incluidos los de los cuadernos de múltiple corrección y a continuación los de corrección múltiple. Debe realizarse un control de la corrección diario de forma que se detecten problemas en la organización de la corrección. Debe realizarse un control exhaustivo de todos los cuadernos recibidos, antes, durante y después de la corrección. Formación: El equipo de correctores y correctoras tendrá unas sesiones previas de formación de unas 6-8 horas en Matemáticas y ciencias, y unas 12 en lectura para familiarizarse con los ítems. Esta formación en los días convenidos se realizará por parte de personal de ISEI-IVEI, en los días previos a la corrección. Así mismo se establecerán algunas sesiones de revisión periódicas de (aproximadamente 2 horas a la semana), para poner en común las dudas sobre los criterios de corrección. Confidencialidad: Todas las personas relacionadas con la corrección (correctores/as, formadores coordinadores ) firmarán un compromiso de confidencialidad relacionado con todo el material utilizado, dicho compromiso afecta a cualquiera de los siguientes apartados (Main Study National Project Manager s Manual) a) any results obtained by candidates or schools; b) the content of any PISA test booklet; c) the content of any script from the test booklets or questionnaires; d) the content of any script from the School Questionnaire; e) the name of any student whose work I have coded; and f) details of the coding criteria used in the project. a) Cualquier tipo de resultados obtenidos por el alumnado o los centros; b) El contenido de cualquier cuadernillo.; c) El contenido de cualquier texto de los cuadernillos o cuestionarios; d) El contenido de cualquier texto del cuestionarios de centro; e) El nombre de cualquier estudiante que se haya corregido y f) Detalles sobre los criterios de corrección utilizados. Página 2 de 11

3 Así como a la utilización del material de corrección con otro fin que no sea, el del propio trabajo encomendado. Volumen de trabajo: 1. Número de ítems diferentes: El número de ítems diferentes que hay que corregir en total son los siguientes Items Abiertos Matemáticas 15 Ciencias 19 Lectura Ítems que hay que corregir por cuaderno Hay dos series de cuadernos, los da la aplicación PISA 2009, y los de PISA L.En cada cuaderno hay que corregir los siguientes ítems. PISA 2009 Cuaderno nº Matemáticas Ciencias Lectura PISA L Cuaderno nº Lectura 2L 15 4L 15 5L 18 6L 19 7L 19 8L 13 12L Número de cuadernos MAXIMO a corregír de cada tipo. El número máximo de cuadernos (se puede pensar que el número real sea un 10% menor) de cada tipo es el siguiente: Tipo de Cuaderno Nº máximo Nº Previsible Página 3 de 11

4 Cuadernos PISA Cuadernos PISA L La cantidad de ítems a corregir será la siguiente: Teniendo en cuenta la corrección sencilla y la corrección múltiple (100 cuadernos de cada tipo), así como el número máximo de cuadernos, tanto en PISA como en PISA L, el número de ítems a corregir será el siguiente. CORRECCIÓN SENCILLA CORRECCIÓN MULTIPLE CUADERNO Mate Ciencias Lectura PISA L Mate Ciencias Lectura (2L) (4L) (5L) (6L) (7L) (8L) (12L) * 5700* 17400* *: Es la suma multiplicada por tres porque hay que corregir cada ítem de la corrección múltiple hay que corregirlo cuatro veces (una contabilizada en la sencilla y tres en la múltiple). TOTAL CUADERNO Mate Ciencias Lectura (2L) (4L) (5L) (6L) (7L) (8L) (12L) Página 4 de 11

5 Plazo: El plazo aproximado será de cuatro semanas de corrección entre el 1 y el 26 de junio. Hay que tener en cuenta que la formación se realizará antes de estas fechas, de forma que dicho periodo sea dedicado íntegramente a la corrección. Concretamente la corrección de lectura se llevará a cabo en este periodo, la de matemáticas solo durará dos semanas (diez días laborables) y la ciencias aproximadamente, trece días. Cada corrector y correctora trabajará un máximo de seis horas diarias con al menos un corte de una hora. Características de los correctores: Para Lectura: personas habilitadas para la docencia de Euskara o de Lengua Castellana en Educación Secundaria, con conocimiento de las dos lenguas de instrucción (Euskera y Castellano); también se consideran aquellas personas que estén cursando los últimos cursos de una licenciatura o diplomatura relacionada con estas áreas. Para Matemáticas y Ciencias: personas habilitadas para la docencia de Ciencias en Educación Secundaria y con competencia en la corrección de Matemáticas, con conocimiento de las dos lenguas de instrucción (Euskera y Castellano); también se consideran aquellas personas que estén cursando los últimos cursos de una licenciatura o diplomatura relacionada con estas áreas. La corrección se ha estructurado en función del siguiente número de correctores: Lectura: 20 especialistas Matemáticas: 8 especialistas Ciencias: 8 especialistas Cada corrector tendrá un código específico que identificará el material que tiene que corregir, y con el que deberá indicar las correcciones múltiples que realice. Todos los correctores y correctoras realizarán tanto la corrección sencilla, como la múltiple que les corresponda. Proceso de trabajo: Cada corrector deberá corregir una serie de cuadernos determinados, siguiendo un orden establecido previamente, tanto de ítems como de cuadernos. El material llegará organizado en bloques de cuadernos de corrección sencilla (identificación amarilla), bloque de cuadernos de corrección múltiple (identificación azul) y bloque de PISA L (identificación verde). Corrección sencilla PISA PISA L Corrección Múltiple* Cuaderno Cuaderno Página 5 de 11

6 Corrección sencilla Corrección Múltiple* PISA PISA L Cuaderno Cuaderno Cuaderno Cuaderno Cuaderno Cuaderno Cuaderno Cuaderno Cuaderno Cuaderno Cuaderno *Los cuadernos de corrección múltiple, están incluidos en el montante de la corrección sencilla, dado que la corrección múltiple solo afecta a uno de los cuatro conjuntos de ítems que forma cada prueba. La corrección de los cuadernos debe seguir un modelo específico de distribución que debe ser aprobado previamente por el consorcio de empresas que gestionan PISA 2009 (ACER), en dicho modelo se debe presentar una distribución de los cuadernos y los correctores equilibrada y que siga una serie de patrones detallados. Una vez analizadas las posibilidades, el modelo de referencia para el País Vasco (todavía pendiente de aprobación) es el siguiente: Corrección de lectura: Correctores Código provisional Lectura 201 al personas Lo primero que se corrige en la prueba PISA 2009, es la corrección sencilla. En el cuadro siguiente se identifica cada corrector con un código, 20 Correctores Lectura PROCESO DE CORRECCION SENCILLA LECTURA PISA 2009 BLOQUES DE CUADERNOS AMARILLOS R1 1,2,9, R2 4,8,11, R3A 1,3,4, R4A 2,4,5, R5 5,6,10, R6 6,7,8, R7 2,6,11, Página 6 de 11

7 Se llama Bloque de cuadernos, al paquete de cuadernos formado después de repartirlos en veinte bloque iguales (aproximadamente 16 cuadernos cada bloque, dado que la referencia son los 410 cuadernos menos los 100 de la corrección múltiple que forman los paquetes azules) Para leer la tabla hay que seguir el siguiente proceso. El corrector 201, corrige inicialmente el bloque de lectura 1, de los cuadernos 1, 2, 9 y 13. Pero solo el conjunto de ítems R1. A la vez el corrector 202 corrige el bloque de lectura 2, de los cuadernos 1, 2, 9 y 13. Pero solo el conjunto de ítems R1. Así todos los correctores y correctoras. Cuando terminan ese bloque, el corrector 201 inicia la corrección del bloque 2 de los cuadernos 4,8,11,13, pero solo el conjunto de ítems R2. Así sucesivamente durante 7 pasos. A continuación se corrige PISA L PROCESO DE CORRECCION SENCILLA LECTURA PISA L 20 Correctores Lectura BLOQUES DE CUADERNOS VERDES R1 2L R2 8L, 11L R3A 4L (2) R4A 4L (2) R5 6L (2) R6 6L (2), 5L R7 7L Y, a continuación se realiza la corrección sencilla de los cuadernos que van a tener la corrección múltiple. Los cuadernos se han agrupado en cuatro bloques de cuadernos (A, B, C y D) cada uno de 25 cuadernos. PROCESO DE CORRECCION SENCILLA LECTURA PISA Correctores Lectura BLOQUES DE CUADERNOS AZULES 1 R1 1,9,13 Cualquier corrector de lectura 2 R2 4,11,13 Cualquier corrector de lectura 3 R3A 1,3,6 Cualquier corrector de lectura 4 R4A 2,4,7 Cualquier corrector de lectura 5 R5 5,10,13 Cualquier corrector de lectura 6 R6 6,8,9 Cualquier corrector de lectura 7 R7 2,6,11 Cualquier corrector de lectura Página 7 de 11

8 Finalmente, viene la corrección múltiple, que se realiza las tres primeras veces sobre un papel, concretamente los tres primeros correctores, y el cuarto es quien corrige en el propio cuaderno. CORRECCIÓN MÚLTIPLE LECTURA PISA Correctores Lectura BLOQUES DE CUADERNOS AZULES 1 2 R1 4 R3A 201, 202, 203, R4A 205, 206, 207, R5 209, 210, 211, R6 213, 214, 215, R2 12 R7 217, 218, 219, 220 Cada corrector debe ser el último en uno de los cuatro bloques de cuadernos (A, B, C y D). Corrección de matemáticas: Se contará con 8 correctores que corregirán tanto los ítems de ciencias como los de Matemáticas. Correctores Código provisional Matemáticas 101 al personas PROCESO DE CORRECCION SENCILLA MATEMÁTICAS PISA Correctores matemáticas BLOQUES DE CUADERNOS AMARILLOS M1 5, M1 1, M3 7, M3 1, M2 9, M2 3, Página 8 de 11

9 Y, a continuación se realiza la corrección sencilla de los cuadernos que van a tener la corrección múltiple. Los cuadernos se han agrupado en cuatro bloques de cuadernos (A, B, C y D) cada uno de 25 cuadernos. PROCESO DE CORRECCION SENCILLA MATEMATICAS PISA Correctores matemáticas BLOQUES DE CUADERNOS AZULES 1 M1 5,8 Cualquier corrector de matemáticas 2 M1 12 Cualquier corrector de matemáticas 3 M3 7 Cualquier corrector de matemáticas 4 M3 1,10 Cualquier corrector de matemáticas 5 M2 11 Cualquier corrector de matemáticas 6 M2 3,5 Cualquier corrector de matemáticas Por último viene la corrección múltiple, que se realiza las tres primeras veces sobre un papel, concretamente los tres primeros correctores, y el cuarto es quien corrige en el propio cuaderno. CORRECCIÓN MÚLTIPLE MATEMÁTICAS PISA Correctores matemáticas BLOQUES DE CUADERNOS AZULES 1 1 M1 101, 102, 103, M2 11 M3 105, 106, 107, 108 Página 9 de 11

10 Corrección de ciencias: Se contará con 8 correctores que corregirán tanto los ítems de ciencias como los de Matemáticas. Correctores Código provisional Ciencias 301 al personas La corrección sigue el mismo procedimiento que en matemáticas, aunque como los ítems son algo más complicados de corregir llevará un poco más de tiempo. PROCESO DE CORRECCION SENCILLA CIENCIAS PISA Correctores ciencias BLOQUES DE CUADERNOS AMARILLOS S2 4, S2 9, S1 2, S1 3, S3 3, S3 12, Y, a continuación se realiza la corrección sencilla de los cuadernos que van a tener la corrección múltiple. Los cuadernos se han agrupado en cuatro bloques de cuadernos (A, B, C y D) cada uno de 25 cuadernos. PROCESO DE CORRECCION SENCILLA CIENCIAS PISA Correctores ciencias BLOQUES DE CUADERNOS AZULES 1 S2 4,12 Cualquier corrector de ciencias 2 S2 9 Cualquier corrector de ciencias 3 S1 2,10 Cualquier corrector de ciencias 4 S1 8 Cualquier corrector de ciencias 5 S3 3,7 Cualquier corrector de ciencias 6 S3 12 Cualquier corrector de ciencias Por último viene la corrección múltiple, que se realiza las tres primeras veces sobre un papel, concretamente los tres primeros correctores, y el cuarto es quien corrige en el propio cuaderno. Página 10 de 11

11 CORRECCIÓN MÚLTIPLE CIENCIAS PISA Correctores ciencias BLOQUES DE CUADERNOS AZULES 1 3 S1 301, 302, 303, S3 10 S2 305, 306, 307, 308 Página 11 de 11