EVALUACIÓN DIAGNÓSTICA. Orientaciones para interpretar los Informes de resultados. INFORMACIÓN PARA INSPECCIÓN y BERRITZEGUNE

Transcripción

1 EVALUACIÓN 2010 DIAGNÓSTICA Orientaciones para interpretar los Informes de resultados INFORMACIÓN PARA INSPECCIÓN y BERRITZEGUNE

2 ~ 2 ~

3 INTRODUCCIÓN Desde su inicio en el curso , la Evaluación de Diagnóstico tiene la aspiración de convertirse en un elemento clave para que cada comunidad educativa reflexione sobre sus desafíos y fortalezas en relación con los logros y aprendizajes de sus estudiantes, de forma que, a partir de esa reflexión, pueda elaborar o reformular estrategias que permitan mejorar sus resultados. Según establece el artículo 8 de la Orden de 2 de diciembre de 2008, por la que regula el desarrollo, organización y realización de la Evaluación de diagnóstico en la Comunidad Autónoma Vasca, así como las sucesivas Resoluciones de la Viceconsejería de Educación que dictan las instrucciones para la aplicación de las pruebas de rendimiento, los centros docentes, a través del Equipo de coordinación de la Evaluación de diagnóstico, deberán realizar un análisis y posterior valoración de los resultados obtenidos por su alumnado en las pruebas de la Evaluación de diagnóstico. Así mismo, la Resolución de 11 de febrero de 2010, señala en su artículo 9 que los equipos directivos tendrán acceso a una serie de informes en los que se recogerá la información referente a los resultados obtenidos por el centro, por cada uno de los grupos participantes y por cada uno de los alumnos y alumnas del centro que tomaron parte en esta evaluación. Como ocurrió en la primera aplicación del año 2009, los centros escolares obtendrán estos informes a través del servidor Como apoyo al trabajo de la Inspección de Educación y del personal de los Servicios de apoyo al profesorado-berritzegune, el ISEI-IVEI presentó el curso pasado un documento informativo titulado Cómo interpretar los Informes de la Evaluación diagnóstica. 30 preguntas básicas, que sirvió de base para la atención a los centros docentes. A partir de ese documento y durante el proceso de información en centros, surgieron diferentes dudas y preguntas técnicas planteadas por el personal de estos servicios, por los propios equipos directivos y por otras personas de la comunidad educativa que fueron contestadas en cada caso. Además, en los Informes de resultados de centro de la ED10 se han incluido algunos apartados e informaciones nuevas, que necesitan de una clarificación para su correcto uso e interpretación. Como consecuencia de estos dos aspectos preguntas planteadas durante el proceso y nuevas cuestiones incluidas en los informes- parece pertinente presentar un nuevo documento informativo actualizado que, partiendo del documento presentado el curso pasado, recoja todas aquellas cuestiones, preguntas y aspectos técnicos que consideramos imprescindible que sean bien entendidos y difundidos. En este documento, se han mantenido bastantes preguntas del documento anterior, en algunos casos modificadas o enriquecidas con nuevas aclaraciones, con la idea de que se pueda tener en un único documento toda la información necesaria para interpretar los Informes de resultados de una manera correcta y completa. Finalmente, es preciso volver a recordar el objetivo de este documento informativo: ayudar en el conocimiento y comprensión de los diferentes informes, de sus características y de los criterios que se han tenido en cuenta en su elaboración, a fin de transmitir a los centros docentes una información coherente, con interpretaciones apropiadas y análogas por parte de todos los Servicios. Este documento está dividido en cuatro apartados: ~ 3 ~

4 a) Características de las pruebas de rendimiento. b) Características del proceso de aplicación y corrección. c) Características del Informe de centro. d) Características del Informe individual para las familias. En el primero, se señalan algunas características básicas de las pruebas de rendimiento, así como de las competencias evaluadas en esta aplicación. El segundo está dedicado a describir el proceso de aplicación y corrección seguido y a aclarar algunas cuestiones planteadas durante este proceso. El tercer apartado se centra en responder a preguntas relacionadas con el Informe de centro de la aplicación 2010, tanto en sus aspectos generales como en aspectos específicos ligados a cada uno de sus capítulos. Finalmente, el capítulo cuarto se centra en describir y destacar algunas características clave del Informe individual dirigido a las familias. Para terminar, es preciso tener muy en cuenta que la Evaluación diagnóstica sólo es una fotografía de situación, que muestra en un momento concreto y a través de unos determinados instrumentos de medición, una imagen, siempre parcial, de la realidad de cada centro. Es muy importante transmitir en los centros la idea de que todos los resultados deben ser contemplados desde esta perspectiva y desde las condiciones concretas bajo las que se aplicaron las pruebas. ~ 4 ~

5 1. Características de las pruebas de rendimiento. 2. Características del proceso de aplicación y corrección. 3. Características del Informe de centro. a. Aspectos generales. b. Aspectos específicos de cada apartado. 4. Características de Informe individual para la familia. 5. Anexos. ~ 5 ~

6 ~ 6 ~

7 1. CARACTERÍSTICAS DE LAS PRUEBAS DE RENDIMIENTO 1. Por qué se usan las mismas pruebas para evaluar a todos los alumnos y alumnas, sin considerar que algunos centros escolares tienen alumnado con características específicas? Por un principio de equidad, ya que la educación tiene como objetivo que todos los alumnos y alumnas sean cuales sean sus características individuales o familiares, logren el desarrollo de las competencias básicas definidas en el Decreto 175/2007, que define el currículo de la Educación Básica. La Evaluación diagnóstica es una evaluación estandarizada; es decir, igual para todos los estudiantes de la Comunidad Autónoma Vasca. Como sistema educativo es necesario conocer el nivel en las competencias básicas alcanzado por todo el alumnado, sin hacer diferencias en cuanto a sus logros de aprendizaje, su origen o el nivel socioeconómico y cultural de la familia. Por ello, no sería aceptable hacer pruebas diferenciadas, por ejemplo según el nivel socioeconómico del estudiante o por sus notas, ya que iría en contra de la equidad y supondría partir de un criterio discriminatorio al tener menos confianza en la capacidad de algunos estudiantes. El sistema educativo debe ofrecer calidad e igualdad para todo el alumnado y esto obliga a emplear unos mismos instrumentos de evaluación. 2. Cómo eran las pruebas y de qué tipo eran las preguntas? Una parte importante de las preguntas, en ambas etapas educativas y en todas las competencias, eran de opción múltiple. Una menor proporción de ellas eran semiabiertas o de desarrollo breve y en las competencias en comunicación lingüística en euskara y castellano tenían que completar una pregunta de expresión escrita amplia (escribir un mínimo de 60 palabras en 4º de E. Primaria y de 100 palabras en 2º de ESO, a partir de un tema dado). Cada una de las pruebas responde a una matriz, que refleja la distribución de los ítems tanto por niveles de dificultad como por las dimensiones y subcompetencias que se pretenden medir en cada una de las competencias básicas. Es importante señalar que las pruebas sólo han tomado en consideración aquellos contenidos y destrezas que pueden evaluarse a través de pruebas de lápiz y papel. Otros aprendizajes relevantes, como por ejemplo la expresión oral en comunicación lingüística o aspectos relacionados con las actitudes, no han podido ser directamente evaluados por estas pruebas. Así mismo, hay que ser conscientes de que esta evaluación no se relaciona con el manejo de definiciones conceptuales, sino con la utilización de estos contenidos al servicio de la resolución de problemas en diferentes ámbitos y contextos. En definitiva, la prueba no tiene un carácter curricular, pero ha sido elaborada teniendo como uno de los referentes básicos los currículos vigentes, con el fin de mantener la coherencia con las características del alumnado evaluado. ~ 7 ~

8 COMPETENCIAS BÁSICAS 4º de EDUCACIÓN PRIMARIA COMUNICACIÓN LINGÜÍSTICA EN EUSKARA COMUNICACIÓN LINGÜÍSTICA EN CASTELLANO Comprensión oral Comprensión escrita Expresión escrita Comprensión oral Comprensión escrita Expresión escrita COMPETENCIA MATEMÁTICA COMPETENCIA SOCIAL Y CIUDADANA NÚMERO Y CARACTERÍSTICAS DE LOS ÍTEMS El alumnado del modelo A contestó a 22 ítems, de los cuales 8 eran sobre textos cortos y los restantes sobre dos textos más amplios. El alumnado de los modelos B y D, contestó a 20 ítems de opción múltiple, ligados a 3 textos. Las preguntas tenían diferentes niveles de dificultad y pretendían medir si eran capaces de identificar el sentido global de los textos, de reconocer su propósito o intención, de seleccionar informaciones o de interpretar el contenido de los textos. El alumnado del modelo A respondió a 21 preguntas y el de los modelos B y D a 22 preguntas, de opción múltiple y semiabiertas, sobre varios textos de diferente tipo y tamaño y de distintos ámbitos de uso (medios de comunicación, literarios, relaciones interpersonales ). Las preguntas tenían diferentes niveles de dificultad y pretendía medir si eran capaces de identificar el sentido global de los textos escritos, de reconocer su propósito o intención, de seleccionar informaciones pertinentes para responder a objetivos o de interpretar el contenido de los textos escritos de uso habitual. Se les pedía escribir un texto a partir de una información dada y teniendo en cuenta criterios como escribir un mínimo de 60 palabras, respetar el formato del texto propuesto o cuidar la presentación y la ortografía. 3 textos de diferente tipo sobre los que se realizaron 22 preguntas de elección múltiple. Las preguntas tenían diferentes niveles de dificultad y pretendían medir si eran capaces de identificar el sentido global de los textos, de reconocer su propósito o intención, de seleccionar informaciones o de interpretar el contenido de los textos Respondieron a 22 preguntas, de opción múltiple y semiabiertas, sobre cuatro textos de diferente tipo y tamaño y de distintos ámbitos de uso (medios de comunicación, literarios, relaciones interpersonales). Las preguntas tenían diferentes niveles de dificultad y pretendían medir si eran capaces de identificar el sentido global de los textos escritos, de reconocer su propósito o intención, de seleccionar informaciones pertinentes para responder a objetivos o de interpretar el contenido de los textos escritos de uso habitual. La tarea propuesta consistía en redactar un texto teniendo en cuenta una información previamente dada y aplicando criterios como escribir un mínimo de 60 palabras, respetar el formato del texto propuesto o cuidar la presentación y la ortografía. La prueba constaba de 24 ítems, en su mayoría de opción múltiple, aunque también tuvieron que responder a 5 ítems de respuesta abierta corta. Las dimensiones de la competencia sobre las que se presentaban preguntas en la prueba eran: Cantidad, Espacio y forma, Cambios relaciones e incertidumbre y Resolución de problemas, aspecto este último que ocupaba un 25 % de todos los ítems. La prueba constaba de 23 ítems, la mayor parte de opción múltiple, más algunos abiertos de respuesta breve. Los ítems se referían a diferentes situaciones-problema acerca de las tres dimensiones de la competencia: la realidad social, ciudadanía y convivencia. ~ 8 ~

9 COMPETENCIAS BÁSICAS 2º de ESO COMUNICACIÓN LINGÜÍSTICA EN EUSKARA COMUNICACIÓN LINGÜÍSTICA EN CASTELLANO Comprensión oral Comprensión escrita Expresión escrita Compresión oral Comprensión escrita Expresión escrita COMPETENCIA MATEMÁTICA COMPETENCIA SOCIAL Y CIUDADANA NÚMERO Y CARACTERÍSTICAS DE LOS ÍTEMS El alumnado del modelo A contestó a 21 ítems, de los cuales 7 eran sobre textos cortos y los restantes sobre dos textos más amplios. El alumnado de los modelos B y D, contestó a 22 ítems de opción múltiple, ligados a 3 textos. Las preguntas tenían diferentes niveles de dificultad y pretendían medir si eran capaces de identificar el sentido global de los textos, de reconocer su propósito o intención, de seleccionar informaciones o de interpretar el contenido de los textos El alumnado del modelo A respondió a 22 preguntas y el de los modelos B y D a 25 preguntas, de opción múltiple y semiabiertas, sobre varios textos de diferente tipo y tamaño y de distintos ámbitos de uso (medios de comunicación, literarios, relaciones interpersonales). Las preguntas, como en el caso de la comprensión oral, pretendían medir entre otros aspectos, si eran capaces de identificar el sentido global del texto, reconocer su propósito, discriminar la información relevante para responder a la finalidad perseguida e interpretar de manera crítica el contenido del texto. Tenían que escribir un texto a partir de una información dada y teniendo en cuenta criterios como escribir un mínimo de 100 palabras, respetar el formato del texto propuesto o cuidar la presentación y la ortografía. A partir de 4 textos orales se les hacían 27 preguntas de opción múltiple. Las preguntas pretendían medir cuatro subcompetencias: identificar el sentido global del texto, reconocer su propósito, discriminar la información relevante para responder a la finalidad perseguida e interpretar de manera crítica el contenido del texto. Respondieron a 29 preguntas, de opción múltiples y semiabierta, sobre 4 textos de diferente tipo, tamaño y ámbito de uso (medios de comunicación, relaciones interpersonales ) Las preguntas, como en el caso de la comprensión oral, pretendían medir también cuatro subcompetencias: identificar el sentido global del texto, reconocer su propósito, discriminar la información relevante para responder a la finalidad perseguida e interpretar de manera crítica el contenido del texto. La tarea consistía en redactar un texto a partir de una información dada y teniendo en cuenta criterios como escribir un mínimo de 100 palabras, respetar el formato del texto propuesto o cuidar la presentación y la ortografía. El alumnado tuvo que responder a 24 preguntas, de las que 6 eran semiabiertas o de respuesta abierta corta. Las preguntas hacían referencia a las cuatro dimensiones que estructuran esta competencia: Cantidad, Espacio y forma, Cambios relaciones e incertidumbre y Resolución de problemas, aspecto este último que ocupaba un 25 % de todos los ítems. La prueba constaba de 42 ítems, en su mayoría de opción múltiple, junto a algunos de respuesta abierta breve. Los ítems están agrupados en distintas situaciones-problema por medio de los cuales se evalúan las tres dimensiones de la competencia: La realidad social, Ciudadanía y Convivencia. ~ 9 ~

10 3. Todo el alumnado se examinaba con la misma prueba en la Competencia en comunicación lingüística en euskara? No. Esta es la única competencia que ha tenido dos tipos de pruebas: una dirigida al alumnado del modelo A y otra para el alumnado de los modelos B y D. Sin embargo, en ambos casos había una parte común, tanto en comprensión oral como en comprensión y expresión escrita. Esta parte común es la única que se ha tomado en consideración para los cálculos estadísticos y la que permite comparar los resultados, sea cual sea el modelo lingüístico en el que está escolarizado el alumnado. La parte específica del modelo A tenía exclusivamente un carácter motivador. Por evaluaciones anteriores sabíamos que si este alumnado hubiese tenido que contestar exactamente a los mismo ítems que el alumnado de los modelo B y D, en gran medida no habría contestado o se habría desanimado, ya que bastantes preguntas y textos estaban por encima de su nivel de competencia. Esta estrategia de incluir una parte propia al inicio del cuaderno ha permitido que, en un número importante de alumnos y alumnas de este modelo, se tengan datos y resultados y que este alumnado se haya animado a responder a las preguntas. De esta manera, se ha conseguido información suficiente para situar a todo el alumnado en el nivel correspondiente, reflejando la diversidad que también se da entre el alumnado de los diferentes modelos. En el caso del alumnado de los modelos B y D, la parte específica era más exigente desde el punto de vista de la competencia que la parte común de la prueba, lo que permitirá describir de una manera más completa los niveles altos de la misma. En resumen, todo el alumnado ha sido evaluado sobre los mismos ítems y los niveles de competencia son comunes, a pesar de que se hayan utilizado dos cuadernos distintos durante la aplicación. 4. Se exige el mismo nivel lingüístico en la prueba de competencia en comunicación lingüística en euskara y en castellano? Sí. Y esto es así porque ambas pruebas tienen en común los siguientes elementos: Las mismas referencias curriculares, sacadas del correspondientes Decreto de enseñanzas básicas. Un marco de desarrollo de la competencia común, en el que se indican las dimensiones, subcompetencias e indicadores de nivel comunes a ambas lenguas tanto en 4º de E. Primaria como en 2º de ESO. Un mismo proceso de elaboración de las pruebas, hasta el punto de que en determinados momentos ambos grupos de elaboración han trabajado conjuntamente. Unos mismos criterios en la elaboración de las pruebas en cuanto a su estructura y características. Criterios de corrección comunes. Es decir, estamos hablando de dos pruebas que parten de las mismas premisas y tienen un origen común. Sin embargo, es necesario ser conscientes de que, una vez que se han elaborado las pruebas y se han aplicado, su funcionamiento puede ser distinto. Esto ocurre siempre que dos pruebas no ~ 10 ~

11 tienen exactamente el mismo contenido y ocurriría si midiéramos cualquier otra competencia con dos pruebas distintas, aunque hayan sido elaboradas siguiendo los mismos criterios y un proceso semejante. Esta circunstancia ha originado que las pruebas de Comunicación lingüística en euskara y en castellano se hayan comportado de manera independiente y que, por ejemplo, los puntos que señalan el corte de cada nivel de competencia sea distinto. Es preciso ser conscientes además de que en esta competencia cada una de las lenguas está afectada por factores contextuales muy distintos (presencia en el entorno, lengua familiar, modelo lingüístico ) que indudablemente tienen su reflejo en los resultados. 5. Por qué no se evalúa la expresión oral en la Competencia en comunicación lingüística en euskara y castellano? La expresión oral es, sin duda, una dimensión importante de la competencia en comunicación lingüística y tanto el Decreto de enseñanzas básicas, como el propio Marco de desarrollo de la competencia así lo atestiguan. Sin embargo, por las características específicas de la Evaluación diagnóstica en el País Vasco, con aplicación externa al centro escolar, es prácticamente imposible llevar a cabo una evaluación directa de esta dimensión de la competencia. Hay que ser conscientes de que estamos hablando de cerca de alumnos y alumnas entre ambas etapas y que para medir de una manera suficiente esta dimensión se precisan, al menos, minutos para evaluar a una pareja de alumnos (así se llevó a cabo en las pruebas por las que se midieron los niveles B1 y B2 en Euskara ver en Es fácil calcular el número de personas necesarias para llevar a cabo una aplicación de este tipo. En cualquier caso, existe la intención de presentar modelos de evaluación de la expresión oral para que lo puedan hacer los centros que voluntariamente lo quieran llevar a cabo. 6. Cómo se establecen los distintos niveles de dificultad de las preguntas? A través de las pruebas piloto. Estas se aplican a una muestra amplia de estudiantes para verificar el nivel de dificultad que tiene cada una de las preguntas. La prueba piloto aporta una dificultad estimada y sirve para seleccionar aquellas preguntas que finalmente formarán parte de las pruebas definitivas. Como resultado de la aplicación piloto también se eliminan otras preguntas que, por diferentes razones (escasa validez estadística, sesgo de diferente tipo, mismo nivel de dificultad de otras preguntas ya seleccionadas ), no son válidas o útiles para la prueba. Aunque normalmente el nivel de dificultad de cada ítem obtenido en la aplicación piloto suele coincidir con el de la aplicación definitiva, hay casos en los que, por distintas causas, esto no es así y es preciso recalcular su nivel de dificultad. Por tanto, partiendo de una dificultad inicial estimada, se incorporan en las pruebas definitivas preguntas con diferentes niveles de dificultad. Esto permite tener una gama de preguntas para que todos los estudiantes tengan posibilidad de responder, tanto los de alto rendimiento, como los de rendimiento medio o bajo. ~ 11 ~

12 Hay que tener en cuenta que, en unas pruebas con un número corto de preguntas, como las que se han aplicado, no todos los niveles de dificultad están igualmente representados. Las preguntas relacionadas con los niveles inicial y medio, que agrupan un porcentaje más amplio de alumnos y alumnas, concentran un porcentaje mucho más alto que, el nivel avanzado, que será descrito con un menor número de ítems. En pruebas futuras se irá compensando y equilibrando esta situación. 7. Por qué no se utilizan los datos de otras variables, como por ejemplo el sexo del alumnado o el porcentaje de alumnado inmigrante, en los informes de centro? En toda evaluación se necesita un número mínimo de alumnos y alumnas para poder hacer afirmaciones y dar resultados, de otra manera el error que se produce es tan grande que, en parte, anula o imposibilita realizar comparaciones. En un grupo de, por ejemplo, 20 ó 25 alumnos y alumnas cuanto más subgrupos hagamos, más difícil será garantizar que las afirmaciones que se hacen sobre los resultados de cada subgrupo son fiables tienen un nivel aceptable de confianza y no se deben en gran parte al azar. Esta es la razón para que, respecto de muchas variables de las que se posee información, no se den resultados a nivel de grupo, pero sí a nivel de Comunidad Autónoma o de estratos. 8. Por qué no se dan a conocer las pruebas utilizadas en la evaluación? Para asegurar la fiabilidad de las comparaciones entre distintas aplicaciones de la Evaluación diagnóstica. En el curso 2010 se han mantenido algunos ítems denominados de anclaje- de la prueba aplicada en el curso 2009, lógicamente los que mejor funcionamiento han tenido. Gracias a estos ítems se pueden establecer comparaciones y también calibrar todos los ítems nuevos de las pruebas. Los ítems nuevos tienen el objetivo de medir nuevos aspectos de la competencia y mantener el equilibrio en la matriz de la prueba entre las diferentes dimensiones que se pretenden medir. Los ítems que no se vuelven a utilizar en las pruebas se liberan para que sean conocidos por los centros. Pasados unos años, especialmente en las competencias que se evalúan todos los cursos, se dispondrá de un gran número de ítems liberados. En algunas Comunidades Autónomas las pruebas se queman cada año, ya que es el propio profesorado de los centros quien aplica y corrige las pruebas y, por lo tanto, conoce todos los ítems y todos los criterios. Sin duda, todos los modelos de Evaluación diagnóstica tienen sus ventajas y desventajas. Este modelo de evaluación es muy cómodo y económico para la Administración, ya que es el profesorado el responsable de aplicar todo el proceso, y tiene además la parte positiva de que es más fácil que el profesorado se apropie del proceso y se extienda de manera más completa la cultura de la evaluación en centro. Tiene una gran limitación, muy importante en opinión del Departamento de Educación, que tiene que ver con la imposibilidad de establecer, desde un punto de vista técnico, comparaciones longitudinales y además el peligro de escasa fiabilidad del proceso. Nuestro modelo de evaluación sigue los parámetros internacionales de evaluación estandarizada, adaptado a los objetivos planteados para la Evaluación de diagnóstico. ~ 12 ~

13 9. Es capaz el alumnado inmigrante de responder adecuadamente a las pruebas sólo tras un solo año de escolarización en el sistema educativo vasco? En este aspecto se utilizan exactamente los mismos criterios que se emplean a nivel internacional para incluir o excluir en la puntuación al alumnado de origen extranjero. Sin duda, la competencia lingüística de este alumnado es claramente inferior a la del resto de sus compañeros y compañeras, pero es fácil de entender que es imprescindible utilizar algún criterio para incluir a este tipo de alumnado y creemos que la referencia internacional es suficientemente válida y evita sospechas y problemas. Es preciso no olvidar que esta evaluación tiene un carácter integrador, de forma que se persigue de manera intencionada y consciente que la mayoría del alumnado pueda participar y participe en la misma, reduciendo las excepciones al máximo posible y con la ambición de alcanzar al 100% del alumnado. 10. Todos los alumnos y alumnas de educación especial participan en esta evaluación? Qué se hace con sus resultados? La Evaluación de Diagnóstico está concebida como una prueba de carácter censal en la que participa todo el alumnado escolarizado en los dos niveles educativos: 4º Educación Primaria y 2º de ESO. Los diversos planes de inclusión en el sistema educativo de alumnado con necesidades educativas especiales implementados en las últimas décadas han supuesto que, en el entorno ordinario, se haya escolarizado alumnado con situaciones educativas muy diversas, por lo que de cara a la Evaluación de diagnóstico se ha debido planificar cómo debía ser la participación del alumnado con diferentes necesidades educativas especiales. Las características de una evaluación estandarizada como esta, no permite que se puedan hacer pruebas diferentes para alumnado que realiza su aprendizaje mediante adaptaciones significativas del currículo (ACI). Sin embargo, dada la variedad de adaptaciones que se desarrollan en la práctica educativa, y de cara a normalizar en lo posible la participación del alumnado con necesidades educativas especiales en las evaluaciones, se han considerado algunas situaciones en las que es posible su participación. Se han definido las distintas necesidades educativas que se dan en el sistema educativo, clasificándolas en 4 grupos, en los que se proponen las condiciones de participación y los recursos necesarios para poder facilitar la participación en la Evaluación de diagnóstico en condiciones similares a las que precisan para acceder al currículo. Se han definido las siguientes situaciones: 1. Alumnado con necesidades de acceso al currículo Este alumnado (que puede tener deficiencias visuales, auditivas, motoras,..) podía realizar las mismas pruebas tipificadas para 4º de Educación Primaria y 2º de ESO pero con las correspondientes adaptaciones para acceder a dichas evaluaciones. Alumnado con discapacidad visual. En función del nivel de visión (baja visión o ceguera) podría necesitar: ~ 13 ~

14 Traducción al Braile de los cuadernillos de evaluación. Ampliación de los materiales. Alumnado con discapacidad auditiva. En función del sistema de comunicación utilizado podían necesitar: Profesorado de lengua de signos. Frecuencia Modulada Alumnado con discapacidad motriz. Según las funciones motoras afectadas podían necesitar: Ordenador u otro medio técnico como soporte para dar las respuestas de las pruebas. El alumnado con este tipo de necesidades que ha participado en la prueba no ha sido incluido en la puntuación media del grupo, ya que, si bien las adaptaciones realizadas han facilitado la participación, no se asegura que las condiciones son realmente equiparables a las del resto y no permite la comparación de los resultados. 2. Alumnado con adaptaciones curriculares significativas (ACI) de área. Este alumnado ha podido realizar la prueba correspondiente a su nivel en las mismas condiciones que el resto del aula. La decisión de participación ha sido del centro educativo; sin embargo, la puntuación en las competencias asociadas al área -o áreas- en las que tienen una ACI no se ha tenido en cuenta para la puntuación media del grupo. 3. Alumnado con ACI significativa global escolarizado en aula ordinaria. El alumnado cuyo currículo se desarrolla con una ACI global, es decir, en los casos en que todas las áreas están adaptadas al nivel del alumno o la alumna que presenta necesidades educativas especiales, no ha realizado la evaluación excepto si el centro decidía lo contrario. Se considera que una prueba estandarizada no es un marco que pueda adaptarse de forma adecuada para evaluar los aprendizajes de este colectivo. La misma consideración se ha tenido con el alumnado que tiene un ACI significativa global y está escolarizado en un aula estable. En resumen, todos los alumnos y alumnas de los grupos señalados han podido realizar las pruebas según la decisión tomada por el profesorado del centro que conoce particularmente a cada uno de ellos y ellas, excluyéndose de la puntuación global del grupo y del centro los resultados obtenidos en las áreas en las que tienen una ACI o bien cuando es una ACI de acceso. Recursos que se han utilizado. Los recursos humanos y organizativos utilizados tanto para la organización como para la participación del alumnado con algún tipo de ACI de área o de acceso han sido los siguientes: Centro de Recursos de Invidentes (CRI). Asesorías territoriales de escolarización de alumnado con sordera. Los recursos humanos y/o materiales de los centros en los que estaba escolarizado dicho alumnado: auxiliares, consultores, profesorado de Pedagogía Terapéutica, Frecuencia Modulada, profesorado de lengua de signos. ~ 14 ~

15 2. CARACTERÍSTICAS DEL PROCESO DE APLICACIÓN Y CORRECCIÓN 11. Cuántos alumnos y alumnas y cuántos centros y grupos han tomado parte en la Evaluación diagnóstica 2010? Los números globales de la aplicación 2010 de la Evaluación diagnóstica que se dan a continuación proceden de los datos aportados por los propios centros y, por lo tanto, son todavía provisionales. De estos datos hay que restar en el cálculo de resultados aquellos alumnos y alumnas que han sido excluidos por cualquiera de las razones explicadas en la pregunta 20 y también quienes por diferentes circunstancias no estuvieron los días de la aplicación: 4º EDUCACIÓN PRIMARIA ALUMNADO GRUPOS TOTAL A (8,3%) 80 MODELO B (30,5%) 286 D (61,2%) 632 RED SEXO PÚBLICA (50,4%) CONCERTADA (49,6%) FEMENINO (48,3%) MASCULINO (51,7%) ARABA (14,9%) 144 TERRITORIO BIZKAIA (51,2%) 507 GIPUZKOA (33,9%) 347 INMIGRANTES 207 (1,1%) EXENTOS EUSKARA 123 (0,6%) ABSENTISTAS 46 (0,2%) ~ 15 ~

16 2º DE ESO ALUMNADO GRUPOS TOTAL A (16%) 143 MODELO B (28,9%) 250 D (55%) 486 RED SEXO PÚBLICA (46,2%) CONCERTADA (53,8%) FEMENINO (48,3%) MASCULINO (51,6%) ARABA (15,1%) 140 TERRITORIO BIZKAIA (50,8%) 435 GIPUZKOA (34,1%) 304 INMIGRANTES 184 (1%) EXENTOS EUSKARA 679 (3,8%) ABSENTISTAS 170 (0,9%) 12. Qué criterios se siguieron en el proceso de aplicación 2010? Fue distinto del seguido en 2009? En la aplicación 2010 se siguieron exactamente los mismos criterios y condiciones de aplicación planteados en la evaluación Este es un aspecto básico para poder garantizar la comparabilidad de los resultados. Las características de la aplicación han sido las siguientes: Similar proceso en todos los centros: o Antes de la aplicación: Carta de la Viceconsejera de Educación para informar sobre las condiciones y características de la evaluación Recogida de datos del alumnado de los grupos que serían evaluados. Cartas informativas del director del ISEI-IVEI con el envío de diversos documentos. Visita por parte de la empresa contratada para la aplicación con el fin de definir las condiciones de la aplicación, revisar definitivamente los ~ 16 ~

17 o o listados y examinar los locales y el material que se había de emplear durante los días de aplicación. Envío de modelos de pruebas y hojas de respuesta, así como instrucciones generales para la realización de la evaluación para que las pudieran trabajar con su alumnado. Durante la aplicación: La aplicación se ha llevado a cabo por personal externo a los centros, formado expresamente para esta tarea tanto por el ISEI-IVEI como por la empresa contratada y se han seguido de manera estricta los protocolos y manuales comunes a todos los centros. En total han intervenido más de 200 aplicadores y aplicadoras que han desarrollado su trabajo en 10 días en E. Primaria y en 9 días en los centros de ESO. En todos los centros que tenían más de un grupo en el nivel evaluado, se han realizado las aplicaciones en las mismas fechas, con un horario semejante y siguiendo los mismos criterios. Si algún grupo, por cualquier circunstancia, no ha podido realizar alguna de las pruebas en el mismo momento que el resto de los grupos del centro, esa prueba no se repite sino que se anulan los resultados. Control de calidad de la aplicación por parte de la Inspección de Educación en una muestra de grupos, tanto de 4º de E. Primaria como de 2º de ESO, para verificar que se respetan todos los criterios estandarizados definidos en esta evaluación (sobre el control de calidad ver la pregunta 14). Después de la aplicación: Corrección externa de todos los ítems abiertos, para la que se han contratado 80 personas que han tenido que aplicar de manera estricta una serie de criterios definidos previamente (ver pregunta 16). Estas personas contratadas para la corrección han sido formados por el propio ISEI-IVEI, que además ha supervisado el trabajo a lo largo de todo su desarrollo. Implicación de los centros. o Han conocido con anterioridad todas las características de la evaluación 2010, así como las fechas de la aplicación y han recibido un amplio número de documentos informativos. o Durante la realización de las pruebas salvo en el caso de las pruebas correspondientes a la comprensión oral de la competencia en comunicación lingüística en euskara y castellano- el equipo directivo ha designado a un profesor o profesora del centro que ha podido estar dentro del aula para garantizar el buen funcionamiento y resolver los problemas de comportamiento o anomalías que pudieran surgir. o El número de incidencias ha sido muy bajo y se han resuelto satisfactoriamente en todos los casos. ~ 17 ~

18 13. Es excesivo que la evaluación dure dos días, especialmente para el alumnado de 4º de E. Primaria, poco habituado a este tipo de pruebas? Algunos centros escolares han planteado este problema y han hecho referencia al cansancio e incluso al estrés que supone estar dos días de evaluación, especialmente respecto del alumnado de 4º de E. Primaria, que sólo tiene 9 ó 10 años y no está normalmente habituado a procesos de este tipo. Sobre este tema es necesario aclarar varios aspectos: a) La Evaluación de diagnóstico es una obligación legal que debe ser realizada en los niveles escolares marcados por el Decreto. Evidentemente, la evaluación debe adaptarse a las circunstancias específicas de cada una de las edades en la que se realiza en cuanto al tiempo y condiciones de la aplicación. b) Tras la experiencia acumulada en otras evaluaciones, se tomó la decisión de hacer estas pruebas en dos días, limitando su desarrollo exclusivamente a las mañanas. En sí misma, esta medida supone una limitación importante a la hora de medir con suficiencia cada una de las competencias. c) El tiempo de trabajo específico dedicado a responder a las pruebas en cada uno de los días de la aplicación no supera en 4º de E. Primaria las dos horas, excluyendo el tiempo dedicado a las instrucciones y al reparto de material; además, entre prueba y prueba tienen un descanso de, al menos, 20 minutos que, en la mayoría de los casos, es de media hora. Sin duda, el alumnado de estos grupos trabaja diariamente en clase más tiempo que el necesario para hacer las pruebas, aunque es evidente que lo hace en unas condiciones distintas. d) Paradójicamente, ha habido muchos centros que al mismo tiempo han pedido tener mayor información y más profunda sobre cada una de las competencias, por ejemplo en el caso de las dimensiones de la competencia matemática, lo que es imposible si no se amplía el tiempo dedicado a medir cada una de las competencias evaluadas. En definitiva, se ha optado por una estructura intermedia en la que hay un tiempo suficiente para medir cada competencia y no se alarga la aplicación más de los dos días inicialmente previstos. 4º de Educación Primaria Primer día Segundo día Presentación Comunicación lingüística: castellano euskara o Comprensión oral 5-20 Comunicación lingüística: Comprensión y castellano 5-45 Expresión escrita euskara o Comprensión oral 5-20 Comprensión y Expresión escrita Recreo y descansos entre pruebas Recreo y descansos entre pruebas Competencia matemática Competencia Social y ciudadana Descanso 5 Total ± 2h 50 Cuestionario 5-20 Total ± 3h ~ 18 ~

19 2º de Educación Secundaria Obligatoria Primer día Segundo día Presentación Comunicación lingüística: castellano euskara o Comprensión oral Comunicación lingüística: Comprensión y castellano 5+60 Expresión escrita euskara o Comprensión oral Comprensión y Expresión escrita Recreo y descansos entre pruebas ± 20 Recreo y descansos entre pruebas ± 20 Competencia matemática Competencia social y ciudadana Descanso 5 Total ± 3h -3h 10 Cuestionario 5-20 Total ± 3,15-3, Cómo se desarrolló el control de calidad de la aplicación? Han existido tres controles de calidad en la aplicación 2010: El realizado por la Inspección de Educación, tal y como señalan las Instrucciones de la Viceconsejería de Educación. Todos los inspectores e inspectoras han realizado uno o varios controles de calidad siguiendo una guía común y una ficha de control. Los centros han sido seleccionados por la propia Inspección y ni la empresa ni los aplicadores conocían previamente en qué centros se iba a realizar el control de calidad. Como resultados de los informes individuales, la Inspección central tenía la responsabilidad de elaborar un informe sobre el desarrollo de la aplicación para presentarlo en la Comisión de coordinación de la Evaluación diagnóstica, que preside la Viceconsejera, y en la que están presentes todos los organismos implicados: Inspección, ISEI-IVEI y Dirección de Innovación Educativa. El realizado por el ISEI-IVEI, que lleva a cabo un control sobre todo en algunos centros en los que han surgido algunos problemas previamente o en los que hay interés por observar el desarrollo de algunos aspectos específicos, por ejemplo, la aplicación con alumnado de educación especial. La empresa y los aplicadores también desconocen en qué centros se realiza este control. El realizado por la propia empresa contratada para verificar el cumplimiento de todo lo previsto en el acuerdo con el ISEI-IVEI. La empresa está obligada por contrato a pasar al ISEI-IVEI un informe de incidencias y propuestas de mejora. Todas las incidencias y problemas que surgen en cualquier momento de la aplicación se intentan resolver de manera inmediata en colaboración con los propios centros docentes, que prestan una enorme ayuda en todo momento. ~ 19 ~

20 15. Cómo se corrigen las pruebas? La corrección de las pruebas varía según el formato de las preguntas: a) Las preguntas de opción múltiple se corrigen de forma automática, sin la intervención de personas, mediante una aplicación informática específica. Esta aplicación chequea si los alumnos y alumnas marcaron o no la alternativa correcta en cada pregunta y les asigna la puntuación correspondiente. b) Las preguntas abiertas, de construcción más o menos amplia, se han corregido por personal externo a los centros, expresamente contratado para realizar este trabajo. Estas personas han recibido formación específica por parte de técnicos del ISEI-IVEI y están obligadas a guardar la máxima confidencialidad sobre todo su trabajo. Los correctores desconocían el centro o el grupo al que pertenecía cada alumno o alumna y la distribución de los ítems entre los correctores se realizó de manera aleatoria. Durante el proceso de corrección, desde el ISEI- IVEI se ha llevado a cabo un detenido seguimiento para evitar o reducir al máximo los niveles de discrepancia en las correcciones. 16. Qué criterios se han tenido en cuenta en la corrección de las redacciones en la competencia en comunicación lingüísticas en euskara y castellano? Para valorar los textos escritos largos se han tenido en cuenta 3 aspectos y en cada uno de ellos se han establecido y descrito 5 niveles, más un nivel 0: a) Adecuación y desarrollo del tema. En este aspecto se han valorado tres elementos: - Si ha tenido en cuenta el objetivo del texto. - Si ha utilizado un registro lingüístico adecuado a la situación. - Si ha mantenido la persona verbal. b) Coherencia y cohesión textual. En este aspecto se han valorado tres elementos: - Si ha mantenido el progreso en la información (por ejemplo, si existe un orden en la exposición o no hay repeticiones ni incoherencias). - Si ha respetado la estructura del texto solicitado y sus partes aparecen claramente diferenciadas. - Si utiliza los recursos lingüísticos y no lingüísticos propios del tipo de texto solicitado. c) Léxico, gramática y ortografía. En este aspecto se han valorado tres elementos: - El léxico empleado (si no hay repeticiones innecesarias de palabras o si utiliza sinónimos). - El tipo de oraciones usadas. - Las faltas graves de ortografía y los errores de puntuación. Además, se ha recogido número de palabras escritas y se le ha asignado un código que se ha tenido en cuenta en la puntuación. En E. Primaria, donde se pedía un mínimo de 60 palabras, se han corregido todos los textos con más de 12 palabras. En ESO, donde se pedía un mínimo de 100 palabras, se han corregido todas las redacciones con más de 20 palabras. ~ 20 ~

21 3. CARACTERÍSTICA DE LOS INFORMES DE CENTRO 17. Qué tipos de informes se obtienen como resultado de la Evaluación diagnóstica? Hay, al menos, tres tipos de informes: a) Informe de centro, con datos globales y por grupos evaluados. b) Informe del alumno o alumna, dirigido a la familia, que incluye el nivel de competencia alcanzado en cada una de las competencias básicas. c) Informe general de la Comunidad, que recoge los datos globales de la CAV, así como la correlación de los resultados con diversas variables. En este caso se publicarán dos informes: Informe ejecutivo: con el resumen de los datos y resultados más significativos. Es el documento que se presenta en la Comisión de Educación del Parlamento Vasco, a la comunidad educativa y a la prensa. Informe general de resultados: en el que se presenta de una forma amplia todos los resultados de cada una de las competencias básicas evaluadas, así como el análisis de aquellas variables con mayor peso en la explicación de los resultados. ~ 21 ~

22 A. ASPECTOS GENERALES SOBRE LOS INFORMES 18. Qué características tiene el Informe de centro? Se trata de un informe amplio cerca de 60 páginas- en el que se recogen tanto los resultados medios del centro como de cada uno de los grupos que han tomado parte en esta evaluación. No sólo se dan los resultados globales en cada una de las competencias básicas evaluadas, sino que se correlacionan con algunas variables que, en otras evaluaciones, han demostrado tener una clara influencia en los resultados. Se han seguido dos criterios básicos en la elaboración de este informe: a. Aportar información suficientemente válida y significativa que ayude a los centros docentes a valorar su situación educativa a partir de unos datos externos. b. Presentar datos comparativos entre realidades educativas que realmente sean comparables, evitando comparaciones que, aunque aparentemente puedan parecer neutras, no toman en consideración características claves de cada centro educativo, como son el nivel socioeconómico y cultural de su alumnado, el modelo lingüístico y la red educativa. c. Ofrecer una evolución de los resultados del centro, ya que los resultados de la evaluación de 2010 se comparan con los de la evaluación de De qué apartados consta el Informe de centro? Toda la información se presenta organizada en siete apartados: a) Resultados medios del centro y de los grupos participantes en cada una de las competencias básicas evaluadas. Se presentan los resultados medios alcanzados por cada uno de los grupos que tomaron parte en cada una de las competencias, así como los resultados medio del centro. Los resultados indican el nivel de competencia en el que se sitúan. En este primer apartado, no se establecen comparaciones con datos externos, sino entre los grupos del centro que han participado en la evaluación b) Distribución porcentual del alumnado por niveles de competencia. En este apartado, se presenta el porcentaje de alumnos y alumnas que se sitúan en cada uno de los tres niveles de competencia establecidos, de esta manera el centro puede conocer la dispersión de los resultados de su alumnado y si hay muchas diferencias de nivel dentro de cada uno de los grupos. Tampoco en este caso se dan comparaciones con datos externos, sino entre los grupos que han tomado parte en esta evaluación. ~ 22 ~

23 c) Datos comparativos según el Índice socioeconómico y cultural del centro (ISEC). En este apartado se presenta una primera comparación, ya que se confrontan los resultados del centro y de cada uno de sus grupos con los resultados medios logrados por los centros que tienen su mismo Índice socioeconómico y cultura. De esta manera podrá comprobar si se encuentra por encima o por debajo. d) Resultados según el estrato (red educativa + modelo lingüístico). Los resultados presentados en el primer apartado resultados medios en cada una de las competencias básicas -, se comparan con los resultados medios alcanzados por todo el alumnado de la Comunidad que pertenece al mismo estrato. No se ofrecen comparaciones con estratos que no existen en el centro, los resultados de otros estratos se podrán consultar en el Informe general de la evaluación de diagnóstico. e) Relación entre el resultado obtenido por el centro y el resultado esperado según su nivel socioeconómico y cultural. En este apartado se añade una información de gran interés: saber si el centro y cada uno de sus grupos han obtenido los resultados que teóricamente corresponden a su nivel socioeconómico y cultural y, por lo tanto, si han sido capaces de, en cierta forma, superar la situación de partida de su alumnado. Para ello, se presenta la puntuación que ha obtenido el centro y cada uno de los grupos -que ya se conoce de los apartados anteriores- y la puntuación esperada en virtud de su índice socioeconómico y cultural. f) Evolución de los resultados tomando como referencia la media del centro en 2009 y En este apartado se presenta la comparación entre los resultados medios obtenidos por el centro en la aplicación 2009 y en la aplicación 2010, así como las puntuaciones medias de Euskadi en cada una de esos años y el resultado medio en 2010 correspondiente a los centros con el mismo ISEC y con el mismo estrato o estratos. g) Distribución de resultados del alumnado en cada uno de los grupos evaluados. En estos gráficos se recoge la puntuación obtenida por cada uno de los alumnos y alumnas que conforman cada uno de los grupos que han sido evaluados en cada centro escolar. Con ellos, el profesorado tendrá una fotografía clara de cada uno de los grupos y de su dispersión y no estará obligado a recurrir a cada uno de los informes individualizados. 20. Se ha tenido en cuenta la puntuación de todos los estudiantes que hicieron las pruebas? No. En los resultados medios de cada centro y grupo participante se han tenido en cuenta todos los resultados individuales de cada uno de los alumnos y alumnas que han participado en las pruebas, exceptuando los siguientes casos: - Alumnado con adaptación curricular individualizada significativa, cuya participación no era posible siguiendo los criterios y protocolos establecidos en el proceso general (Ver pregunta 10). - Aquellos alumnos y alumnas que, en el momento de aplicación de las pruebas, llevaban menos de un año de escolarización en el sistema educativo vasco y además desconocían la lengua de aplicación de las diferentes pruebas. En este segundo tipo de alumno o alumna, deben darse las dos condiciones señaladas en este párrafo (Ver pregunta 9). ~ 23 ~

24 - En el caso de los resultados en comunicación lingüística en euskara, no se incluyen los resultados de todos aquellos alumnos y alumnas exentos de euskara, aun cuando hayan contestado esta prueba. Estas dos condiciones son exactamente similares a las que se emplean en evaluaciones internacionales como PISA, TIMSS o PIRLS o en todas las evaluaciones estatales en las que ha participado la Comunidad Autónoma Vasca. 21. Todos los centros escolares que tomaron parte en la aplicación 2010 recibirán sus resultados? SÍ. El Departamento de Educación, Universidades e Investigación entregará a todos los centros escolares datos suficientes que les permitan iniciar procesos de análisis y mejora. Como se señala en la siguiente pregunta, puede ocurrir que los resultados de algunos centros con un número muy bajo de alumnos y alumnas no tengan la misma garantía ni la fiabilidad que el resto de las informaciones. En cualquier caso, también se les dará información. 22. Cuál es el número mínimo de alumnos y alumnas para que los resultados de un centro sean válidos? Hay dos situaciones en relación con este aspecto. a. Cuando el número de alumnos y alumnas en el grupo es menor de tres, el centro no recibe informe de ese grupo, aunque sí reciben informe individual para las familias. b. Cuando el número de alumnos y alumnas del grupo está entre cuatro y seis, sí se le da información al centro sobre los resultados de ese grupo, pero se destaca con una nota para indicar que los resultados de ese grupo son muy poco fiables e inestables, ya que la influencia que tiene un resultado más alto o más bajo de un determinado alumno tiene un peso excesivo en la media del grupo. Los datos de estos grupos pequeños no son comparables con otros grupos del centro o de otros centros. 23. Cómo se garantiza la confidencialidad de los resultados? Debido a que en esta evaluación se maneja información sensible sobre centros y alumnado se ha establecido un sistema para garantizar tanto la confidencialidad y protección de todos los datos, como para evitar la realización de ranking de centros, expresamente prohibidos por la Ley. Por ello se emplean dos sistemas: a) Toda la información que se utiliza en esta evaluación está codificada, a fin de impedir la identificación nominal. b) Se ha establecido un sistema restringido de acceso a la información, con perfiles de usuario. Sólo la Viceconsejería de Educación y el ISEI-IVEI tienen acceso a todos los datos, el resto de los usuarios tienen acceso a informaciones parciales, siempre codificada, y con la aceptación ~ 24 ~

25 del centro docente. La custodia de los datos de cada centro corresponde al director o directora del mismo. c) Cada inspector o inspectora tiene acceso directo a los informes de sus centros de referencia. En el caso de los asesores y asesoras de Berritzegune, el acceso a los Informes se realiza a través del propio centro, que es el que tiene la capacidad de decisión para dar a conocer sus informes. 24. Además de los resultados qué otras informaciones y datos se le dan al centro? En las páginas 4 y 5 del Informe de centro, con la idea de ayudarle a contextualizar sus resultados, se le dan los siguientes datos: a. Número de grupos evaluados. b. Número de alumnos y alumnas evaluados. Este apartado es muy importante porque se le dan al centro todos los datos sobre el alumnado de su centro que está en el nivel evaluado. En este apartado, como se aprecia en el siguiente ejemplo, es preciso distinguir los siguientes casos: - Fila 1. Total alumnado según lista inicial enviada por el centro. - Fila 2. Incluido en la puntuación: Alumnado de la lista anterior cuya puntuación ha sido incluida en la media del grupo y del centro. - Fila 3. No incluido en la puntuación: Alumnado de la lista inicial cuyos resultados no han sido incluidos en la media (de acuerdo a los criterios señalados en la Orden ver pregunta 20-). - Fila 4. Alumnado incluido no presentado: Alumnado cuya puntuación debería estar incluida en la media, pero que no se ha presentado a alguna o a todas las pruebas. - Fila 5. Alumnado incluido que ha respondido: Alumnado cuya puntuación está incluida en la prueba que ha asistido a las sesiones de evaluación y ha respondido a las pruebas (corresponde al alumnado de la lista inicial primera fila- descontando los no incluidos en la media y los no presentados tercera y cuarta fila-). ~ 25 ~

26 c. Porcentaje de alumnado inmigrante en el nivel educativo evaluado. Como se puede apreciar en la siguiente tabla, se presenta el porcentaje de alumnado inmigrante en el centro y el que está incluido en la puntuación media y, como dato comparativo, se ofrece el porcentaje de inmigrantes en Euskadi incluidos en la puntuación. Se entiende que un alumno o alumna es inmigrante cuando ha nacido fuera del Estado español y su padre y/o su madre también han nacido fuera. Además, se toma como referencia la información directa aportada por cada centro, que siempre se da por buena, aunque no coincida con lo que señala el alumno o alumna. La razón de esta última decisión es que la información sobre esta circunstancia personal se recoge el cuestionario del alumnado y, especialmente en el caso del alumnado de 4º de E. Primaria, su fiabilidad es menor. d. Porcentaje de alumnado en situación de idoneidad; es decir, nacido en el año 2000, en el caso del alumnado de 4º de E. Primaria, y en 1996, en el caso del de 2º de ESO. Como se puede apreciar en la siguiente tabla, se presenta el porcentaje de alumnado en situación de idoneidad en el centro y el que está incluido en la puntuación media y como dato comparativo se ofrece el porcentaje de Euskadi. Hay que recordar que no todo el alumnado en situación de no idoneidad es repetidor, ya que hay también otras situaciones como alumnado con retraso en su escolarización, inmigrantes tardíos, etc. que también se incluye en este concepto. e. Porcentaje según lenguas familiares del alumnado en el nivel educativo evaluado. La lengua en la que el alumnado responde a una prueba de rendimiento no es algo neutro, sino que, como demuestran muchas investigaciones y evaluaciones, tiene una clara influencia en los resultados. Cualquier prueba de rendimiento que usa el lenguaje es, en parte, una medida de las habilidades lingüísticas de quien hace la prueba. Esta influencia es mayor cuando la lengua familiar del alumno o alumna no coincide con la lengua de aplicación de la prueba y cuando, además, la evaluación se lleva a cabo en edades tempranas en las que todavía el alumnado no tiene un desarrollo suficiente de la competencia lingüística en su segunda lengua para poder demostrar de manera completa sus conocimientos y destrezas en las competencias no lingüísticas. ~ 26 ~

27 Por ello, en este apartado se ofrecen dos datos sobre las características lingüísticas del alumnado del centro: - Datos sobre la lengua familiar del alumnado, recogidos a partir del cuestionario. - Lengua en la que ha contestado el alumnado en cada competencia no lingüística por modelos lingüísticos, a partir de la decisión tomada por el centro sobre la lengua de aplicación. f. Información personalizada al centro. Este es un apartado que se completa cuando se da alguna circunstancia específica de un determinado centro; por ejemplo, que sus datos no son fiables al no tener un número suficiente de alumnos y alumnas. ~ 27 ~

28 B. ASPECTOS ESPECÍFICOS DE CADA APARTADO Sobre el apartado 1. Resultados del centro y del grupo. 25. Qué información se presenta en este apartado? En este apartado que va de las páginas 6 a 23- se presentan los resultados medios de cada uno de los grupos evaluados y la puntuación media del centro en las cuatro competencias evaluadas en Así mismo, se muestran los resultados medios en cada una de las dimensiones de cada competencia. Los gráficos de este apartado son los siguientes: 26. Cómo se presentan los resultados en el Informe de centro? Todos los resultados del Informe de centro tienen dos características: a) No se dan puntuaciones numéricas, sino que se sitúa cada uno de los resultados en una posición dentro de uno de los tres niveles de competencia establecidos (ver pregunta 28). b) En todos los gráficos del informe, la puntuación media del centro o de los grupos no viene indicada con un punto concreto, sino con una barra más o menos amplia. Esta barra significa que, con un 95% de probabilidades, la puntuación del centro o del grupo se sitúa en algún punto de esa barra, siendo más probable que esté en el centro que en los extremos de la misma. Algunos de los gráficos que aparecen en el informe tienen un formato similar al que se muestra a continuación: ~ 28 ~

29 Resultado medio de todo el alumnado del centro que ha participado en las pruebas Barras o rangos de puntuación al 95% de confianza Grupos del centro que han participado. NIVELES DE COMPETENCIA En algunos casos, la longitud de las barras es distinta. Esta diferencia se debe a dos razones: - por una parte, al número de ítems con que se ha evaluado cada competencia o cada dimensión de las competencias, de forma que a mayor número de ítems la barra será más corta debido a que el error en la medición es menor y los resultados tienen mayor fiabilidad; - por otra, a la influencia del número de alumnos y alumnas del grupo, así como a la dispersión de sus resultados. 27. Por qué no se dan puntuaciones numéricas? Por varias razones: a) Para eliminar al máximo el peligro de que se puedan establecer rankings, algo expresamente prohibido tanto por el Decreto de enseñanzas básicas como por la Orden de Evaluación diagnóstica, riesgo que constituye una enorme preocupación para los centros docentes. La hipótesis es que si no se tienen datos numéricos, la posibilidad de establecer listas de centros según sus resultados prácticamente desaparece o se dificulta enormemente. b) Para que no se pueda identificar con una nota académica, algo que en algunos Comunidades Autónomas está ocasionando fuertes problemas al haber convertido los niveles de competencia a una puntuación del 1 al 10. Dar la posibilidad de comparar los resultados académicos, responsabilidad de cada centro y de cada profesor o profesora, con los resultados de una evaluación de diagnóstico con estas características es un error y, en cierta forma, es buscar problemas innecesarios y artificiales. ~ 29 ~

30 c) Porque no interesa tanto el dato concreto, sino la situación en la que se encuentra el centro y el o los grupos evaluados. Dar un rango de puntuación es estadísticamente más correcto y adecuado en una evaluación de este tipo. Cuando damos un rango estamos incluyendo el error que siempre existe en este tipo de evaluaciones y reconociendo que las puntuaciones nunca son exactas. Además, aportamos una información más precisa sobre cada alumno o alumna o sobre cada grupo y centro, ya que describimos su situación dentro del proceso del desarrollo de las competencias. 28. Qué son los niveles de competencia? Los niveles de competencia describen los conocimientos, habilidades y capacidades que muestran los alumnos y alumnas al responder a las pruebas de la Evaluación diagnóstica. Estas descripciones están basadas en el Documento Marco que desarrolla cada una de las competencias básicas. A partir de estos niveles de competencia, los centros escolares pueden conocer los aprendizajes logrados por sus estudiantes. Por ejemplo, qué porcentaje de su alumnado es capaz de hacer una lectura profunda de los textos característicos de cada nivel evaluado, qué proporción realiza una lectura algo más superficial y, finalmente, que porcentaje presenta mayores dificultades en estos mismos textos, ya sea porque comprende sólo algunos tipos de textos o los comprende de forma parcial o superficial. En los procesos de mejora, los Niveles de competencia pueden ayudar a identificar dónde es necesario focalizar los esfuerzos, favoreciendo así la definición de compromisos y estrategias con un mayor sentido educativo. Así, centros escolares donde la mayoría de los estudiantes demostraron un desempeño propio del nivel Inicial pueden concluir que es necesario redoblar los esfuerzos para trabajar algunos aspectos de las competencias básicas insuficientemente desarrollados. 29. Cuántos niveles de competencia se han establecido? Los resultados se presentan organizados en tres niveles de competencia: inicial, medio y avanzado. Cada uno de estos niveles viene definido por los conocimientos, habilidades y capacidades que requiere un alumno o alumna para resolver las situaciones que se le plantean en cada nivel. Cuando un alumno o alumna está situado en un determinado nivel, se puede afirmar que es competente en las habilidades de dicho nivel y en las de los niveles anteriores. Cada uno de estos niveles, que describe lo que sabe hacer cada alumno o alumna, está vinculado a tramos de puntuación de las pruebas. Se han establecido tres niveles de competencia, puesto que el número de ítems que han compuesto cada una de las pruebas no permite hacer un mayor número de niveles. ~ 30 ~

31 El NIVEL AVANZADO recoge las habilidades y contenidos más complejos evaluados en las pruebas. En este nivel puede haber alumnos y alumnas que hayan consolidado recientemente el dominio de estos aprendizajes, junto con otros estudiantes que superan con creces las exigencias de este nivel. El número de ítems que se tienen para describir este nivel es menor, ya que la mayoría de los ítems se sitúan en los siguientes niveles de competencia. El NIVEL MEDIO muestra habilidades y contenidos más básicos evaluados en las pruebas. Como en el nivel anterior, hay estudiantes que han consolidado el dominio de los mismos, junto a otros que están a punto de dominar los del nivel avanzado. El NIVEL INICIAL no tiene las mismas características que los otros dos, ya que agrupa a alumnos y alumnas de muy diferente tipo: desde quienes están iniciando el aprendizaje de habilidades y contenidos propios del ciclo educativo correspondiente, hasta quienes, con un poco de apoyo, podrían enfrentarse con éxito a las exigencias propias del nivel medio. Por esta razón, no es posible describir con suficiente claridad en qué consiste el desempeño típico de este grupo de alumnos y alumnas. Un aspecto a tener muy en cuenta es que al utilizar el rango como referencia para dar resultados ocurre que, a veces, en el gráfico correspondiente a un alumno o alumna determinado o a un grupo o centro concreto, el rango se encuentra situado entre dos niveles de competencia, lo que indicaría que se encuentra en ese proceso de consolidación del nivel anterior y accediendo a conocimientos y habilidades propios del nivel siguiente, tal y como se ha señalado anteriormente y se puede apreciar en el siguiente ejemplo 30. Cómo se describen cada uno de estos niveles de competencia? Para describir los aprendizajes que los y las estudiantes demuestran en cada uno de los niveles de competencia se emplea: Una descripción general de las exigencias de cada nivel. Ejemplos de tareas o desempeños típicos que los alumnos y alumnas en este nivel son capaces de hacer. Algún ejemplo de preguntas de las pruebas que ilustran algunas de las tareas o desempeños típicas del nivel. El número de preguntas liberadas depende, en unas ~ 31 ~

32 pruebas cortas como las que se han aplicado, del número de ítems de anclaje que ha sido preciso conservar para garantizar la comparabilidad en próximas aplicaciones. Ver los documentos sobre niveles de competencia e ítems liberados del curso 2009 en y Cómo se han establecido estos niveles de competencia? Las puntuaciones mínimas de las pruebas de la evaluación de diagnóstico, que indican que los estudiantes alcanzan determinados niveles de competencia, han sido establecidos utilizando un procedimiento estandarizado que se emplea en otras evaluaciones internacionales con este mismo objetivo. En este proceso de identificación de los puntos de corte de cada nivel han tomado parte todos los profesionales que participaron en la elaboración de las pruebas (personal del ISEI-IVEI, inspectores, asesores de formación y profesorado de distintos niveles), y a este grupo se han incorporado otros profesores y profesoras expresamente invitados a participar en este proceso y que están impartiendo clase en estos momentos en los correspondientes niveles evaluados. Todas estas personas tienen firmado un compromiso expreso de confidencialidad por el cual no pueden hacer ningún uso de esta información. ~ 32 ~

33 32. Hay un nivel mínimo que indique que una competencia básica ha sido superada? No. Es muy importante no confundir la finalidad de esta evaluación y tener muy claros los siguientes criterios: La Evaluación de diagnóstico no es una evaluación final ni sustituye a la evaluación curricular que realiza el profesorado, por lo tanto, no pretende dar una referencia de suspensos y aprobados, algo que sólo corresponde a los centros y a su profesorado. Lo que se ofrece es una información externa que sitúa a cada alumno o alumna, grupo y centro en un continuo de desarrollo de cada competencia básica y se le dan comparaciones con centros de sus mismas características. Pretender aprobar o suspender a un centro con los resultados de una única evaluación es no sólo injusto, sino sobre todo pretencioso. El referente a alcanzar debe ser siempre el más ambicioso. El desarrollo de una competencia, en sentido estricto, no termina nunca. Los centros deben trabajar para que cada alumno o alumna llegue al máximo nivel de desarrollo de las competencias básicas que sea capaz, y éste debería ser el objetivo de todos los centros. Por eso es bueno conocer, en momentos intermedios de cada una de las etapas obligatorias, en qué nivel nos encontramos, para ser conscientes de lo que hemos hecho y de lo que nos queda por conseguir, sobre todo en comparación con centros que tienen unas características similares al nuestro. Esta es una evaluación de los aspectos básicos de las competencias, por lo tanto, no mide todo lo que un centro escolar enseña a su alumnado y todo lo que su alumnado ha aprendido en el proceso de enseñanza-aprendizaje. Con seguridad, los centros escolares trabajan muchos más contenidos que lo que corresponde a una evaluación de competencias básicas, y sobre ellos realizan sus evaluaciones académicas. Con esta evaluación no es posible, y ni siquiera se pretende, medir todos los aspectos y contenidos que se pueden e incluso se deben trabajar en cada centro. Los resultados no son directamente comparables con los resultados que se dan en el centro (porcentaje de suspensos y aprobados o alumnado que promociona ). Es un error comparar los resultados de esta evaluación con las calificaciones del profesorado, porque para que un alumno o alumna apruebe un área concreta, el profesorado tiene en cuenta muchos más aspectos de los que es posible medir en una evaluación de este tipo externa, de lápiz y papel y aplicada en un momento concreto-. Aunque se basa en competencias desarrolladas en el currículo, esta evaluación está desvinculada del desarrollo específico de los contenidos en cada centro docente. En este sentido, será cada centro quien deberá interpretar en su contexto estos resultados y decidir el uso que hace de esta información y, sobre todo, valorar si el resultado obtenido en cada competencia básica es el adecuado a sus circunstancias, al esfuerzo realizado y a las características de su alumnado. 33. Por qué es distinta la superficie que ocupa cada uno de los niveles de competencia en los gráficos? Porque el tamaño de superficie que ocupa cada nivel de competencia en cada uno de los gráficos no está relacionada con el porcentaje de alumnos y alumnas incluidos en cada nivel, sino ~ 33 ~

34 con el tramo de puntuación que recoge cada uno de estos niveles en cada competencia. Cuando se decidió con qué ítem se cortaba el nivel inicial y con qué ítem se iniciaba el nivel avanzado, se estaba seleccionando una puntuación determinada asociada a cada uno de esos ítems escogidos como ítems de corte de nivel. Veamos un ejemplo que no responde a ninguna de las competencias evaluadas. Supongámonos que, en una determinada competencia, el punto de corte del nivel inicial está en 237 puntos y que el punto de corte del nivel avanzado está en 274, eso supone que en el nivel inicial tenemos alumnado con puntuaciones que van de, por ejemplo, 90 puntos hasta 237 puntos y que en el nivel avanzado hay alumnado que ha obtenido puntuaciones que van de 274 a, por ejemplo, 347. Una simple resta nos dará que en el nivel medio hay alumnado con puntuaciones entre 237 y 279, es decir, 47 puntos, mientras que en el nivel inicial hay alumnado entre las puntuaciones 90 y 237, es decir, 147 puntos de diferencia. Por lo tanto, cada una de las superficies correspondientes a cada nivel es proporcional al número de puntos que recoge, como en el nivel medio se recogen menos puntos aunque muchos más alumnos y alumnas- que en los otros dos niveles, el gráfico muestra que la superficie correspondiente a este nivel es bastante menor que en los otros dos. Sin embargo, para que la desproporción no sea tan grande como en los gráficos del curso pasado y evitar gráficos que pueden resultar poco comprensibles e incluso lleven a interpretaciones erróneas, hemos ajustado los extremos de los gráficos (punto mínimo y punto máximo) como una forma de corregir esta circunstancia. Como se puede apreciar en el siguiente ejemplo gráfico, la longitud que ocupa cada nivel de competencia no está relacionado con el porcentaje de alumnado que se encuentra en cada uno de esos niveles, sino, tal y como se ha explicado anteriormente, con los puntos que se incluyen en cada nivel de competencia. Estos dos gráficos corresponden a los resultados de la Competencia matemática. Al tratarse del mismo tipo de gráfico de barras, puede llevar a confusión, pero la realidad es que dan dos informaciones muy distintas: en el primero gráfico 5 del Informe de centro- se indican los puntos de corte de cada nivel de competencia y dónde se sitúa la media del grupo. La superficie de cada nivel hace referencia a los puntos que recoge cada nivel. En el segundo gráfico 11 del mismo Informe de centro-, se da información sobre el porcentaje de alumnos y alumnas en cada nivel de competencia. Como se puede apreciar, aunque en el primer gráfico la superficie del nivel inicial es muy amplia, sólo recoge al 20% del alumnado de ese grupo, mientras que el nivel medio con una superficie mucho menor, incluye a cerca del 67% del alumnado. ~ 34 ~

35 34. Se pueden comparar directamente los resultados obtenidos en las diferentes competencias básicas? No se deben comparar de manera directa. Aunque en la elaboración de las pruebas se han seguido unos criterios comunes, cada competencia tiene su especificidad y los niveles de competencia establecidos en cada una de ellas es distinto. Es muy importante tener en cuenta que los puntos de corte establecidos en cada una de las competencias son diferentes, ya que responden a las características de cada una de las pruebas y al rendimiento mostrado por el alumnado. Por esta razón, aunque en la elaboración de las pruebas se han seguido unos criterios comunes, no deben compararse entre sí los resultados de las cuatro competencias básicas, puesto que son independientes. Tener en Competencia Matemática mejor resultado que, por ejemplo, en Competencia en comunicación lingüística en euskara no indica ni asegura que sea mayor el desarrollo de la Competencia matemática que de la lingüística. Además, hay que tener en cuenta un aspecto muy importante: en la Evaluación diagnóstica 2009, el valor asignado para representar la media de puntuación era igual para todas las competencias, 250 puntos, ya que era la primera vez que se utilizaba esta escala. Sin embargo, el rendimiento medio de todo el alumnado, y, por lo tanto, de toda la Comunidad en cada etapa, puede ser inferior o superior a esos 250 puntos en la aplicación 2010 y cada una de las competencias evaluadas en la aplicación 2010 puede comportarse de manera diferente. 35. Los resultados por dimensiones son igualmente válidos en todas las competencias? No. Como en el Informe de centro del curso 2009, en la Competencia en comunicación lingüística en euskara y en castellano, además de los resultados globales, se presentan los resultados de centro y de cada grupo en las tres dimensiones evaluadas: comprensión oral, comprensión escrita y expresión escrita, debido a que hay un número de ítems suficientes para medir de manera aislada cada una de estas destrezas. Sin embargo, en el caso de la Competencia matemática y de la Competencia social y ciudadana, también se presentan los resultados globales por dimensiones, pero su validez es menor, ya que el número de ítems incluidos en cada una de ellas no es suficiente para garantizar la fiabilidad de la puntuación media de cada dimensión. Estos resultados sólo deben ser entendidos como indicadores de tendencia y se ofrecen exclusivamente para ayudar a la reflexión en el centro. Evidentemente, los resultados por dimensiones en estas dos competencias sólo se ofrecen respecto a la media del centro, pero no de cada uno de los grupos evaluados. 36. Cómo se deben interpretar los gráficos de resultados por dimensiones de las Competencias matemática y Social y ciudadana? Para analizar estos gráficos hay que tener en cuenta los siguientes criterios: a) Estos resultados sólo deben ser entendidos como indicadores de tendencia, ya que su fiabilidad y validez es mucho menor que en el caso de los resultados de las dimensiones de la competencia ~ 35 ~

36 lingüística. El número de ítems con el que se ha medido cada dimensión no es, en muchos casos, suficiente para garantizar una medición completa de la misma. b) Además de la puntuación global del centro en esta competencia, se dan las puntuaciones en cada una de sus dimensiones tomando como referencia, en todos los casos, la media global de Euskadi. Los resultados expresados a la izquierda de la media de la Comunidad indican que la puntuación obtenida por el centro es inferior a esa media en la proporción que se expresa en el gráfico. Los resultados situados a la derecha muestran que la puntuación del centro es superior a la media de Euskadi. Situación de la puntuación media del centro respecto de la media de Euskadi Puntuación media global de Euskadi en 2010 (línea vertical) Resultados medios del centro en cada una de las Dimensiones de la Competencia matemática Puntuación media de Euskadi en 2010 en cada dimensión (línea vertical). Las puntuaciones situadas a la izquierda de la media indican que la puntuación obtenida por el centro en la es inferior a la media de Euskadi. Las puntuaciones situadas a la derecha de la media indican que la puntuación obtenida por el centro en la es superior a la media de Euskadi. ~ 36 ~

37 Sobre el apartado 2. Distribución del alumnado por niveles de competencia. 37. Qué información se presenta en este segundo apartado? En este apartado que va de las páginas 24 a 28- se presenta el porcentaje de estudiantes que se encuentra en cada uno de los tres niveles de competencia definidos en esta evaluación (inicial, medio y avanzado) en las cuatro competencias evaluadas en Los gráficos de este segundo apartado son los siguientes: 38. Por qué es interesante conocer la distribución del alumnado por niveles de competencia? El resultado alcanzado por un centro escolar refleja el desempeño del total de los y las estudiantes que hicieron las pruebas cada curso. Independientemente de la media obtenida, todos los centros trabajan con estudiantes que presentan distintos grados de rendimientos: mientras algunos aprenden rápida y eficazmente, otros requieren más tiempo y esfuerzo. Estas diferencias de rendimiento imponen un gran desafío al trabajo docente, ya que si la enseñanza se orienta exclusivamente a las necesidades del alumnado con mayores dificultades, se pone un techo a los estudiantes más avanzados y si, por el contrario, la preocupación se centra sólo en las necesidades de quienes tienen mejor rendimiento, se corre el riesgo de dejar aún más atrás a los estudiantes que ya están rezagados. 39. Cuál es el tipo de gráfico que se presenta en este segundo apartado? Se trata de un gráfico de barras apiladas similar al presentado en los Informes de Centro del curso pasado, pero visualmente más sencillo para facilitar su lectura. En el gráfico se presenta un primer gráfico con los porcentajes totales del centro en cada nivel y a continuación los gráficos de porcentajes correspondientes a los grupos evaluadas en ~ 37 ~

38 Sobre el apartado 3. Datos comparativos según el nivel socioeconómico y cultural. 40. Qué información se presenta en este tercer apartado? En este apartado que va de las páginas 29 a 34- se presenta el resultado medio obtenido en las diferentes competencias evaluadas en 2010 por los centros que tienen el mismo Índice socioeconómico cultural que un determinado centro. Este dato permite establecer comparaciones de resultados y analizar si ese centro y cada uno de los grupos evaluados se encuentran por debajo o por encima de esa puntuación media obtenida por los centros con su mismo ISEC en las cuatro competencias. Los gráficos de este segundo apartado son los siguientes: 41. Es adecuado comparar directamente centros escolares de distinto tipo? Para comparar dos centros, lo primero que debería tenerse en cuenta es que no todos los estudiantes ni todos los centros son iguales y que las circunstancias específicas de cada centro afectan de manera significativa a sus resultados. Sin embargo, como sistema educativo vasco es preciso conocer en qué situación nos encontramos, por eso es necesario establecer comparaciones. En el informe de centro sólo se establecen dos tipos de comparaciones: a) Según el nivel socioeconómico y cultural (ISEC) de su alumnado. Los resultados han demostrado que las grandes diferencias se dan entre grupos socioeconómicos más que por tipos de centro. Además, sabemos por otras evaluaciones que cuando la comparación entre centros escolares es analizada considerando el ISEC de los alumnos y alumnas escolarizados, las diferencias en los resultados tienden a minimizarse. b) Según el estrato al que pertenece el centro, resultado de la combinación entre red educativa y modelo lingüístico. Hay que tener en cuenta que, en muchos casos, el modelo lingüístico no está ligado al centro sino a grupo o grupos específicos del centro. Esto ocurre en el caso de centros escolares con más de un modelo lingüístico. ~ 38 ~

39 42. Por qué se comparan los centros según el nivel socioeconómico y cultural (ISEC) de las familias de su alumnado? Comparar los resultados de un centro con el resultado medio de todos los centros escolares de la Comunidad, permite saber si un determinado centro ha alcanzado un mejor o peor nivel en esta evaluación. Sin embargo, no siempre es justa esta comparación, ya que no permite saber si los resultados alcanzados por sus estudiantes reflejan los esfuerzos realizados por docentes, directivos y familias para dejar las condicionantes socioeconómicas en un segundo plano. Sabemos por múltiples evaluaciones e investigaciones que los logros de aprendizaje y el desarrollo de las competencias básicas están determinados por múltiples factores, tanto internos como externos a los centros escolares. Las prácticas pedagógicas docentes y la gestión adecuada desde la dirección son aspectos que, entre otros, pueden ser modificados por el centro escolar; en cambio, la condición socioeconómica familiar de sus estudiantes o el nivel educativo de sus padres difícilmente pueden ser modificados por el centro docente, aunque si haya que tenerlos muy en cuenta en el proceso de enseñanza-aprendizaje. Para determinar si las diferencias de los resultados en la Evaluación diagnóstica se producen por lo que sucede dentro del centro y no fuera de éste, lo razonable es comparar centros que atienden a estudiantes de similares características socioeconómicas y culturales. Con este fin, todos los centros escolares que participan en esta evaluación han sido clasificados dentro de un determinado grupo socioeconómico y cultural, considerando sólo el grupo de estudiantes que han participado en esta evaluación en cada etapa educativa. El interés de este dato viene además avalado por el hecho de que todas las evaluaciones e investigaciones confirman la clara influencia que este índice tiene en los resultados, de forma que, en general, el resultado mejora a medida que asciende el nivel socioeconómico y cultural. 43. Cómo se calcula el ISEC y por qué se hace así? La información para calcular el ISEC procede de las respuestas facilitadas por el alumnado en el cuestionario. En este índice se incluyen aspectos relacionados con el nivel profesional familiar, el nivel máximo de estudios de la familia y la posesión de una serie de bienes materiales y culturales que la experiencia previa ha determinado que son especialmente relevantes (número de libros en casa, lectura de prensa diaria y revistas especializadas y posesión de ordenador y acceso a Internet). A partir de los datos individuales, se calcula la media del alumnado de cada centro. Este valor está centrado en 0 correspondiente a la media de la Comunidad Autónoma- con una desviación típica de 1. Se ha dividido el total de la población en 4 niveles (bajo, medio-bajo, medio-alto y alto) en cada uno de los cuales se sitúa un 25% de los centros, según su ISEC sea más bajo o más elevado. El hecho de que se los cuatros niveles tomen como referencia el centro y no el número de alumnos es lo que ocasiona que en cada uno de los niveles de ISEC haya un número de alumnos y alumnas distinto, como se puede comprobar en el siguiente ejemplo: ~ 39 ~

40 El gráfico que muestra esta comparación incluido en el tercer apartado del informe de centro - es similar al que aparece a continuación: Resultado medio de todo el alumnado del centro que ha participado en esta competencia. NIVELES DE COMPETENCIA Resultado medio obtenido en esta competencia por los centros que tienen el mismo ISEC del este centro. Grupos del centro Hay que tener en cuenta que se trata de niveles no absolutos, sino comparativos en relación con el alumnado de la muestra evaluada en cada una de las etapas. Esta circunstancia puede provocar dos circunstancias: Que un centro que tenga las dos etapas educativas evaluadas, se sitúe en un nivel de ISEC distinto en cada etapa, ya que los datos proceden sólo del alumnado de los grupos evaluados y no de todo el alumnado del centro. También puede ocurrir que un centro tenga un nivel de ISEC distinto al señalado en la Evaluación diagnóstica 2009, porque haya cambiado el perfil de ISEC del alumnado evaluado en 2010, ya sea en el propio centro o ya sea a nivel de Comunidad Autónoma. Por lo tanto, cuando se habla en este informe de ISEC de centro, ha de interpretarse como ISEC medio del alumnado de los grupos evaluados. En cualquier caso, un aspecto que hay que tener muy en cuenta y que, sin duda, tiene un cierta influencia en la calidad de algunos de los datos es que la información mediante la que se construye este índice viene del cuestionario del alumnado y no se puede obviar que, algunas de esta informaciones aportadas por l alumnado de 4º de E. Primaria, son ~ 40 ~

41 menos fiables, a pesar de que se ha desarrollado para su recogida todo un proceso de contraste con las familias. 44. Cómo se construye el ISEC? Para construir el Índice Socioeconómico y cultural (ISEC) se han utilizado las preguntas del cuestionario del alumnado relacionadas con la información que se presenta en el siguiente gráfico (ver en anexo las preguntas específicas): ISEC Índice socioeconómico y cultural de la familia 1. PROFESIÓN Máximo nivel profesional de la familia 2. ESTUDIOS Máximo nivel de estudios de la familia 3. LIBROS Posesión de libros en casa 4. ÍNDICE DE POSESIONES 1 5. ÍNDICE DE POSESIONES 2: BIENES CULTURALES Número de ordenadores Conexión a Internet VARIABLES QUE SE UTILIZAN EN LA CONSTRUCCIÓN DEL ISEC Número cuartos de baño Libros de consulta Número de automóviles Literatura clásica Revistas especializadas Obras de arte Prensa diaria Habitación propia Las respuestas relacionadas con el nivel laboral del padre y de la madre, el nivel máximo de estudios familiar y el número de libros en casa los apartados 1, 2 y 3 del gráfico- se han tomado por separado; sin embargo, el Índice de posesiones 1 y 2 son una combinación lineal de los aspectos que se señalan en cada caso. ~ 41 ~

42 Por lo tanto, el ISEC sale de la combinación de cinco variables, con las cuales se ha realizado un análisis factorial, utilizando el método de componentes principales, de donde se obtiene una puntuación con media 0 y desviación típica 1 para cada uno de los alumnos y alumnas. Para establecer el índice socioeconómico y cultural de las familias vascas (ISEC), desde el punto de vista del análisis factorial, funciona un número limitado de variables y características, por eso algunas preguntas del cuestionario no se han tenido en cuenta ya que no discriminaban y aportaban muy poco al modelo. De hecho, algunas variables que el curso pasado funcionaron, este curso no discriminan y han sido eliminadas. Esta circunstancia es algo normal y ocurre en cualquier construcción de este tipo de índices. Con la puntuación señalada anteriormente, se obtiene el ISEC individual. El ISEC de grupo o de centro se construiría con la media de los ISEC de los alumnos y alumnas de los que se tiene información, a partir de las respuestas dadas en el cuestionario, independientemente de que su puntuación esté incluida en las medias globales o no. Esto es un aspecto importante, que es necesario entender bien: los ISEC de centro o de grupo incluyen alumnos o alumnas que han participado en la aplicación y que han contestado al cuestionario, aunque luego sus resultados no hayan sido tenidos en cuenta al hacer la media del grupo y del centro. La razón para hacerlo así y no sólo tomando en consideración al alumnado incluido en la puntuación (ver pregunta 24) es que de esta manera el ISEC de grupo y de centro es más real y preciso, ya que recoge el mayor número posible de alumnos y alumnas. ~ 42 ~

43 Sobre el apartado 4. Datos comparativos por estratos. 45. Qué información se presenta en este cuarto apartado? En este apartado que va de las páginas 35 a 39- se presentan los resultados medios obtenidos por los centros del País Vasco que pertenecen a un mismo estrato; es decir, que tienen el mismo modelo lingüístico y pertenecen a la misma red educativa pública o concertada-. En el Informe, cada centro accede exclusivamente los resultados de los estratos que existen en su centro y no a los resultados medios de cada uno de los estratos del conjunto de la CAPV, en primer lugar para no complicar en exceso el gráfico y, en segundo lugar, para no comparar realidades, en algunos casos, muy distintas. Los gráficos de este segundo apartado son los siguientes: 46. Por qué es interesante conocer este dato? Porque cada uno de los grupos que ha participado en esta evaluación se define, entre otros aspectos, por su modelo lingüístico y por la red educativa a la que pertenece el centro. Son datos clave para poder interpretar adecuadamente los resultados logrados en las diferentes competencias básicas. Como se puede ver en los Informes de resultados de la evaluación 2009, hay algunas variables como el modelo lingüístico, la lengua familiar o la lengua de la prueba- que tienen una clara influencia en los resultados de las competencias no lingüísticas o de la competencia en comunicación lingüística en euskara. ~ 43 ~

44 Sobre el apartado 5. Relación entre resultado obtenido y resultado esperado según ISEC. 47. Qué información se presenta en este quinto apartado? En este apartado que va de las páginas 40 a 45- se presenta una información de gran interés: saber si el centro y cada uno de sus grupos han obtenido los resultados que corresponden a su nivel socioeconómico y cultural y, por lo tanto, si han sido capaces de, en cierta forma, superar la situación de partida de su alumnado. Para ello, se ofrece la puntuación que ha obtenido el centro y cada uno de los grupos- que ya se conoce de los apartados anteriores- y la puntuación esperada en virtud de su Índice socioeconómico y cultural. Los gráficos de este quinto apartado son los siguientes: 48. Qué significa resultado obtenido y resultado esperado según el ISEC del centro? Como su propio nombre indica, por resultado obtenido se entiende la puntuación lograda por el centro en las diferentes competencias básicas que se presenta en el primer apartado del Informe- y por resultado esperado, aquel que se cree que un centro debería haber alcanzado teniendo en cuenta las características socioeconómicas y culturales de los alumnos y alumnas que escolariza. Como se ha señalado en la pregunta 42, la relación entre el rendimiento y el Índice socioeconómico y cultural (ISEC) suele ser en general positiva: a un ISEC más alto suelen corresponder unos mejores resultados. Sin embargo, esta relación no es siempre automática, ya que influyen otros factores y variables en el nivel de los resultados alcanzados. Estas variables son de diverso tipo didácticas, organizativas, de relación con las familias -, y están relacionadas, de manera más o menos directa, con el trabajo realizado por el propio centro para superar y mejorar la situación de partida de sus alumnos y alumnas. Esto es lo que, en algunas investigaciones, suele denominarse como valor añadido del centro. Para dar esta información, en el Informe de centro se presenta un gráfico similar al siguiente: ~ 44 ~

45 Los grupos que se sitúan por encima de la recta de regresión de color naranja- obtienen resultados superiores a lo esperado en función de su ISEC; las puntuaciones de los grupos que se sitúan en la misma recta indican que han obtenido los resultados esperados. Finalmente, los grupos por debajo de la recta indican que han logrado resultados más bajos que los esperables según el Índice socioeconómico y cultural del centro. Este dato puede ser de mucho interés, ya que permite valorar de una manera más completa y justa la aportación del centro. Así, podemos encontrar centros que aparentemente obtienen unos altos resultados, pero que en realidad son inferiores a los que debería lograr y, al contrario, centros con bajos resultados, consecuencia en cierta forma del tipo de alumnado que escolariza, pero que debido al esfuerzo docente y a su propuesta didáctica y organizativa es capaz de conseguir resultados superiores a lo esperado por su ISEC. ~ 45 ~

46 Sobre el apartado 6. Evolución de los resultados. 49. Qué información se presenta en este sexto apartado? En este apartado, que va de la página 46 a 49, se presenta la comparación entre los resultados medios obtenidos por el centro en la aplicación 2009 y en la aplicación 2010, así como las puntuaciones medias de Euskadi en cada una de esos años y el resultado medio en 2010 correspondiente a los centros con el mismo ISEC y con el mismo estrato o estratos existentes en el centro. Los gráficos de este sexto apartado son los siguientes: 50. Son comparables los resultados de la aplicación 2009 y 2010? A pesar de que las pruebas 2009 y 2010 están compuestas, en parte, por preguntas distintas, será posible hacer comparaciones, dado que ambas pruebas han sido escaladas en la misma métrica, lo que permite hacer un puente entre ambas evaluaciones. Este dato longitudinal será de gran interés para los centros docentes, ya que podrán percibir la evolución de sus resultados a medio plazo y apreciar si éstos se mantienen o están influidos por contingencias concretas: cohorte peor o mejor de alumnos y alumnas en un determinado año, procesos de mejora desarrollados u otras circunstancias. Cuando se analizan los resultados de la Evaluación de diagnóstico de un centro a través del tiempo, es posible observar variaciones en el promedio alcanzado en las diferentes aplicaciones. Conocer cómo han variado los resultados de un centro permite saber si las distintas promociones de estudiantes han ido mejorando sus competencias y sirve, además, para reforzar o reorientar las acciones implementadas y desarrolladas en los planes de mejora. En este análisis de tendencias en el tiempo, es muy importante tener en cuenta que se están comparando promociones de estudiantes diferentes; por lo tanto, es necesario reflexionar sobre en qué medida las diferencias en los resultados entre una aplicación y otra pueden explicarse por factores pedagógicos o de organización escolar, y en qué medida pueden explicarse por las características propias del grupo que participó en la Evaluación diagnóstica en un año concreto, pero que realmente no tienen que ver con su experiencia escolar, sino con otras circunstancias individuales ~ 46 ~

47 51. Cuándo es estadísticamente significativa una diferencia en los resultados entre distintas aplicaciones? No siempre una diferencia entre los resultados medios obtenidos por el centro en diferentes años implica una diferencia efectiva en el desarrollo de las competencias básicas evaluadas. Para entender cuándo las diferencias entre los resultados de la aplicación realizada en 2009 y la realizada en 2010 reflejan realmente diferencias estadísticamente significativas, se utilizan los siguientes símbolos: Para afirmar que una diferencia es estadísticamente significativa se ha utilizado la puntuación de 2009 y su error y la de 2010 y su error, tomando como referencia un nivel de confianza del 95%. Es muy importante prestar más atención al símbolo que a la posición en la que se encuentran los resultados medios del centro en cada aplicación. 52. Cuál es el tipo de gráfico que se presenta en este apartado? Se trata de un gráfico complejo, en el que se presenta un número amplio de datos, tal y como se puede apreciar a continuación: ~ 47 ~

48 Resultado medio del centro en las evaluaciones realizadas en 2009 y en Resultado medio de Euskadi en las evaluaciones realizadas en 2009 y en Resultado medio en 2010 de los centros con el mismo ISEC (es la misma información dada en el apartado tercero del Informe). Esta es la información más importante de este gráfico, ya que señala si la diferencia ha sido estadísticamente significativa o no y si los resultados han sido superiores, inferiores o iguales a los de la aplicación del año Resultado medio en 2010 de los centros con el mismo estrato o estratos del centro (esta es un información que ya se ha presentado en el apartado cuarto del Informe) ~ 48 ~

49 Sobre el apartado 7. Distribución de resultados del alumnado en cada uno de los grupos evaluados. 53. Qué información se presenta en este séptimo apartado? En este apartado séptimo, que ocupa las páginas finales del Informe, se presentan los gráficos donde se recoge la puntuación obtenida por cada uno de los alumnos y alumnas que conforman cada uno de los grupos que han sido evaluados en cada centro escolar. Con ellos, el profesorado tendrá una fotografía clara de cada uno de los grupos y de su dispersión y no estará obligado a recurrir a cada uno de los informes individualizados. 54. Qué aspectos hay que tener en cuenta en esta información? Las diferentes puntuaciones entre los grupos reflejan, entre otras cosas, el trabajo realizado por profesores y profesoras, equipos directivos y equipo docente y, por supuesto, por los propios estudiantes. Por consiguiente, el resultado obtenido por un grupo en la Evaluación diagnóstica no puede ni debe ser atribuido exclusivamente al trabajo del docente o de los docentes a cargo del grupo durante el año de la evaluación. Por otra parte, las diferencias entre los resultados de los distintos grupos pueden deberse a factores que no son totalmente controlables por el tutor o equipo docente a cargo del grupo, tales como, por ejemplo, los recursos educativos que los escolares tienen a disposición en sus hogares. Por ello, cuando se hace la comparación de puntuaciones entre grupos, se debe ser extremadamente cuidadoso, tomando en cuenta todos los factores y características del grupo. Denominación dada por el centro al grupo evaluado. Código de identificación de cada alumno y alumna del grupo. ~ 49 ~