INFORME DE LA EVALUACIÓN DE DIAGNÓSTICO 2011

Transcripción

1 AGENCIA EXTREMEÑA DE EVALUACIÓN EDUCATIVA INFORME DE LA EVALUACIÓN DE DIAGNÓSTICO 2011 Consejería de Educación y Cultura Agencia Extremeña de Evaluación Educativa 1

2 Agencia Extremeña de Evaluación Educativa 2

3 Índice AGRADECIMIENTOS...5 I. INTRODUCCIÓN Qué es la evaluación de diagnóstico? Marco teórico de la evaluación Competencias Evaluadas Principios que caracterizan la evaluación de diagnóstico...13 II. PROCESO DE LA EVALUACIÓN DE DIAGNÓSTICO Población Coordinación del proceso Fases...16 III. EL CONTEXTO...35 IV. LA EVALUACIÓN DE DIAGNÓSTICO EN RAYUELA V.1. Actuaciones anteriores a la aplicación de las pruebas V.2. Actuaciones entre la aplicación y la emisión de informes V.3. Publicación de informes V. RESULTADOS...49 V.1. Población...49 V.2. Puntuaciones medias transformadas por competencias y provincias...51 V.3. Puntuaciones medias transformadas por competencias y sexos...53 V.4. Porcentaje de adquisición de dimensiones de competencia...55 V.5. Niveles medios de competencia...59 VI. CONTEXTOS SOCIALES, ECONÓMICOS Y CULTURALES Y SU RELACIÓN CON LOS RESULTADOS...61 VI.1. Resultados según la edad del alumnado y trimestre de nacimiento...61 VI.I.I. Edad del alumnado...62 VI.1.2. Trimestre de nacimiento...64 VI.2. Resultados según el número de hijos que forman parte de la unidad familiar...66 VI.3. Resultados en función del tiempo diario dedicado a las tareas escolares...68 VI.4. Resultados atendiendo a la ayuda recibida para hacer las tareas escolares...71 VI.5. Resultados según el tiempo dedicado a otras actividades fuera de los fines de Semana...74 V1.6. Resultados según el número de libros y de libros juveniles en el hogar...83 VI.6.1. Números de libros...84 VI.6.2. Números de libros juveniles...86 VI.7. Resultados según los hábitos de lectura y la actitud hacia la lectura de los Padres...89 VI.7.1. Tiempo dedicado a la lectura...89 VI.7.2. Actitud hacia la lectura en la familia VI.8. Resultados en función de las expectativas de estudio del alumnado, expresadas por sus familias VI.9. Resultados atendiendo al nivel educativo de madres y padres VI.10. Resultados según el perfil profesional de madres y padres VI.11. Resultados en función de los recursos con los que cuenta el domicilio familiar Agencia Extremeña de Evaluación Educativa 3

4 VI.12. Resultados según el número de habitantes de la localidad de residencia del alumnado VI.13. Resultados atendiendo a la titularidad de los centros VI Puntuaciones transformadas según tipo de centro VI Puntuación media en cada competencia por niveles de ISEC VI Porcentajes de los niveles de ISEC en función de la titularidad del centro VI.14. Perfil del alumnado que supera las puntuaciones medias Agencia Extremeña de Evaluación Educativa 4

5 AGRADECIMIENTOS La Agencia Extremeña de Evaluación Educativa desea agradecer el trabajo y la dedicación de todos los que han colaborado para que la tercera edición de la evaluación de diagnóstico se haya desarrollado con éxito. A los alumnos que han realizado las pruebas y a sus familias que han colaborado en la información sobre el contexto. A los profesores, por su generosidad y profesionalidad; tanto a los que han participado en las comisiones de elaboración de los ítems de las distintas competencias, como a los Equipos Directivos, los Equipos de Orientación, los Departamentos de Orientación y a los que han actuado de aplicadores y correctores de las pruebas. A los distintos departamentos de la Administración, donde siempre se ha encontrado respuesta positiva a las demandas planteadas. Que el proceso se haya desarrollado sin incidencias es fruto del trabajo coordinado y un logro de todos. Agencia Extremeña de Evaluación Educativa Agencia Extremeña de Evaluación Educativa 5

6 Agencia Extremeña de Evaluación Educativa 6

7 I. INTRODUCCIÓN I.1. Qué es la evaluación de diagnóstico? La Ley Orgánica 2/2006, de 3 de mayo, de Educación, establece en sus artículo 21 y 29 que al finalizar el segundo ciclo de Primaria y el segundo curso de la Educación Secundaria Obligatoria respectivamente, todos los centros realizarán una evaluación de diagnóstico de las competencias básicas alcanzadas por sus alumnos. Establece, asimismo, que tendrán como marco de referencia las evaluaciones generales de diagnóstico que se regulan en el artículo de la citada Ley. La Orden de 8 de mayo de 2009 (DOE núm. 90, de 13 de mayo), regula la evaluación de diagnóstico y su procedimiento de aplicación en los centros docentes extremeños. La Consejería de Educación y Cultura fomenta la evaluación externa como un mecanismo mediante el cual los centros, y la propia administración, recogen datos sobre el proceso educativo con la finalidad de tomar las decisiones oportunas que optimicen los recursos. Se evalúa para avanzar en la calidad y la equidad de la educación, compromiso éste que tiene la Junta de Extremadura con los ciudadanos y ciudadanas de la región. La importancia de esta evaluación externa radica en ser de diagnóstico, censal y formativa. Es de diagnóstico porque pretende tener datos sobre el estado del sistema educativo; es censal porque los destinatarios son todos los alumnos y alumnas de los niveles establecidos; y es formativa porque ayuda a orientar las políticas educativas y contribuye a mejorar la práctica docente en los centros. Es esta última la razón por la que se realiza en 4º de Primaria y 2º ESO, cursos no terminales en los que todavía se pueden tomar decisiones para superar los déficits detectados y alcanzar esas competencias en aquellos alumnos que no las hayan adquirido. Esta evaluación se realiza a través de un conjunto de pruebas y cuestionarios de contexto, comunes para todo el alumnado, que serán aplicadas con criterios estandarizados en todos los centros. Agencia Extremeña de Evaluación Educativa 7

8 Como resultado de esta evaluación, la administración, el centro escolar, el profesorado, el alumnado y las familias podrán disponer de una información suficientemente objetiva sobre su situación, que deberá complementar con sus propios datos internos, y posibilitará la puesta en marcha de procesos de mejora. El curso 2010/2011 es el tercero en el que se realizan estas pruebas diagnósticas en todos los centros extremeños y en este informe se da cuenta de los resultados y su análisis. I.2. Marco teórico de la evaluación En 1997 la OCDE inició el Proyecto DeSeCo con el fin de brindar un marco conceptual firme para identificar y evaluar las competencias claves. Con este documento se pretendía fortalecer las encuestas internacionales que midieran el nivel de competencia de jóvenes y adultos. Este proceso desembocó en el Programa PISA, que reunió a un grupo de expertos con el objetivo de consensuar un marco de referencia a fin de orientar las políticas educativas. Como primer objetivo, se identificaron las competencias básicas. En 2005 la Unión Europea acordó asumir los principios de PISA y recomendó a los países miembros introducir en sus legislaciones la cultura de la evaluación externa y la asunción de las competencias básicas como objetivo de la enseñanza obligatoria. En España, la LOE introdujo estas competencias básicas que más tarde desarrollaron en sus respectivas legislaciones las comunidades autónomas. Para todo el Estado español se regulan en los Reales Decretos 1631/2006, de 29 de diciembre, por el que se establecen las enseñanzas mínimas correspondientes a la Educación Secundaria Obligatoria (BOE de 5 de enero de 2007) y 1513/2006, de 7 de diciembre, por el que se establecen las enseñanzas mínimas de la Educación Primaria (BOE de 8 de diciembre). Los Decretos 82/2007 y 83/2007, de 24 de abril, (DOE núm. 50 de 3 de mayo) por los que se establece el Currículo de Educación Primaria y el de Educación Agencia Extremeña de Evaluación Educativa 8

9 Secundaria Obligatoria para la Comunidad Autónoma de Extremadura, respectivamente, la desarrollan en nuestra comunidad. Se entiende por competencias básicas aquellos conocimientos, destrezas y actitudes que, de manera integrada, permiten a los alumnos y alumnas su participación activa como ciudadanos en una sociedad democrática, facilitan su incorporación al mundo laboral y les prepara para aprender a lo largo de la vida. Es un avance sobre los planes de estudios anteriores que, aunque hacían referencia al saber hacer, no lo contemplaban con esta concreción. El desarrollo de las competencias básicas supone la integración de conocimientos y su funcionalidad. De manera que un alumno o alumna necesita esos conocimientos para incorporarse a la vida adulta de manera satisfactoria y ser capaz de desarrollar un aprendizaje permanente a lo largo de la vida. Por eso son competencias básicas. En ningún caso se ha de relacionar competencias básicas con una única materia o área, pues tienen un carácter integrador que debe impregnar todas las actividades del centro para que el alumnado las adquiera. Cada una de las competencias tiene su función pero, al desarrollarlas todas juntas, se refuerzan aún más. En el marco de la propuesta realizada por la Unión Europea, y de acuerdo con las consideraciones que se acaban de exponer, se han identificado ocho competencias básicas: 1. Competencia en comunicación lingüística. 2. Competencia matemática. 3. Competencia en el conocimiento y la interacción con el mundo físico. 4. Tratamiento de la información y competencia digital. 5. Competencia social y ciudadana. 6. Competencia cultural y artística. 7. Competencia para aprender a aprender. 8. Autonomía e iniciativa personal. Agencia Extremeña de Evaluación Educativa 9

10 La Orden de 8 de mayo de 2009 (DOE núm. 90, de 13 de mayo), regula la evaluación de diagnóstico en Extremadura. Allí se establece que todos los alumnos de 4º de Primaria y 2º ESO de todos los centros de la región son destinatarios de la prueba. Asimismo, recoge que cada curso se evaluarán al menos dos competencias, una de las cuales será necesariamente la Competencia en comunicación lingüística o la Competencia matemática. I.3. Competencias evaluadas En la evaluación de diagnóstico 2011, en la Comunidad Autónoma de Extremadura, las competencias evaluadas han sido la Competencia en comunicación lingüística y la Competencia matemática. Los Decretos 82/2007, de 24 de abril, por el que se establece el Currículo de Educación Primaria para la Comunidad Autónoma de Extremadura (DOE de 3 de mayo) y 83/2007, de 24 de abril, por el que se establece el Currículo de Educación Secundaria Obligatoria para la Comunidad Autónoma de Extremadura (DOE de 5 de mayo), definen las competencias evaluadas como sigue: Competencia en comunicación lingüística Esta competencia se refiere a la utilización del lenguaje como instrumento de comunicación oral y escrita; de representación, interpretación y compresión de la realidad; de construcción y comunicación del conocimiento; y de organización y autorregulación del pensamiento, las emociones y la conducta. Competencia matemática Consiste en la habilidad para utilizar y relacionar los números, sus operaciones básicas, los símbolos y las formas de expresión y razonamiento matemático, tanto para producir e interpretar distintos tipos de información, como para ampliar el conocimiento sobre aspectos cuantitativos y espaciales de la realidad, y para resolver problemas relacionados con la vida cotidiana y con el mundo laboral. Agencia Extremeña de Evaluación Educativa 10

11 Dimensiones y elementos Partiendo de estos Decretos, se identifican los ámbitos competenciales a los que denominamos dimensiones, dentro de los cuales se diferencian los elementos de competencia, que señalan las tareas concretas que habrán de ser capaces de desarrollar los alumnos y alumnas para demostrar la adquisición de las competencias básicas. En el caso de la competencia matemática, junto a las dimensiones y los elementos, se fijan las destrezas de la competencia: reproducción, conexión y reflexión. A continuación se muestran las dimensiones, los elementos de competencia y las destrezas que fueron objeto de evaluación en cada una de las competencias y etapas. COMPETENCIA EN COMUNICACIÓN LINGÜÍSTICA EDUCACIÓN PRIMARIA Y EDUCACIÓN SECUNDARIA Elementos de competencia Elementos de competencia Elementos de competencia Dimensión 1 Comprender textos orales Capta el sentido global del texto. Comprende el vocabulario básico del texto oral. Reconoce las ideas principales y las secundarias. Extrae información de textos orales. Dimensión 2 Comprender textos escritos Identifica la idea principal o general de un texto. Comprende las relaciones entre las ideas de un texto. Realiza interferencias a partir de la información escrita. Relaciona el contenido de un texto con el conocimiento y las ideas previas. Relaciona la forma de un texto con la actitud e intención del autor o autora. Reconoce y comprende los rasgos característicos de los diversos tipos de textos literarios y no literarios. Dimensión 3 Expresarse por escrito Conoce y reconoce un vocabulario básico y su uso funcional. Comprende la variabilidad del lenguaje y las formas de comunicación a través del tiempo y en diferentes ámbitos geográficos, sociales y comunicativos. Escribe distintos tipos de textos con diferentes propósitos, controlando los distintos componentes que forman parte de la escritura. Usa recursos para producir textos relativamente complejos de la escritura. Distingue la información relevante de la no relevante a la hora de expresarse por escrito. Agencia Extremeña de Evaluación Educativa 11

12 COMPETENCIA MATEMÁTICA EDUCACIÓN PRIMARIA Y EDUCACIÓN SECUNDARIA Dimensión 1 Producir e interpretar informaciones, tomando decisiones a partir de los datos disponibles Elementos de competencia Identifica el significado de la información numérica y simbólica. Ordena información utilizando procedimientos matemáticos. Comprende la información presentada en un formato gráfico. Elabora gráficos, cuadros, tablas y diagramas a partir de datos derivados de una situación cotidiana. Dimensión 2 Expresión matemática a partir de la identificación de aspectos cuantitativos y espaciales de la realidad Elementos de competencia Se expresa utilizando vocabulario y símbolos matemáticos básicos. Utiliza formas adecuadas de representación según el propósito y naturaleza de la situación. Expresa correctamente resultados obtenidos al resolver problemas. Justifica resultados expresando argumentos con base matemática. Dimensión 3 Plantear y resolver problemas relacionados con la vida diaria y el mundo laboral Traduce las situaciones reales a esquemas o estructuras matemáticas. Valora la pertinencia de diferentes vías para resolver problemas con criterios matemáticos, seleccionando en cada caso las estrategias Elementos de adecuadas. competencia Selecciona los datos apropiados para resolver un problema. Utiliza con precisión procedimientos de cálculo, fórmulas y algoritmos para la resolución de problemas. Agencia Extremeña de Evaluación Educativa 12

13 DESTREZAS MATEMÁTICAS EVALUADAS EN LAS DOS ETAPAS: Reproducción Hace referencia a la reproducción de los conocimientos practicados, tales como el reconocimiento de tipos de procesos y problemas matemáticos familiares y la realización de operaciones habituales. Esta destreza es necesaria para la realización de los ejercicios más sencillos. Conexión Esta destreza exige que los alumnos vayan más allá de los problemas habituales, realicen interpretaciones y establezcan interrelaciones en diversas situaciones, pero en contextos conocidos. Reflexión Implica perspicacia y creatividad a la hora de identificar los elementos matemáticos de un problema y establecer interrelaciones. Suele aparecer en situaciones asociadas a acciones de planificación compleja. I.4. Principios que caracterizan la evaluación de diagnóstico Las pruebas se elaborarán teniendo como referencia el currículo establecido por el Decreto 82/2007, de 24 de abril, para la Educación Primaria, y el Decreto 83/2007, de 24 de abril, para la Educación Secundaria Obligatoria en la Comunidad Autónoma de Extremadura. La evaluación de diagnóstico, que carecerá de efectos académicos para el alumnado, tendrá un carácter formativo y orientador para los centros e informativo para las familias y el conjunto de la comunidad educativa. No es un instrumento de control de los resultados en los centros educativos, ni tampoco se permite establecer una clasificación. Más bien, debe ser entendida como un complemento a la evaluación que hacen los propios centros sobre el rendimiento de su alumnado. Por tanto, no tiene una finalidad sumativa, sino formativa del nivel del logro de competencias en un momento determinado, que permitirá adoptar planes de mejora antes de la finalización Agencia Extremeña de Evaluación Educativa 13

14 de los estudios en la etapa correspondiente. Y por este motivo se realiza en los cursos intermedios, con la intención de optimizar los procesos educativos y conseguir mejores resultados al final de la misma. El proceso de evaluación debe garantizar la confidencialidad del alumnado y de sus familias, así como el derecho de los propios centros a evitar comparaciones entre los mismos. Los resultados obtenidos tienen exclusivamente el objetivo de mejorar la calidad educativa en el contexto evaluado. Dicha evaluación servirá para conocer el grado de desarrollo de las competencias básicas en el alumnado, teniendo a su vez en cuenta aspectos del contexto sociocultural, para que los centros organicen las medidas de refuerzo que dicho alumnado requiera y adopten las decisiones oportunas para la mejora de los resultados educativos. Los principios que caracterizan la evaluación de diagnóstico son: Igualdad y justicia. La evaluación de diagnóstico contribuye a conocer y compensar las desigualdades detectadas en las personas y tomar decisiones que hagan progresar su situación en el entorno escolar como vía para dar la oportunidad de mejorar. Participación democrática de todos los sectores implicados en la educación del alumnado, y potenciar la toma de decisiones consensuadas en la planificación de una respuesta educativa adecuada a partir de una evaluación responsablemente compartida. Transparencia. Implica tener en cuenta que las sociedades democráticas deben garantizar que la información obtenida, en este caso a través de la evaluación de diagnóstico, sea conocida por los implicados en el proceso (administración, profesores, centros educativos, familias y la sociedad en su conjunto) a través de informes que reflejen fielmente los resultado obtenidos. Agencia Extremeña de Evaluación Educativa 14

15 II. PROCESO DE LA EVALUACIÓN DE DIAGNÓSTICO El proceso de la evaluación de diagnóstico engloba además de la aplicación y corrección de las pruebas, actuaciones previas y posteriores. Se ha de responder a cuestiones como: qué competencias evaluar, quién elabora las pruebas, quién y cómo se validan los ítems redactados, cómo se lleva a cabo la distribución del material necesario, estructura y contenido de los informes de resultados, etc. En este capítulo se expone el proceso completo de la evaluación de diagnóstico II.1. Población Nº de Centros: 652 Primaria 458 Secundaria 194 Públicos 394 Concertados 61 Privados 3 Públicos 135 Concertados 56 Privados 3 Nº de Profesores Correctores: Pública Concertada 336 Privada 12 II.2. Coordinación del proceso Por primera vez, en el curso 2010/2011, la Agencia Extremeña de Evaluación Educativa asume la organización y el desarrollo de la evaluación diagnóstica. Agencia Extremeña de Evaluación Educativa 15

16 II.3. Fases Uno de los principales retos en el procedimiento para la evaluación de competencias lo constituye objetivar el nivel que posee el alumno en las competencias evaluadas. En este sentido, pueden existir diversos procedimientos útiles para evaluar el desempeño del alumnado en las competencias previamente definidas (por ejemplo, se podría requerir la observación directa, el manejo de los recursos tecnológicos para obtener información, etc.). En general, la forma de evaluar el grado en el que el alumnado ha desarrollado las competencias básicas podría ser determinado a través de técnicas y procedimientos de evaluación como las pruebas escritas, la realización de trabajos, las exposiciones orales, la entrevista, etc. En este caso se ha utilizado el procedimiento de pruebas escritas, homologadas y contrastables. Estas pruebas tienen una puntuación directa y una ponderación según el nivel socioeconómico del centro de cada uno de los alumnos evaluados. Esta forma de medir el nivel competencial del alumno conlleva algunos problemas: no se evalúa la dimensión de expresión oral, por ejemplo; además existe el riesgo de que la medición no sea completamente objetiva, por la cantidad de correctores implicados. Precisamente para evitar este inconveniente, la evaluación de competencias básicas se centró en utilizar pruebas escritas y objetivas centradas en estímulos (un anuncio publicitario, una noticia periodística, una situación real del aula, etc.). A partir de los mismos se realizaron las preguntas o ítems que recogían información sobre las competencias, tales como la comprensión de la comunicación oral escuchada, la comprensión escrita, la capacidad para transferir la información, para comprender el vocabulario utilizado, para interpretar una gráfica presentada, etc. En este sentido, se plantearon preguntas con diferentes formatos de respuesta: preguntas de elección múltiple, que exige al alumnado optar por la respuesta correcta; y preguntas abiertas que exigen una elaboración de la respuesta (escribir una frase, expresar una opinión, aplicar operaciones y obtener un resultado, etc.). La objetividad en la corrección por el propio profesor se garantizó mediante la elaboración de criterios objetivos y contrastados en la asignación de puntuaciones, que podrían variar en todos los ítems entre 0 y 2 puntos. Agencia Extremeña de Evaluación Educativa 16

17 El proceso completo de la evaluación de diagnóstico conlleva unas fases que se describen a continuación. Fase I: Identificación de las competencias a evaluar Los Decretos 82/2007 (Educación Primaria) y 83/2007 (Educación Secundaria Obligatoria) definen claramente las competencias básicas y su integración en el currículo. La Comisión Técnica encargada de la elaboración de los ítems integrada por miembros del Servicio de Inspección y profesores de especialidades referidas a distintas áreas y materias identificó, en una primera instancia, los ámbitos competenciales a los que se denominó dimensiones, dentro de los cuales se diferenciaron los elementos de competencia, que señalan las tareas u operaciones concretas que habrán de ser capaces de desarrollar los alumnos y alumnas para demostrar el dominio de las competencias básicas y en el caso de la competencia matemática, las destrezas. Fase 2: Redacción de los ítems El término ítem se utiliza en evaluación para referirse a una pregunta en una prueba de corrección objetiva. La elaboración de los ítems parte de un riguroso procedimiento de trabajo en equipo formado por responsables de la Agencia Extremeña de Evaluación Educativa (AEEE), el Servicio de Inspección Educativa, un grupo de profesores expertos en las competencias que pretenden evaluarse en colaboración con el área de Métodos de Investigación y Diagnóstico en Educación de la Facultad de Educación de la Universidad de Extremadura. Los profesores de la Comisión Técnica, coordinados por un Inspector y la Directora de la AEEE, redactaron los primeros ítems sobre la base de los elementos de competencia descritos en la Introducción. En esta segunda fase se concreta el nivel de desempeño del alumnado mediante la creación de una situación o circunstancia en Agencia Extremeña de Evaluación Educativa 17

18 la que debe demostrar en qué medida puede dar una respuesta correcta al problema o a la situación planteada. Es decir, se somete al alumnado a situaciones-problema ante las que debe demostrar en qué grado es capaz de aplicar sus conocimientos, habilidades y actitudes. No obstante, la evaluación del desempeño en cada uno de los ítems se estableció en tres niveles que se correspondió con la puntuación posible otorgada a cada ítem. Así, se asignó 0 puntos cuando no se respondía correctamente al ítem; 1 punto cuando la respuesta era parcialmente correcta; y 2 puntos cuando la respuesta era totalmente correcta siguiendo criterios claros y objetivos de corrección. El conjunto inicial de ítems elaborados por los cuatro grupos de profesores fueron de 60 en cada una de las competencias evaluadas y etapa; es decir, el triple de los que se utilizarían en las pruebas diagnósticas definitivas. En una primera selección, se eligieron los 40 ítems que formaron parte de las pruebas de la fase de validación. En cada competencia y etapa se obtuvieron dos pruebas diferentes (A y B), cada una de ellas compuesta por 20 ítems. Fase 3: Aplicación experimental de las pruebas El objetivo fundamental de la fase experimental fue garantizar la calidad científica de la prueba censal, y para ello se plantearon los siguientes objetivos específicos: a) Seleccionar los ítems que formarían parte de la evaluación censal teniendo en cuenta criterios rigurosos de dificultad, fiabilidad, validez y equilibrio entre las distintas dimensiones y, en su caso, destrezas de la competencia evaluada. b) Garantizar la objetividad en la aplicación y en los criterios de puntuación de los ítems seleccionados. c) Validar las pruebas en su conjunto. Para llevar a cabo la aplicación experimental, garantizando la representatividad de la muestra, se realizó una selección de 10 centros de Educación Primaria y 10 de Agencia Extremeña de Evaluación Educativa 18

19 Educación Secundaria, teniendo en cuenta tres criterios: una distribución proporcional según la provincia (6 de la provincia de Badajoz y 4 de la provincia de Cáceres en cada una de las etapas); la titularidad del centro (públicos y privados-concertados); y la participación de un CRA y un IESO en primaria y secundaria respectivamente. La fase experimental se llevó a cabo con alumnos de 5º de EP y 3º ESO. La distribución de centros fue la siguiente: PRIMARIA Número de centros Número de alumnos Total nº de alumnos Badajoz (6 centros) Cáceres (4 centros) Públicos Concertados Públicos Concertados 5 CEIP 1 3 (2 CEIP 1 CRA) SECUNDARIA Número de centros Número de alumnos Total nº de alumnos Badajoz (6 centros) Cáceres (4 centros) Públicos Concertados Públicos Concertados 4 ( 3 IES 1 IESO) La primera actuación de esta fase fue una reunión de la AEEE y el Servicio de Inspección General con los Directores de los 20 centros seleccionados donde se les informó sobre los objetivos, el procedimiento y el calendario. Agencia Extremeña de Evaluación Educativa 19

20 La aplicación de las pruebas en esta fase la realizó un equipo de la Universidad de Extremadura formado por profesores y titulados en psicopedagogía que fueron preparados al efecto para dicha aplicación. La coordinación y preparación de este grupo, así como los análisis de los ítems y su selección definitiva, estuvo a cargo de dos profesores de la Facultad de Educación del área de Métodos de Investigación y Diagnóstico en Educación. La corrección de las pruebas en esta fase y la organización del proceso la llevó a cabo la AEEE. La aplicación experimental se realizó desde el 31 de enero hasta el 15 de febrero de 2011, ambos incluidos. Cada una de las competencias fue evaluada utilizando las modalidades A y B y semanas diferentes. La aplicación comenzaba en la primera hora de la mañana, estableciéndose dos sesiones de trabajo con descansos intermedios para evitar la fatiga del alumnado. El procedimiento de puntuación de cada ítem estuvo apoyado por las plantillas de corrección de los mismos, que fueron diseñadas por la Comisión Técnica, en el momento de la elaboración de los ítems. Una vez corregidas las pruebas se pasaron a una plantilla numérica para su análisis. En dicha plantilla, las filas corresponden a cada uno de los alumnos y alumnas y las columnas a cada uno de los ítems que componen las pruebas. Antes del análisis se procedió a realizar un estudio descriptivo con objeto de depurar los datos y posibles errores ocurridos en el proceso de tabulación. El análisis realizado tuvo el propósito de identificar las características psicométricas de los ítems con el fin de seleccionar los más idóneos para la evaluación diagnóstica. Para ello se utilizaron criterios de la Teoría Clásica de los Test, como son los índices de dificultad y homogeneidad de cada uno de los ítems. Mediante la selección de los ítems de mejor calidad se obtuvieron pruebas diagnósticas con garantías científicas globales de objetividad, validez y fiabilidad. Agencia Extremeña de Evaluación Educativa 20

21 Fase 4: Elaboración de pruebas definitivas A partir del análisis de los ítems de la fase de aplicación y corrección experimental se tomaron decisiones sobre la composición final de las pruebas, el orden de los ítems en las mismas y el formato de presentación de la prueba. La selección de los ítems se llevó a cabo atendiendo a los siguientes criterios: - En función de la dificultad, se seleccionaron aquellos ítems con índices de dificultad entre 0,25 y 0,75. Se eliminaron aquellos muy difíciles (<0,25) y muy fáciles (>0,75) y además se seleccionaron en mayor medida ítems de dificultad media; es decir, aquellos cuyos índices de dificultad se situaron entre 0,40 y 0,60. No obstante, la selección de ítems fáciles (>0,60) dio la oportunidad de responder correctamente a gran parte del alumnado, al menos en estos ítems, mientras que la dificultad de algunos ítems (<0,40) permitieron discriminar mejor a los sujetos con altos niveles de competencia. - Atendiendo a la homogeneidad, se seleccionaron aquellos ítems que más correlacionan con la prueba, una vez que se elimina el efecto de este ítem. Precisamente, los ítems más homogéneos son también los más discriminativos y los que proporcionan una mayor fiabilidad de la prueba en su conjunto. - Cubrir las dimensiones y destrezas evaluadas. Se procuró que los ítems de mejor calidad tuvieran una distribución equilibrada en las dimensiones evaluadas en cada competencia, y la ponderación determinada en cada destreza y evitar así una concentración de ítems en una sola dimensión o destreza en su caso. Esto se puede apreciar en la tabla de especificaciones en la que se señalan los ítems correspondientes a cada dimensión y destreza. Las pruebas definitivas constaron de 20 ítems, y el tiempo total dedicado a responder cada prueba fue de 90 minutos, divididos en dos sesiones de 45 minutos entre las que hubo un descanso de 5 minutos hacia la mitad de la prueba. Agencia Extremeña de Evaluación Educativa 21

22 La estructura de cada una de las pruebas diagnósticas en función de las dimensiones y, en su caso destrezas, fue la siguiente: COMPETENCIA EN COMUNICACIÓN LINGÜÍSTICA EDUCACIÓN PRIMARIA DIMENSIONES Y ELEMENTOS Dimensión 1 Comprender textos orales Ítems Capta el sentido global del texto. 1 Elementos Comprende el vocabulario básico del texto oral. 3 Reconoce las ideas principales y las secundarias. 4 Extrae información de textos orales. 2 Dimensión 2 Comprender textos escritos Identifica la idea principal o general de un texto. 11 Comprende las relaciones entre las ideas de un texto. 6 y 12 Realiza inferencias a partir de la información escrita. 7, 13 y 15 Elementos Relaciona el contenido de un texto con el conocimiento y las ideas previas. 14 y 19 Relaciona la forma de un texto con la actitud e intención del autor o autora. 16 Reconoce y comprende los rasgos característicos de los diversos tipos de textos literarios y no 17 literarios. Dimensión 3 Expresarse por escrito Conoce y reconoce un vocabulario básico y su uso funcional. 5 Comprende la variabilidad del lenguaje y las formas de comunicación a través del tiempo y en diferentes ámbitos geográficos, sociales y 9 comunicativos. Elementos Escribe distintos tipos de textos con diferentes propósitos, controlando los distintos 10 y 18 componentes que forman parte de la escritura. Usa recursos para producir textos relacionados complejos de la escritura. 20 Distingue la información relevante de la no relevante a la hora de expresarse por escrito. 8 Agencia Extremeña de Evaluación Educativa 22

23 EDUCACIÓN SECUNDARIA DIMENSIONES Y ELEMENTOS Dimensión 1 Comprender textos orales Ítems Capta el sentido global del texto. 1 Comprende el vocabulario básico de un texto Elementos oral. 4 Reconoce las ideas principales y las secundarias. 2 Extrae información de los textos orales. 3 Dimensión 2 Comprender textos escritos Identifica la idea principal o general de un texto. 12 y 15 Comprende las relaciones entre las ideas de un texto. 6, 11 y 16 Realiza inferencias a partir de la información escrita. 14 Elementos Relaciona el contenido de un texto con el conocimiento y las ideas previas. 9 Relaciona la forma de un texto con la actitud e intención del autor o autora. 5 y 13 Reconoce y comprende los rasgos característicos de los diversos tipos de textos literarios y no 7 literarios. Dimensión 3 Expresarse por escrito Conoce y reconoce un vocabulario básico y su uso funcional. 20 Comprende la variabilidad del lenguaje y las formas de comunicación a través del tiempo y en diferentes ámbitos geográficos, sociales y 8 y 19 comunicativos. Elementos Escribe distintos tipos de textos con diferentes propósitos, controlando los distintos 17 componentes que forman parte de la escritura. Usa recursos para producir textos relacionados complejos de la escritura. 18 Distingue la información relevante de la no relevante a la hora de expresarse por escrito. 10 Agencia Extremeña de Evaluación Educativa 23

24 COMPETENCIA MATEMÁTICA EDUCACIÓN PRIMARIA DIMENSIONES Y ELEMENTOS Dimensión 1 Producir e interpretar informaciones, tomando decisiones a partir de los datos disponibles Identifica el significado de la información numérica y simbólica. Ordena información utilizando procedimientos matemáticos. Elementos Comprende la información presentada en un formato gráfico. Elabora gráficos, cuadros, tablas y diagramas a partir de datos derivados de una situación cotidiana. Dimensión 2 Expresión matemática a partir de la identificación de aspectos cuantitativos y espaciales de la realidad Se expresa utilizando vocabulario y símbolos matemáticos básicos. Utiliza formas adecuadas de representación según el propósito y naturaleza de la situación. Elementos Expresa correctamente resultados obtenidos al resolver problemas. Justifica resultados expresando argumentos con base matemática. Dimensión 3 Plantear y resolver problemas relacionados con la vida diaria y el mundo laboral Traduce las situaciones reales a esquemas o estructuras matemáticas. Valora la pertinencia de diferentes vías para resolver problemas con criterios matemáticos en cada caso las estrategias adecuadas. Elementos Selecciona los datos apropiados para resolver un problema. Utiliza con precisión procedimientos de cálculo, fórmulas y algoritmos para la resolución de problemas. Ítems 17 1 y y , 14 y y y 15 2 y 7 13 y 16 EDUCACIÓN PRIMARIA DESTREZAS Ítems Reproducción 4, 7, 8, 12, 14, 18 y 20 Conexión 2, 3, 6, 9, 10, 11, 15, 16, 17 y 19 Reflexión 1, 5 y 13 Agencia Extremeña de Evaluación Educativa 24

25 EDUCACIÓN SECUNDARIA DIMENSIONES Y ELEMENTOS Dimensión 1 Producir e interpretar informaciones, tomando decisiones a partir de los datos disponibles Elementos Identifica el significado de la información numérica y simbólica. Ordena información utilizando procedimientos matemáticos. Comprende la información presentada en un formato gráfico. Elabora gráficos, cuadros, tablas y diagramas a partir de datos derivados de una situación cotidiana. Dimensión 2 Expresión matemática a partir de la identificación de aspectos cuantitativos y espaciales de la realidad Se expresa utilizando vocabulario y símbolos matemáticos básicos. Utiliza formas adecuadas de representación según el propósito y naturaleza de la situación. Elementos Expresa correctamente resultados obtenidos al resolver problemas. Justifica resultados expresando argumentos con base matemática. Dimensión 3 Plantear y resolver problemas relacionados con la vida diaria y el mundo laboral Traduce las situaciones reales a esquemas o estructuras matemáticas. Valora la pertinencia de diferentes vías para resolver problemas con criterios matemáticos, seleccionando en cada caso las estrategias adecuadas. Elementos Selecciona los datos apropiados para resolver un problema. Utiliza con precisión procedimientos de cálculo, fórmulas y algoritmos para la resolución de problemas. Ítems 8 6 y y y y y y 10 1, 5 y 16 EDUCACIÓN SECUNDARIA DESTREZAS Ítems Reproducción 1, 4, 6, 16 y 17 Conexión 2, 3, 5, 7, 8, 9, 10, 12, 14, 18, 19 y 20 Reflexión 11, 13 y 15 Agencia Extremeña de Evaluación Educativa 25

26 Las garantías científicas de calidad están representadas globalmente por la fiabilidad, validez y objetividad de las pruebas en la aplicación experimental a partir de los resultados obtenidos en los análisis. a. La fiabilidad de la prueba hace referencia a la precisión de la medida. El estadístico de fiabilidad utilizado fue el valor Alfa de Cronbach y, desde el punto de vista técnico, una prueba es bastante fiable cuando su coeficiente se sitúa entre 0,80 y 0,90 sobre un máximo de 1,00. b. La validez de una prueba hace referencia a su significatividad; es decir, si evalúa realmente aquello para lo que fue construida. La validez de la prueba se obtuvo a partir de un doble sistema: la validez de contenido y la validez de criterio. La validez de contenido representa al propio contenido de los ítems, y dado que fue elaborada por expertos, este hecho permite suponer su adecuación para medir aquello que pretende medir. Por otro lado, uno de los criterios externos más utilizados en la validación de una prueba es la valoración o juicio del profesorado, puesto que éste tiene un conocimiento real del rendimiento de su alumnado en distintos ámbitos. Para comprobar la validez criterial de la prueba, cada uno de los maestros y profesores del alumnado evaluado en la fase experimental valoraron el rendimiento de cada alumno y alumna, sin conocer la puntuación obtenida en las pruebas, y asignaron a cada uno de ellos una puntuación de 1 a 4 según el nivel de consecución de los objetivos durante el curso. Esta valoración corresponde a la siguiente clasificación: 1) No consigue los objetivos previstos; 2) consigue los objetivos aunque para ello necesita un poco de ayuda; 3) consigue los objetivos previstos según lo esperado; 4) sobrepasa los objetivos previstos. Una vez que se dispuso de la puntuación del sujeto en la prueba con los 20 ítems seleccionados, se calculó el coeficiente de correlación de Pearson entre la valoración del docente y la puntuación obtenida. La interpretación que hacemos de cada uno de los coeficientes de correlación obtenidos indican que las cuatro pruebas son muy válidas; esto es, existe una adecuada concordancia entre la valoración del profesor y la puntuación total obtenida en cada competencia básica evaluada. Desde el punto de Agencia Extremeña de Evaluación Educativa 26

27 vista cuantitativo, se observa que todos los coeficientes de correlación tienen un valor de significación inferior al 0,001, que es el indicador de una relación significativa. c. La objetividad en la puntuación fue comprobada mediante un sistema de doble corrección. Para constatarlo, se seleccionaron aleatoriamente 40 alumnos y alumnas (20 de primaria y 20 de secundaria en cada una de las competencias evaluadas) y se efectuó una segunda corrección de las pruebas aunque, en este caso, por correctores diferentes a los que corrigieron la primera vez. Se comprobó que las puntuaciones otorgadas en la primera corrección eran muy similares en la segunda corrección. El grado de relación entre ambas correcciones queda expresado matemáticamente por el coeficiente de correlación de Pearson, que será muy elevado cuando supere el valor de 0,90 (hipotéticamente, la correlación perfecta es 1,00). Desde el punto de vista formal, se tuvieron en cuenta las características de los destinatarios, tanto en el lenguaje utilizado en la redacción de los ítems así como en las instrucciones de aplicación y en el diseño. En este sentido, se elaboró un cuaderno del alumno con un diseño atractivo y motivador en relación con el tipo y tamaño de la letra, márgenes, ilustraciones y espacios para las respuestas. En cuanto a la puntuación, y para facilitar la interpretación se transformó la escala original que permitía puntuaciones de los sujetos entre 0 y 40, en una escala transformada con una media de y una desviación típica de 100, tal y como se ha hecho en otros estudios nacionales e internacionales. Además, se comprobó en la aplicación experimental que la distribución de puntuaciones se ajustaba a la Curva normal o campana de Gauss, dividiéndose ésta en cuatro intervalos correspondientes a los cuatro niveles de competencias básicas establecidos. Teniendo en cuenta este hecho, el eje central de la curva deja dos intervalos a la derecha que son los niveles medio-alto (43,5%) y alto de las puntuaciones (6,5%) y dos a la izquierda, que son los niveles medio-bajo (43,5%) y bajo (6,5%). Estos números expresan, de manera aproximada, el porcentaje de sujetos que previsiblemente integrarán cada uno de los cuatro niveles de desarrollo de competencias básicas en los resultados censales. Agencia Extremeña de Evaluación Educativa 27

28 Fase 5. Aplicación y corrección de las pruebas Con fecha 5 de abril de 2011 la Dirección General de Política Educativa emitió sendas Instrucciones por las que se regula la Evaluación de Diagnóstico en los centros de Educación Primaria/Secundaria de la Comunidad Autónoma de Extremadura para el curso 2010/2011 que establecen el proceso. Las pruebas se realizaron los días 4 y 5 de mayo en Primaria, y el día 10 en Secundaria, aplicándose en primer lugar la prueba de la Competencia matemática y, a continuación, la Competencia en comunicación lingüística. MATERIALES PARA LA APLICACIÓN La aplicación de las pruebas diagnósticas de competencias básicas en comunicación lingüística y matemática necesitó los siguientes materiales complementarios: Cuadernillo del alumno para cada una de las competencias. Pruebas adaptadas a necesidades visuales, auditivas o motoras, en su caso. Manuales de aplicación y pautas de corrección para los encargados de llevarlas a cabo. Grabaciones en audio de los textos que fueron reproducidos mediante dispositivos existentes en los centros. Calculadora para cada alumno de educación secundaria que realizaba la prueba de competencia matemática. Lápices de colores y regla para cada alumno de educación primaria que realizaba la prueba de competencia matemática. La aplicación censal de las pruebas diagnósticas requirió del diseño de unas Pautas de Aplicación por etapa para que fueran cumplidas por los aplicadores. Agencia Extremeña de Evaluación Educativa 28

29 CORRECCIÓN La corrección de las pruebas se llevó a cabo por los maestros y profesores del centro, designados por la dirección por su idoneidad para corregir la prueba, siguiendo los criterios de puntuación establecidos. Posteriormente, los resultados se volcaron en la aplicación informática dispuesta en la plataforma RAYUELA para su análisis. Para comprobar la objetividad de la corrección, la Orden que regula la evaluación de diagnóstico prevé una muestra de contraste regulada por las Instrucciones que, al respecto, emitió la Dirección General de Política Educativa. Esta muestra, con un aplicador y corrector externo al centro, se hizo en los centros que la Agencia Extremeña de Evaluación Educativa seleccionó con los criterios que recogen las siguientes tablas: EDUCACIÓN PRIMARIA Provincia Tipo de centro Total Concertado CEIP CRA Cáceres Badajoz Total SEGMENTACIÓN SEGÚN ÁMBITO POBLACIONAL Localidades de menos de habitantes 15 Localidades de más de habitantes 5 Total 20 EDUCACIÓN SECUNDARIA Provincia Tipo de centro Total Concertado IES IESO Cáceres Badajoz Total SEGMENTACIÓN SEGÚN ÁMBITO POBLACIONAL Localidades de menos de habitantes 12 Localidades de más de habitantes 8 Total 20 Agencia Extremeña de Evaluación Educativa 29

30 INTERPRETACIÓN DE LAS PUNTUACIONES Los resultados de las pruebas diagnósticas ofrecen información sobre el nivel alcanzado por el alumnado en cada competencia. Se establecieron cuatro niveles competenciales que se obtienen a partir de las puntuaciones transformadas en una escala cuyo promedio es de y su desviación típica es 100. Puntuación transformada = + (Puntuación Directa Puntuación Media) x 100 Desviación Típica 1 Se muestran las descripciones de cada uno de los niveles en cada etapa y en cada una de las competencias evaluadas: PRIMARIA NIVELES DE COMPETENCIA EN COMUNICACIÓN LINGÜÍSTICA Posee un desarrollo elevado de los elementos de la competencia en comunicación lingüística en los ámbitos de la comprensión oral y escrita, y 4 en la expresión escrita, teniendo en cuenta la edad del alumno. En este nivel se encuentra el alumnado que aplica los elementos de competencia adquiridos de forma precisa y creativa. Está desarrollando normalmente los elementos de esta competencia; aunque presente algunas deficiencias, puede afirmarse que comprende el sentido global tanto de textos orales como escritos y reconoce lo más relevante, es capaz de manejar un vocabulario básico, de resumir un texto 3 sencillo, de extraer información de distintos tipos de textos en ámbitos adecuados a su edad, de realizar pequeñas narraciones o descripciones sobre temas cotidianos y elaborar sencillos comentarios de valoración atendiendo al contenido de los textos. Desarrolla parcialmente algunos elementos de esta competencia, presenta indicadores sobre la posibilidad inmediata de desarrollar esta competencia en niveles acorde con su edad; extrae determinadas informaciones de textos escritos y orales, aunque no todas las que se solicitan y, 2 probablemente, no las más relevantes; realiza interpretaciones y valoraciones parciales del contenido de un texto; elabora síntesis incompletas; respeta algunas convenciones ortográficas y de puntuación, aunque presenta errores. Tiene importantes déficits en el desarrollo de los elementos de la 1 competencia en comunicación lingüística, que impiden al alumno aplicarlos para responder con acierto a diferentes situaciones escolares o cotidianas. 1 Es la medida de dispersión más utilizada en las investigaciones por ser la más estable de todas, ya que para su cálculo se utilizan todos los desvíos con respecto a la media aritmética de las observaciones, y además, se toman en cuenta los signos de esos desvíos. Cuanto más pequeña sea la desviación típica mayor será la concentración de datos alrededor de la media. Agencia Extremeña de Evaluación Educativa 30

31 PRIMARIA NIVELES DE COMPETENCIA MATEMÁTICA Presenta un alto desarrollo de la competencia en los terrenos de producción e interpretación de información; en la expresión matemática y en el planteamiento y resolución de problemas relacionados con la vida diaria. Ordena la información de manera precisa, utilizando procedimientos matemáticos. Plantea y resuelve problemas traduciendo situaciones reales a esquemas matemáticos. Selecciona los datos adecuados para resolver un problema. Muestra un nivel de competencia en desarrollo. Utiliza formas adecuadas para presentar la información, capacidad limitada para plantear problemas traduciendo situaciones reales a esquemas matemáticos; ejecuta incorrectamente las operaciones y comete errores en la ordenación de la información. Tiene importantes déficits en cuanto al desarrollo de la competencia matemática, que impiden al alumno aplicarla para responder con acierto a las diferentes situaciones de la vida cotidiana que se le planteen dentro o fuera del ámbito escolar. Agencia Extremeña de Evaluación Educativa 31

32 SECUNDARIA NIVELES DE COMPETENCIA EN COMUNICACIÓN LINGÜÍSTICA El alumno situado en este nivel está logrando un alto desarrollo de la competencia en comunicación lingüística en los ámbitos de la comprensión oral y escrita, y en la expresión escrita. Capta las ideas principales y secundarias de textos orales y escritos de diferente nivel de formalización, comprende las relaciones entre las partes de un texto, 4 identificando su estructura; es capaz de interpretar y valorar textos relacionados con la vida escolar y cotidiana, atendiendo no sólo a elementos de contenido, sino también de la estructura y forma de los textos. Además, es capaz de utilizar un vocabulario relativamente amplio y aplicar correctamente las reglas morfosintácticas y ortográficas. Muestra un desarrollo normal de los distintos elementos de competencia definidos, aunque se puedan observar algunas posibles deficiencias que deben ser objeto de mejora. El alumnado situado en este nivel presenta un desarrollo normal de la comprensión y la expresión. Extrae sin 3 dificultad las ideas principales de un texto y aplica su conocimiento sobre la lengua para comprender las situaciones que se le proponen y para su expresión. Es mejorable su desarrollo competencial en producción de textos: cohesión sintáctica, precisión semántica, corrección ortográfica; así como en la interpretación y valoración de determinados textos. Desarrolla parcialmente algunos elementos de esta competencia. Se observan dificultades en la adquisición de esta competencia, aunque presenta indicadores sobre las posibilidades reales de desarrollar normalmente todos los elementos de esta competencia: extrae 2 determinadas informaciones de textos escritos y orales, aunque no todas las que se solicitan y, probablemente, no las más relevantes, realiza interpretaciones y valoraciones parciales del contenido de un texto, elabora síntesis incompletas, respeta algunas convenciones ortográficas y de puntuación, aunque presenta errores. Tiene importantes déficits en el desarrollo de los elementos de la competencia en comunicación lingüística, que impiden al alumno 1 aplicarlos para responder con acierto a diferentes situaciones escolares o cotidianas. Agencia Extremeña de Evaluación Educativa 32

33 SECUNDARIA NIVELES DE COMPETENCIA MATEMÁTICA Presenta un alto desarrollo de la competencia. Identifica el significado de la información numérica y simbólica, ordenándola con procedimientos matemáticos y comprendiéndola cuando se presenta en un formato gráfico en los distintos ámbitos. Expresa correctamente los resultados obtenidos al resolver problemas, valorando la pertinencia de diferentes vías de solución y justifica los resultados. El alumno ha alcanzado de forma satisfactoria aunque mejorable los distintos elementos de la competencia. Ordena y comprende la información presentada en un formato gráfico en prácticamente todas las situaciones. Demuestra capacidad suficiente para plantear y resolver problemas cotidianos mediante procedimientos matemáticos, justificando los resultados. Muestra un desarrollo parcial deficiente de la competencia, aunque parte de un nivel aceptable para su desarrollo. Resuelve con acierto parcial algunas situaciones en las que se requiere plantear e interpretar información, expresar matemáticamente aspectos de la vida cotidiana y plantear y resolver problemas contextualizados. Tiene importantes déficits en el desarrollo de la competencia matemática, que impiden al alumno aplicarla para responder con acierto a las diferentes situaciones de la vida cotidiana que se le plantean dentro o fuera del ámbito escolar. Agencia Extremeña de Evaluación Educativa 33

34 Agencia Extremeña de Evaluación Educativa 34

35 III. CONTEXTO Se considera contexto el conjunto de circunstancias y realidades personales, sociales, escolares y comunitarias en las que se desenvuelve el alumnado. La situación o el contexto en el que se encuentra un alumno es factor determinante en su educación. Como han puesto de manifiesto estudios nacionales e internacionales de evaluación, el grado de adquisición de las competencias básicas por el alumnado tiene relación con el estatus social, económico y cultural de las familias. Por ello, la relación entre el ISEC (índice socioeconómico y cultural) y el rendimiento del alumnado se puede interpretar como una medida más de la equidad del sistema educativo. Una relación baja indica que el sistema reproduce en menor grado en los resultados las diferencias socioeconómicas y culturales entre las familias de los alumnos y, por tanto, es más equitativo que otro sistema en el que estas diferencias se reproduzcan en mayor grado. Una de las conclusiones de PISA 2000 es que la composición social de la población de estudiantes de una escuela es mejor predictor del rendimiento de los alumnos que el entorno social individual. Precisamente por esto, el ISEC de cada centro está construido como el resultado de la aportación del ISEC de cada uno de los alumnos que han realizado la evaluación de diagnóstico, y es común para todos. Fuertemente asociado al concepto de ISEC y al de calidad educativa se desarrolla el concepto de valor añadido de un centro. Se considera que un centro educativo añade valor cuando el alumnado supera el rendimiento esperado en función de su situación escolar y socioeconómica. El valor añadido describe la diferencia entre el logro académico obtenido y el esperado, teniendo en cuenta las características de los estudiantes y del contexto, y es fundamental para evaluar su calidad, puesto que va más allá de la mera comparación directa de los resultados obtenidos por los centros. Para construir el ISEC, seleccionamos aquellas variables socio-familiares que se consideran más relevantes. Partiendo del cuestionario cumplimentado por las familias y teniendo como criterios de selección los siguientes: Agencia Extremeña de Evaluación Educativa 35

36 Que hagan directamente referencia al contexto en el que se desenvuelve la familia. Que sean las mismas variables tanto en primaria como en secundaria. Que no haya un excesivo número de valores perdidos. Que el conjunto de variables seleccionadas estén relacionadas con el rendimiento competencial del alumnado tanto en primaria como en secundaria. Se obtienen índices diferenciados para cada una de las etapas. Las 9 variables seleccionadas para la construcción del ISEC fueron las siguientes: Nº VARIABLE CUESTIONARIO A B A B DESCRIPCIÓN DE LA VARIABLE Perfil profesional de la madre o tutora legal Perfil profesional del padre o tutor legal Nivel educativo más alto que ha finalizado la madre o tutora Nivel educativo más alto que ha finalizado el padre o tutor Número de libros que hay en casa (sin contar revistas, libros juveniles o de texto) 8 Número de libros juveniles sin contar libros de texto o revistas 11 Durante una semana, cuánto tiempo dedican ustedes a la lectura en casa? 12E 13 Indicar hasta que punto se está de acuerdo con la afirmación: leer es una actividad importante en mi casa Aproximadamente, cuánto tiempo dedica su hijo o hija en casa, a hacer los deberes y estudiar cada día? Tras un proceso de análisis factorial de los datos se obtiene el ISEC de cada centro educativo de la Comunidad Autónoma de Extremadura. Una vez se dispone de una puntuación que resume el ISEC de cada centro, ésta se emplea para corregir el resultado absoluto del alumnado en una prueba de rendimiento académico. Esta corrección se lleva a cabo para intentar responder una cuestión capital dentro de los estudios sobre sistemas educativos: puede un centro lograr resultados más allá de lo esperado según los antecedentes sociológicos del alumnado que escolariza? Agencia Extremeña de Evaluación Educativa 36

37 IV. LA EVALUACIÓN DE DIAGNÓSTICO EN RAYUELA Para una mejor gestión y seguimiento de la evaluación de diagnóstico, y como sucede en otros procesos educativos, la plataforma Rayuela ha dado soporte a los distintos procedimientos que ésta comprende, desde la distribución del material hasta la emisión de los informes. Las actuaciones realizadas pueden dividirse en tres grupos: anteriores a la aplicación de las pruebas, entre la aplicación y la emisión de informes y la publicación de informes. El correo interno de la Plataforma Rayuela ha sido la principal vía de comunicación entre la AEEE y los centros públicos y concertados; en el caso de los centros privados se ha utilizado el correo electrónico corporativo. De esta forma, dicha plataforma, ha sido un instrumento muy útil en las tres etapas del proceso. Agencia Extremeña de Evaluación Educativa 37

38 IV.1. Actuaciones anteriores a la aplicación de las pruebas Reunión de la AEEE con los responsables de la empresa adjudicataria del proyecto donde se fijaron las actuaciones, los responsables de las mismas y el calendario necesario para conseguir que las pruebas se aplicaran en los tiempos que previamente se habían fijado en el calendario escolar para el curso En la misma reunión, y con responsables de la Plataforma Rayuela, se les trasladaron a la empresa accesos específicos a la Plataforma que permitieron llevar un mejor control tanto de la entrega del material, como de las posibles incidencias surgidas para su pronta subsanación. Este seguimiento se lleva a cabo de forma paralela por la empresa y la AEEE. La información que se debe gestionar, así como las posibles incidencias en el proceso, quedan reflejadas en las siguientes pantallas de la Plataforma: Agencia Extremeña de Evaluación Educativa 38

39 La AEEE, por primera vez en esta edición de la Evaluación de diagnóstico, ha supervisado las distintas situaciones del alumnado destinatario de la evaluación: alumnos matriculados en 4º de E.P. y 2º de E.S.O. sin necesidad de adaptación; alumnos con necesidad de adaptación del instrumento de evaluación (cuadernos de las dos competencias adaptados a discapacidad visual, auditiva o motora); y alumnos objeto de estudio diferenciado (alumnos con adaptación curricular individual significativa global o alumnos extranjeros que llevan menos de un año escolarizados en España). Los Equipos de Orientación en Primaria y los Departamentos de Orientación en Secundaria son los competentes para fijar los niveles de competencia curricular correspondientes a los alumnos del tercer grupo y reflejarlos en la Plataforma. Previamente a la aplicación de las pruebas, la AEEE ha puesto en marcha todas las actuaciones necesarias con el objetivo de poder contar para todos estos alumnos con esta información imprescindible, punto de partida del análisis de sus resultados. Agencia Extremeña de Evaluación Educativa 39

40 Las Pautas de Aplicación de las dos etapas estuvieron disponibles en Rayuela con la suficiente antelación en la ruta: Manuales /Centro /Evaluación de Diagnóstico /Pautas de Aplicación Primaria /Secundaria. IV.2. Actuaciones entre la aplicación y la emisión de informes En el perfil del Director/a y en la ruta Manuales /Centro /Evaluación de Diagnóstico /Pautas de Corrección, los centros tuvieron a su disposición el documento inmediatamente después de la aplicación de las pruebas. Los profesores correctores, previamente designados por el Director, introducen los resultados de las pruebas. Agencia Extremeña de Evaluación Educativa 40

41 La AEEE llevó a cabo un seguimiento del volcado de los resultados en Rayuela con el objetivo de que, a la finalización del plazo establecido en las Instrucciones, la totalidad de los centros tuvieran reflejados sus resultados, requisito imprescindible para la emisión de los Informes. Al finalizar la actuación anterior, la AEEE, a través del correo interno de Rayuela, puso a disposición de los centros una herramienta que permite obtener una primera impresión del nivel de adquisición de las competencias evaluadas en el alumnado del centro, teniendo en cuenta que estos datos eran resultados directos de los alumnos sin la enriquecedora contextualización de los mismos que permite situar al alumno, al grupo y al centro respecto a la comunidad autónoma y respecto a los centros de su mismo contexto socioeconómico y cultural. Los Manuales de uso de esta herramienta se encuentran disponibles en la ruta: Manuales /Centro /Evaluación de diagnóstico /Avance de resultados /Manual de uso (modelo OpenOffice o Microsoft Excel). Agencia Extremeña de Evaluación Educativa 41

42 Paralelamente, los/as Directores/as consignaron en la Plataforma que los cuestionarios de contexto estaban disponibles, una vez cumplimentados por las familias. A su vez la empresa comunicó al centro la fecha de recogida. La AEEE llevó a cabo un seguimiento de todo el proceso resolviendo las incidencias surgidas. IV.3. Publicación de informes La Plataforma Rayuela facilita la consulta y el acceso a la información resultante del proceso. Así, los centros pueden generar automáticamente los siguientes informes: del alumno para la familia, del alumno para el centro, del grupo y del centro, por cada una de las competencias. A continuación se expone un ejemplo de cada uno de los informes que se generan. Agencia Extremeña de Evaluación Educativa 42

43 o Resultado de la evaluación de diagnóstico del alumno (para la familia). En este informe aparece el nivel de adquisición de cada una de las dimensiones de la competencia por el alumno (ponderadas según su contexto), el porcentaje de adquisición de cada dimensión (que se obtiene a partir de la puntuación directa obtenida por el alumno en los ítems que evalúan cada dimensión) y unas sugerencias de líneas de trabajo en aquellas dimensiones que el alumno tiene menos desarrolladas (por debajo o igual al 75%). El informe pretende ser útil para la familia por presentar de una forma detallada la situación del alumno, lo que permite detectar fácilmente los déficits y colaborar en corregirlos, trabajando en la línea de las sugerencias que contiene. Agencia Extremeña de Evaluación Educativa 43

44 o Resultado de la evaluación de diagnóstico del alumno (para el centro). En este informe, además de los datos que aparecen en el anterior modelo de informe, se reflejan la puntuación contextualizada del alumno y su situación con respecto al grupo y al centro. Agencia Extremeña de Evaluación Educativa 44

45 o Resultado de la evaluación de diagnóstico del grupo (para el centro). El informe refleja la situación del grupo contextualizada, el nivel de desarrollo de las distintas dimensiones, la situación con respecto al centro y las sugerencias de líneas de trabajo para todas las dimensiones de la competencia. La última parte tiene como objetivo fundamental abundar en el carácter formativo que tiene la evaluación de diagnóstico y pretende orientar al tutor, y al equipo docente, en las líneas de trabajo que son necesarias poner en marcha para conseguir elevar el nivel de adquisición de la competencia evaluada por parte del alumnado. Agencia Extremeña de Evaluación Educativa 45