Jornadas de Evaluación Educativa: Estudios internacionales

Transcripción

1 Jornadas de Evaluación Educativa: Estudios internacionales Instituto Nacional de Evaluación Educativa, MECD

2 Web del INEE. Instituto Nacional de Evaluación Educativa Puedes encontrarnos en la red en

3 Recursos abiertos y disponibles RECURSOS PARA EL PROFESORADO 3

4 1º RECURSOS PARA EL PROFESORADO 2º Ítems liberados de pruebas de evaluación y otros recursos 4

5 RECURSOS PARA EL PROFESORADO 5

6 Curso evaluaciones externas internacionales próxima edición en octubre 2014

7 Otras Informaciones Congreso TALIS Junio en colaboración con Consejo Escolar del Estado. Posibilidad de seguirlo Presencialmente: C/ San Marcos, 40 Madrid Vía Streaming Presentación de PISA Competencia Financiera 9 de julio Presentación de TALIS - PISA Link Diciembre de 2014 En breve toda la información en la Web

8 Has visto que prueba han hecho? A quién se le habrá ocurrido? Mira este ítem. Qué barbaridad!

9 Evaluaciones Internacionales del Sistema Educativo EVALUACIONES EDUCATIVAS Competencias y habilidades para la vida Currículo LO DESEABLE DE UN SISTEMA EDUCATIVO Evaluación

10 Evaluaciones Internacionales del Sistema Educativo EVALUACIONES EDUCATIVAS Competencias y habilidades para la vida Currículo Evaluación LO OBSERVADO CON UNA PRUEBA DE EVALUACIÓN

11 Qué resultados obtiene España en PISA? 11

12 Principales características del estudio PISA Qué se evalúa? Temporalización: Formato de prueba: Áreas de evaluación: Participación de España en PISA CBA: Conocimientos y destrezas de los alumnos de 15 años en las áreas de matemáticas, lectura y ciencias Evaluación cada tres años (PISA 2000 PISA 2012) Impresa en papel Por ordenador (PISA CBA) PISA en papel: Matemáticas Lectura Ciencias PISA CBA (Computer Based Assessment) Resolución de problemas Lectura en formato digital Matemáticas en formato digital 181 Centros Educativos participantes (muestra estatal) Elección aleatoria de una sub-muestra de 14 alumnos entre los 35 seleccionados en cada centro escolar En 2009 España, junto con otros 15 países de la OCDE, participó en la prueba ERA (Electronic Reading Assessment), o Evaluación de la Lectura Digital En 2015 la prueba PISA se implementará exclusivamente por ordenador 12

13 Marco teórico de resolución de problemas Contexto Naturaleza Procesos Tecnológico / No tecnológico Personal / Social Interactiva: no se encuentra toda la información; hay parte que se debe descubrir para explorar la situación Estática: toda la información está disponible desde un principio Explorar y comprender: La información en el problema Representar y formular: De forma gráfica, simbólica o verbal la situación y elaborar hipótesis sobre la relación diferentes elementos Planificar y ejecutar: Elaborar unos con objetivos, identificar y ejecutar una serie de pasos para lograr los mismos Controlar y reflexionar: Seguimiento de la información y reflexionar sobre la solución o estrategia 13

14 Programa para la Evaluación Internacional de los Alumnos (PISA 2012) Ejemplo de un ítem de PISA 2012, Resolución de Problemas 14

15 Programa para la Evaluación Internacional de los Alumnos (PISA 2012) Resultados en PISA 2012 Resolución de Problemas Corea del Sur Un alumno medio español de 15 años sería capaz Japón de interpretar en un mapa de carreteras la ruta En más resolución corta cuando de problemas España obtiene 477 puntos, el tiempo de cada itinerario viene dado. 23 puntos menos que el podría seleccionar de un desplegable cuál es el mejor punto de promedio de la OCDE. encuentro para tres personas que viven en lugares diferentes, Canadá teniendo Finlandia en cuenta Australia diferentes condiciones (p. ej., hora de salida, climatología, etc.); La puntuación de España la comprar el billete más barato, combinando metro/autobús ubica en el nivel y tren 2 en la escala de resolución de una ciudad en la que nunca ha estado. problemas. Reino Unido Estonia Países Bajos Francia Italia República Checa Alemania EEUU Bélgica 505 Austria Noruega OCDE Dinamarca Irlanda Portugal Sin embargo, tendría Suecia dificultades para cotidianos como Hungría un mp3, un robot aspiradora o el termostato del Israel Turquía Chile En el nivel 2, los alumnos son capaces de abordar situaciones fuera del ámbito familiar, pero necesitan orientación para encontrar la solución. comprar la combinación Eslovaquia de billetes anteriores si surgieran Polonia complicaciones Eslovenia España como perder uno de los medios de transporte, tener que pagar una penalización, retrasos, etc.; entender y programar aparatos electrónicos complejos aunque aire acondicionado/calefacción. PUNTUACIÓN COMPETENCIAS PISA 2012 Ciencias 496 Lectura 488 Matemáticas 484 Resolución de problemas 477 Matemáticas por Ordenador 475 Lectura por ordenador 466 Significativamente superior al Promedio OCDE No difiere significativamente del Promedio OCDE Significativamente inferior al Promedio OCDE 15

16 Definición de los niveles de rendimiento Escala de resolución de problemas 16

17 Programa para la Evaluación Internacional de los Alumnos (PISA 2012) Resultados en PISA 2012 Resolución de problemas por niveles de rendimiento En España el 7,8% de los alumnos alcanzan los niveles de excelencia en resolución de problemas. Corea del Sur Japón Canadá Australia Finlandia Bélgica Reino Unido Países Bajos Noruega Alemania Francia República Checa Estonia Estados Unidos OCDE Austria Italia Irlanda Israel Suecia Dinamarca Eslovaquia España Portugal Polonia Eslovenia Hungría Turquía Chile % de alumnos excelentes (niveles 5 y 6) 2,2% 2,1% 17,5% 16,7% 15,0% 14,5% 14,3% 13,6% 13,1% 12,8% 12,0% 11,9% 11,8% 11,6% 11,4% 10,9% 10,8% 9,4% 8,8% 8,8% 8,7% 7,8% 7,8% 7,4% 6,9% 6,6% 5,6% 22,3% 27,6% 17

18 Programa para la Evaluación Internacional de los Alumnos (PISA 2012) Resultados en PISA 2012 Resolución de problemas por niveles de rendimiento En España más de uno de cada cuatro alumnos no alcanza el nivel establecido como básico en la competencia de resolución de problemas. La OCDE en el estudio PIAAC establece que La adquisición de habilidades transforma la vida, genera prosperidad y promueve la inclusión social. Conseguir que un mayor número de personas adquieran mejores habilidades y las empleen de manera efectiva, ayudará al crecimiento económico a largo plazo y como consecuencia limitará los problemas de inserción laboral y social. % de alumnos rezagados (niveles <1 y 1) 38,9% 38,3% 35,8% 35,0% 28,5% 28,5% 26,1% 25,7% 23,5% 21,4% 21,3% 20,8% 20,6% 20,4% 20,3% 19,2% 18,5% 18,4% 18,4% 18,2% 16,5% 16,4% 16,4% 15,5% 15,1% 14,7% 14,3% 7,1% 6,9% Israel Chile Turquía Hungría Eslovenia España Eslovaquia Polonia Suecia OCDE Noruega Bélgica Portugal Dinamarca Irlanda Alemania Países Bajos Austria República Checa Estados Unidos Francia Italia Reino Unido Australia Estonia Canadá Finlandia Japón Corea del Sur 18

19 Programa para la Evaluación Internacional de los Alumnos (PISA 2012) Factores asociados: diferencias entre chicos y chicas en resolución de problemas En España los chicos y las chicas no presentan diferencias significativas en el rendimiento en resolución de problemas Chicos Chicas Distribución por niveles de rendimiento de chicos y chicas Niveles <1 y 1 Niveles 2, 3, 4 Niveles 5 y 6 Chicas 27% 66% 6% Chicos 30% 61% 9% 0% 50% 100% Hay más alumnos rezagados que alumnas También hay más alumnos excelentes que alumnas Finlandia Eslovenia Suecia Noruega Polonia España Australia Estados Unidos Hungría Francia Estonia Países Bajos Irlanda Canadá Reino Unido Israel Alemania OCDE República Checa Bélgica Dinamarca Austria Corea del Sur Chile Turquía Portugal Italia Japón Eslovaquia 19

20 Programa para la Evaluación Internacional de los Alumnos (PISA 2012) Factores asociados: la condición de inmigrante y los resultados en resolución de problemas Los hijos de inmigrantes tienden a obtener rendimientos significativamente inferiores a los de los hijos de nativos Nativo Inmigrante Corea del Sur Japón Canadá Finlandia Australia Alemania Francia Reino Unido Bélgica Países Bajos Estonia Austria Italia Estados Unidos República Checa Noruega OCDE Dinamarca Suecia Irlanda Portugal Eslovaquia Polonia España Eslovenia Hungría Turquía Israel Chile En la OCDE la diferencia alcanza 43 puntos. En España la diferencia es de 39 puntos. 20

21 Programa para la Evaluación Internacional de los Alumnos (PISA 2012) Factores asociados: la repetición de curso y los resultados en resolución de problemas Los alumnos de España que no repiten curso (511) obtienen una puntuación similar a la de la OCDE (512). En España los datos se ven afectados negativamente por el resultado de los alumnos repetidores. El % de repetidores en la OCDE es de 17% mientras que en España es de 33,2%. Rendimiento del alumnado en resolución de problemas en función de la repetición del curso Finlandia Portugal Canadá Francia Repetición 2 cursos Repetición 1 curso Sin repetición Bélgica Corea del Sur Japón Alemania Israel Chile Turquía Hungría Eslovenia Polonia Suecia Alumnos que repiten 2 cursos Alumnos que repite 1 curso Porcentaje Alumnos que no repite Australia Austria Irlanda Noruega España 9% 24,1% 66,8% Italia Dinamarca OCDE 2,1% 14,9% 83% Rendimiento España OCDE Estonia Estados Unidos Reino Unido República Checa OCDE Países Bajos España Eslovaquia 21

22 Marco Teórico: Financiera COMPETENCIA FINANCIERA en PISA

23 Educación Secundaria: PISA Qué es un marco teórico? El Estudio PISA: Marco Teórico Es el conjunto conceptual de partida que explica lo que trata de medir la evaluación Ciclo PISA de Lectura (o Competencia Lectora): Objetivos del marco teórico: Servir de guía para la elaboración de unidades y preguntas Compartir un lenguaje sobre el que los implicados puedan discutir el tema Asegurar una continuidad en un estudio a largo plazo como éste Establecer y hacer públicas las características del programa de evaluación

24 El Estudio PISA: Marco Teórico La elaboración del marco teórico comienza por una definición del área de conocimiento (sentido global cognitivo y afectivo: conceptos, destrezas, actitudes, disposiciones )

25 Marco Teórico: Financiera Definición de COMPETENCIA FINANCIERA en PISA Competencia financiera es el conocimiento y comprensión de conceptos y riesgos financieros, y las destrezas, motivación y confianza para aplicar dicho conocimiento y comprensión en la toma de decisiones eficaces en distintos contextos financieros, para mejorar el bienestar financiero de los individuos y la sociedad y favorecer su participación en la vida económica

26 El Estudio PISA: Marco Teórico Para elaborar las preguntas, PISA atiende a 5 características: Contexto (escolar, personal, familiar, profesional) Tipo (continuo, discontinuo, mixto, múltiple) Aspecto (dinero y cambios; planificación y gestión; riesgo y beneficio; panorama financiero) Proceso (identificar información financiera; analizar información de este tipo; evaluar cuestiones financieras; aplicar el conocimiento y la comprensión de las finanzas) Formato (impreso o digital)

27 Ejemplo de pregunta de Competencia financiera Todos los meses, a Juana le ingresan el sueldo en su cuenta bancaria. Esta es la nómina de Juana correspondiente a julio. Pregunta Cuánto dinero ingresó la empresa en la cuenta de Juana el 31 de Julio? A. 300 zeds B zeds C zeds D zeds NÓMINA DEL EMPLEADO: Juana Canales Puesto: Jefe de sección Del 1 al 31 julio Sueldo bruto zeds Deducciones 300 zeds Sueldo neto zeds Sueldo bruto anual acumulado zeds Puntuación Finalidad de la pregunta: Descripción: Identificar el sueldo neto en una nómina Contenido: El dinero y las transacciones Proceso: Identificar la información financiera Contexto: La educación y el trabajo Puntuación Máxima Código 1: B zeds Sin Puntuación Código 0: Otras respuestas. Código 9: Sin respuesta.

28 Elisa vive en Zedland. Recibe esta nueva tarjeta de crédito. Al día siguiente, Elisa recibe el número secreto de identificación personal (número PIN) para la tarjeta de crédito. Pregunta Qué debería hacer Elisa con el número PIN? A. Anotar el número PIN en un papel y guardarlo en el monedero. B. Decir a sus amigos el número PIN. C. Anotar el número PIN en la parte de atrás de la tarjeta. D. Memorizar el número PIN. VÁLIDA HASTA 12/14 HASTAVÁLIDA HHASTAHASTAVALI D UNTIL 12/14 Puntuación Finalidad de la pregunta: Descripción: Reconocer el uso de una tarjeta de crédito con número PIN como una práctica segura. Contenido: Riesgos y compensaciones Proceso: Evaluar asuntos financieros Contexto: El individuo Puntuación Máxima Código 1: D. Memorizar el número PIN. Sin Puntuación Código 0: Otras respuestas. Código 9: Sin respuesta.

29 Próximos resultados de Competencia Financiera 9-10 de julio 2014 Presentación del nuevo Informe Internacional Presentación del nuevo Informe Nacional Congreso Finanzas para la vida

30 Elaboración de unidades y preguntas La elección de textos y la elaboración de preguntas para evaluar una competencia Cómo hacer? 30

31 Elaboración del marco teórico Elaboración de preguntas para un estudio a gran escala Redacción preliminar de preguntas Revisión de preguntas Revisiones de preguntas Laboratorios cognitivos (Cog Labs) Revisión externa (países) Pregunta aceptada o rechazada (después de Cog Labs)) Pregunta para el Estudio Principal Análisis psicométrico y revisión 31 Estudio Piloto

32 Elaboración de unidades y preguntas Textos que no sirven: lo que tenemos que evitar Ofender o molestar: Trauma (accidentes de tráfico, violencia) Sexo, religión, política u otros temas polémicos o delicados Mal comportamiento, agresividad, racismo, inmoralidad o irresponsabilidad Modelos indeseables (drogas, alcohol, inducción a diversos posibles peligros) Palabrotas Esperar demasiado o demasiado poco de los alumnos: Textos con lenguaje enrevesado Textos que ofrecen un conocimiento que los alumnos ya deberían saber Textos aburridos!!

33 Elaboración de unidades y preguntas Lo importante es saber elegir un texto Un buen texto tiene enjundia y es interesante plantea retos no es muy fácil ni muy difícil no plantea retos artificiales (lenguaje retorcido, p.e.) es (más o menos) igualmente accesible para diferente tipo de alumnos ofrece oportunidades para plantear cuestiones inquisitivas, cuya respuesta no sea obvia

34 Elaboración de unidades y preguntas Y, por último, lo importante es redactar unidades Una unidad es un grupo de preguntas construidas a partir de un texto / estímulo o parte del mismo

35 Elaboración de unidades y preguntas Qué caracteriza a una buena unidad? Las preguntas cubren un amplio espectro de dificultad Las preguntas responden a distintos aspectos del marco teórico Cada pregunta es independiente de las demás El grupo de preguntas consigue llegar al corazón del texto

36 Una enseñanza y un profesorado de calidad son elementos clave para que los alumnos obtengan buenos resultados académicos. TALIS es el primer estudio internacional que se centra en el ambiente del aprendizaje y en las condiciones de trabajo de los profesores en los centros educativos.

37 Qué es TALIS? Estudio internacional de la OCDE sobre la Enseñanza y el Aprendizaje Esfuerzo colaborativo entre Gobiernos, OCDE, sindicatos de profesores y Consorcio Internacional Oportunidad para profesores y líderes escolares de facilitar y recibir información sobre el análisis de la educación y el desarrollo de políticas en áreas clave de la educación Estudio basado en cuestionarios de opinión con una muestra representativa de: 200 centros, 20 profesores, selección aleatoria. Cobertura de datos a nivel nacional e internacional sobre profesorado, enseñanza e impacto que el profesorado puede tener en el aprendizaje de los estudiantes.

38 TALIS 2008

39 Principales Características de TALIS 2008 Principales Características TALIS 2008 Profesorado y directores de Educación Secundaria Obligatoria (ISCED 2) Cuestionarios de 45-minutos (en papel o por ordenador) Se centró en: Políticas y prácticas educativas para apoyar una enseñanza y un aprendizaje eficaces Desarrollo profesional del profesorado Evaluación del profesorado y feedback de esa evaluación Liderazgo escolar Prácticas docentes, actitudes y opiniones del profesorado sobre la práctica educativa

40 TALIS 2008 Países participantes en TALIS 2008

41 Cobertura: 24 países Australia Islandia Países Bajos Austria Irlanda Noruega Bélgica Italia Polonia Brasil Korea Portugal Bulgaria Lituania España Dinamarca Malta Eslovaquia Estonia Malasia Eslovenia Hungría México Turquía

42 ResultadosTALIS 2008 Un informe general Creación de entornos de enseñanza y aprendizaje efectivos (2009) Tres informes temáticos Desarrollo profesional de los docentes (EC) Experiencia de nuevos docentes Prácticas de enseñanza e innovación en los centros

43 Algunas conclusiones de TALIS 2008 Los profesores que reciben más desarrollo profesional se sienten más eficaces. Los profesores que tienen las ideas muy claras sobre los métodos de enseñanza declaran trabajar más frecuentemente en colaboración con sus compañeros, mantener relaciones positivas con sus alumnos y sentirse más eficaces. Los profesores que reciben algún tipo de reconocimiento del director o sus compañeros por realizar un buen trabajo se sienten más eficaces. Uno de cada cuatro profesores pierde un 30% de la clase en mantener el order y en tareas administrativas.

44 TALIS 2008 en España: Porcentaje de profesoras y directoras 100 % Profesoras Directoras

45 Profesores y centros que no fueron evaluados % 60 Sin evaluación o información Sin evaluación de centro

46 Autonomía de los centros Fijar los incrementos del salario de los profesores Fijar los salarios base de los profesores Seleccionar a los profesores para su despido contrato Despedir a profesores Polonia Noruega Dinamarca Bélgica (Fl.) Irlanda Portugal Media TALIS Austria España Brasil Méjico Italia % %

47 TALIS 2013

48 TALIS 2008 Países participantes en TALIS 2008

49 Países participantes en TALIS 2013 TALIS 2008 TALIS 2013 Both *Note: TALIS only runs in a sub-national entity of the following countries: Belgium (Flemish Community), Canada (Alberta), United Arab Emirates (Abu Dhabi) and United Kingdom (England). This map is for illustrative purposes and is without prejudice to the status of or sovereignty over any

50 Crecimiento de TALIS 33 países Australia Bélgica Brasil Bulgaria Canada (Alberta) Chile Croacia República Checa Dinamarca Estonia Finlandia Francia Islandia Israel Italia Japón Korea Letonia Malasia México Países Bajos Noruega Polonia Portugal Rumania Serbia Singapur Eslovaquia España Suecia Reino Unido (England) EAU (Abu Dhabi) USA

51 Novedades de TALIS 2013 Nuevas preguntas e indicadores Mayor cobertura Profesorado de Primaria y de Bachillerato (Opciones internacionales). Núcleo principal seguía siendo profesorado de Secundaria Obligatoria. Opción de relacionar a nivel de centro TALIS con PISA Acercamiento a las prácticas docentes Estudio piloto de vídeo sobre las prácticas docentes.

52 Cómo se eligió el contenido de TALIS 2013? Prioridades de los países Medir tendencias entre ciclos de TALIS Examinar temas nuevos a los tratados en ciclos anteriores de TALIS y PISA Contenido propuesto

53 Qué cuestiones analiza TALIS 2013? Formación inicial del profesorado Clima escolar Iniciación profesional, tutoría entre el profesorado y desarrollo profesional Liderazgo escolar Evaluación y feedback Prácticas y opiniones sobre la docencia, evaluación del alumnado Módulo de Matemáticas

54 Nuevos indicadores Liderazgo escolar: Liderazgo compartido Desarrollo profesional del director Formación inicial del profesorado y cómo esta te prepara para enseñar. Acceso a programas de iniciación profesional y tutoría entre profesores. Clima escolar: Relación padresprofesores y padrescentro educativo. Opiniones de los profeores sobre los tipos de evaluación a los alumnos. Perfil de las prácticas de evaluación a los alumnos Perfil de las prácticas docentes en matemáticas.

55 Cuestionario del profesor Formación del profesorado

56 Cuestionario del profesor Iniciación profesional y tutoría

57 Cuestionario del profesor Clima escolar

58 Cuestionario del director

59 Por qué hacer un link entre TALIS y PISA 2012? Beneficios para TALIS de un link con PISA Proporcionar un contexto a las respuestas de los profesores y los directores Permitir que se analicen las cuestiones de política educativa en el contexto del rendimiento del alumnado y la equidad

60 Qué tipos de análisis de política educativa se pueden hacer gracias al TALIS-PISA link? Examinar asociaciones entre el profesorado y las prácticas docentes del centro con los resultados de los alumnos a nivel de centro. Por ejemplo: Cuál es el perfil académico de los alumnos de un centro en relación con: Las necesidades que el profesorado de ese centro tiene en cuanto a desarrollo profesional? Probabilidad de participar en programas de desarrollo profesional permanente? Evaluación de la repercusión de su formación en el trabajo?

61 Estudio de vídeo Por qué? Para acercarnos más a la calidad del profesorado y para obtener más información objetiva sobre las prácticas docentes. Estatus: Se ha realizado un concurso publico para la adjudicación del proyecto. En breve comenzará un estudio piloto de 3 años con países interesados.

62 RESULTADOS TALIS 2013 : 25 DE JUNIO 2014 CONGRESO TALIS 25 Y 26 JUNIO: NOVEDADES.INEE@MECD.ES

63 Para más información:

64 Síguenos en Y en nuestro blog: