PIAAC Programa internacional para la evaluación de competencias de la población adulta

Transcripción

1 PIAAC Programa internacional para la evaluación de competencias de la población adulta

2 I. Estudios de evaluación internacional Evaluaciones muestrales, cíclicas, a gran escala Cuestionarios de contexto + pruebas cognitivas Metodología: Marco teórico: Qué evaluar, elaboración de ítems, distribución de ítems. Selección de la muestra Traducción de materiales, aplicación, corrección, limpieza de datos Análisis TRI de las respuestas. Dificultad de los ítems y puntuación lograda por los alumnos Informes internacionales comparativos 2

3 Lo deseable I. Estudios de evaluación internacional Competencias para la vida Curriculum Evaluamos 3

4 La realidad I. Estudios de evaluación internacional Competencias para la vida Curriculum Evaluamos 4

5 II. Principales características Objetivos Conocer el nivel de las competencias de la población adulta en los diferentes países Relacionar educación y formación con el mercado laboral Áreas de evaluación Comprensión lectora (Componentes de la comprensión lectora) Matemáticas Resolución de problemas en entornos informatizados (no aplicada en España) 5

6 II. Principales características Muestra 24 países, adultos de 16 a 65 años 6

7 Primera ronda: 24 países participantes II. Principales características OCDE Australia EEUU Canadá Japón Corea UE Alemania Francia Austria Inglaterra/Irlanda N. Chipre Irlanda Dinamarca Italia Eslovaquia Noruega España Países Bajos Estonia Polonia Finlandia República Checa Flandes (Bélgica) Suecia Federación Rusa* * La Federación Rusa también ha participado en el estudio aunque sus resultados no se presentan en esta edición. 7

8 II. Principales características Muestra 24 países, adultos de 16 a 65 años Población de 16 a 65 años empadronada en 2011 en un municipio de España. Encuesta a hogares Carta de presentación y folleto explicativo, pagina web e incentivos 6 intentos para contactar con la persona seleccionada 8

9 II. Principales características 9

10 II. Principales características 10

11 II. Principales características Muestra 24 países, adultos de 16 a 65 años Población de 16 a 65 años empadronada en 2011 en un municipio de España. Encuesta a hogares Carta de presentación y folleto explicativo, pagina web e incentivos 6 intentos para contactar con la persona seleccionada adultos residentes en España participaron en el estudio 11

12 Formato de aplicación En ordenador portátil o en papel, dependiendo de la competencia digital de los entrevistados Fechas de aplicación en campo Del 1 de septiembre de 2011 al 1 de mayo de 2012 II. Principales características Instituciones participantes Instituto Nacional de Evaluación Educativa (MECD) Servicio Público de Empleo Estatal (Ministerio de Empleo y Seguridad Social) Instituciones colaboradoras Fundación Tripartita para la formación en el empleo S.G. de Estadística y Estudios (MECD) Instituto Nacional de Estadística (Economía) 12

13 Supervisión por el PIAAC BPC (Board of Participating Countries) Apoyo del Secretariado de la OCDE Consorcio internacional de empresas, lideradas por ETS Desarrollo de cuestionarios e instrumentos Apoyo a las operaciones de la encuesta Control de calidad Preparación de la base de datos Apoyo para el análisis de los resultados II. Principales características Cada país es responsable de la implementación a nivel nacional Diseño de la muestra (INE) Adaptación y traducción de los materiales (INEE y SEPE) Recogida de datos y elaboración de la base de datos (INEE) Responsables nacionales del programa NPM(INEE y SEPE) 13

14 Corrección Automática, si el entrevistado realizó las pruebas en ordenador Manual, si las pruebas se realizaron en cuadernillos Dos correctores. Control de corrección Evaluación de la calidad de los datos (Consorcio) Proceso de adjudicación: evaluación de un conjunto de indicadores en las áreas de: Muestreo Tasa de respuesta y análisis de sesgo por no respuesta Recogida de datos Instrumentación II. Principales características 14

15 II. Principales características Componentes Inicio del caso (IC) Cuestionario de antecedentes (CA) Ejercicio básico Ejercicio (Ordenador o papel) 15

16 II. Principales características CUESTIONARIO Cuestionario de antecedentes Experiencia en el manejo de ordenador PRUEBA COGNITIVA 16

17 III. Cuestionario de Antecedentes Objetivos Distinguir nivel y distribución de competencias de subgrupos de la población Determinar los factores asociados a la adquisición, desarrollo, mantenimiento y pérdida de competencias a lo largo de la vida Estudiar la relación entre el dominio de competencias y los resultados económicos y sociales 17

18 III. Cuestionario de Antecedentes Características demográficas básicas de los entrevistados Edad, sexo, país de origen, estructura familiar, idioma en casa, nivel educativo padres, Antecedentes educativos y participación actual en actividades de aprendizaje Cualificación más alta, estudios iniciados pero no completados, estudios formales y/o no formales en el último año; Formación en el último año, interés y barreras para acceder a la formación, situación laboral al recibir formación, dentro o fuera de las horas de trabajo, utilidad en trabajo, tipo de apoyo de la empresa. Situación laboral y trayectoria profesional Actividad actual, historia laboral, empleo actual, último empleo, salario o ingresos, ocupación, sector de actividad, tamaño de la empresa, 18

19 III. Cuestionario de Antecedentes JRA (Job Requirement Approach) Enfoque de los requisitos del puesto de trabajo El entrevistado indica el nivel de las habilidades que se requieren en su trabajo actual en varios dominios de habilidad. El método de JRA se ha aplicado con éxito en diferentes encuestas, como la Encuesta Habilidades británica (British Skills Survey), US O*NET Survey y varias encuestas internacionales de postgrado (CHEERS y REFLEX). 19

20 III. Cuestionario de Antecedentes Uso de habilidades genéricas en el puesto de trabajo Estrategias de aprendizaje; discrecionalidad de las tareas; capacidad de influencia, de cooperación, de auto organización; habilidades físicas Uso de habilidades de procesamiento de la información Lectura, escritura, matemáticas, TIC y resolución de problemas, en el trabajo y en la vida diaria Resultados sociales Confianza (en sí mismo y en otros), participación política, voluntariado, autoevaluación de la salud, 20

21 IV. Dominios de evaluación 21

22 Niveles de rendimiento IV. Dominios de evaluación Escala de 0 a 500 puntos. Una persona que alcance un determinado punto de la escala tiene probabilidad 0,67 de responder a un ítem localizado en ese punto. Seis niveles de rendimiento: Niveles Intervalos inferior al 1 [0, 176) 1 [176, 226) 2 [226, 276) 3 [276, 326) 4 [326, 376) 5 [376, 500] 22

23 Comprensión Lectora V. Interpretación de resultados 23

24 V. Interpretación de resultados Observe la lista de normas de la escuela infantil. Seleccione la información de la lista para contestar la pregunta A qué hora, como muy tarde, deben llegar los niños a la escuela? Las normas de la escuela infantil representan un ítem de dificultad media y se centra en los siguientes aspectos de comprensión lectora: 24

25 Pregunta 1 Haz una cruz en la celda de la tabla que contiene la información sobre equipamiento para el ejercicio físico para responder a esta pregunta: V. Interpretación de resultados Qué músculos se beneficiarán más si usa el banco de entrenamiento? Pregunta 2 Haz un círculo sobre la celda de la tabla que contiene la información sobre equipamiento para el ejercicio físico, respondiendo a esta pregunta: Qué artículo de equipamiento listado recibe el mayor número de valoraciones ineficiente? Es una prueba relativamente fácil. Se centra en los siguientes aspectos de comprensión lectora: 25

26 V. Interpretación de resultados 26

27 V. Interpretación de resultados Matemáticas 27

28 V. Interpretación de resultados Responda a esta pregunta: Si la temperatura marcada baja aproximadamente 30 º Celsius, cuál sería la temperatura en grados Celsius ( o C)? Es una prueba de baja dificultad. Se solicita a los encuestados que introduzcan una respuesta numérica basada en el gráfico proporcionado y se centra en los siguientes aspectos de capacidad de cálculo: 28

29 V. Interpretación de resultados Responda a esta pregunta: Cuántas centrales eólicas se necesitarían para remplazar la energía generada por el reactor nuclear? Es una prueba de dificultad media. Se centra en los siguientes aspectos de capacidad de cálculo: 29

30 V. Interpretación de resultados Responda a la siguiente pregunta En qué periodo(s) se produjo un descenso de nacimientos?- Señale todos los que sean pertinentes Es una prueba de dificultad media. Se centra en los siguientes aspectos de capacidad de cálculo: 30