Evaluación en Competencias ciudadanas SABER 3º, 5º y 9º, 2012

Transcripción

1 Evaluación en Competencias ciudadanas SABER 3º, 5º y 9º, 2012 Pruebas de Acciones y actitudes ciudadanas Instituto Colombiano de Evaluación de la Educación Oficina Asesora de gestión de proyectos de investigaciones Dirección de Evaluación Noviembre de 2013

2 Antecedentes de la evaluación en Competencias ciudadanas En 2004, el Ministerio de Educación Nacional (MEN) publicó los estándares básicos de competencias ciudadanas(men, 2004): Establecen los niveles básicos que se espera que los estudiantes alcancen para ejercer su ciudadanía. Orientan los procesos de evaluación y avance de los estudiantes Programa Nacional de Competencias Ciudadanas ha adelantado, en conjunto con la comunidad educativa, estrategias pedagógica enfocadas al desarrollo, institucionalización, evaluación y mejoramiento de las competencias ciudadanas.

3 Programa de Evaluación de la Educación Básica y Media Pruebas SABER Evaluación de competencias ciudadanas en las pruebas de y para quinto y noveno grados. Conocer su percepción frente a determinadas características de los ambientes donde interactúan. Establecer el grado de desarrollo de habilidades para actuar, reflexionar, sentir y comunicarse en su vida cotidiana, en pro del bienestar de sus comunidades. Definición del marco de referencia para la evaluación externa de las competencias ciudadanas en el país Diseño de la nueva evaluación de competencias ciudadanas para la educación básica y media, Aplicación en octubre de 2012 y 2013, para los grados quinto y noveno.

4 Evaluación de competencias ciudadanas SABER 3º, 5º y 9º, 2012 Marco conceptual de la evaluación externa Especificaciones de la evaluación de Competencias ciudadanas en Educación básica y media

5 Especificaciones de la evaluación en competencias ciudadanas SABER 3º, 5º y 9º 1. Estándares básicos de competencias ciudadanas establecidos por el MEN. Las competencias ciudadanas se clasifican en cuatro tipos: Cognitivas Emocionales Integradoras Comunicativas Se refieren a dos grupos o ámbitos relevantes para el ejercicio de la ciudadanía: Convivencia y paz Pluralidad, identidad y valoración de las diferencias. Participación y responsabilidad democrática.

6 2. Evaluación en competencias ciudadanas Objetivos evaluación Brindar información sobre el nivel de desarrollo de las competencias ciudadanas de niños, niñas y jóvenes del país Apoyar la reflexión sobre las prácticas pedagógicas dentro de las instituciones educativas Orientar la formulación de políticas educativas sobre la formación ciudadana. La evaluación de competencias ciudadanas aplicadas a los estudiantes de 5º y 9º grados consiste en dos pruebas: Pensamiento ciudadano Acciones y actitudes ciudadanas

7 Prueba de pensamiento ciudadano Conocimientos Argumentación Multiperspectividad Pensamiento sistémico Conoce la Constitución y su función de enmarcar y regular las acciones de las personas y grupos en la sociedad. Conoce los mecanismos que los estudiantes tienen a su disposición para participar activamente y para garantizar el cumplimiento de sus derechos. Analiza y evalúa la pertinencia y solidez de enunciados o discursos. Reconoce la existencia de diferentes perspectivas en situaciones donde interactúan diferentes partes. Analiza las diferentes perspectivas presentes en situaciones donde interactúan diferentes partes. Comprende que los problemas y sus soluciones involucran distintas dimensiones y reconoce relaciones entre éstas.

8 Prueba de Acciones y actitudes ciudadanas Emocionales Integradoras Ambientes democráticos Habilidades necesarias para la identificación y respuesta constructiva ante las emociones propias y las de los demás: Empatía y manejo de emociones Articulan en la práctica los conocimientos y las emociones hacia la acción ciudadana. Aspectos contextuales que favorecen o limitan el desarrollo de las competencias ciudadanas. Reflejan la manera como los estudiantes actúan cotidianamente, en sus relaciones con los demás y con la sociedad en general. Acciones Actitudes Disposiciones cognitivas y afectivas según las cuales los individuos aprueban o desaprueban comportamientos o situaciones sociales

9 3. Especificaciones de contenido de la prueba de acciones y actitudes ciudadanas Metodología de diseño basado en evidencias Procesos que parten de la identificación de las competencias que se evalúan y llegan hasta la definición de las preguntas, de forma que estas se conviertan en las evidencias de los conocimientos, habilidades o capacidades que se quieren medir (ICFES, 2011). Definir el conjunto de preguntas e indicadores que se espera cubrir con la evaluación a partir de la caracterización conceptual de las competencias y los ámbitos de la ciudadanía Garantizar la comparabilidad entre aplicaciones de la prueba en el tiempo.

10 Ejemplo de especificaciones de contenido para el Ámbito de Convivencia y paz Tipos de competencias Integradoras Emocionales Acciones Actitudes Ambiente democráticos Demuestra empatía frente a quienes sufren agresión o maltrato, o están en situación de vulnerabilidad. Es capaz de manejar su rabia cuando tiene conflictos con otros, cuando alguien lo ofende o cuando no logra sus objetivos Construye relaciones pacíficas con los demás, busca beneficiarlos y evita hacerles daño. Demuestra actitudes a favor de la convivencia pacífica y del bienestar de los demás y en contra de la agresión, del maltrato y de la violencia. Considera que el entorno escolar provee una atmósfera de cuidado y convivencia pacífica.

11 Evaluación de competencias ciudadanas SABER 3º, 5º y 9º, 2012 Diseño del marco de la evaluación Validación y pilotaje de la prueba Especificaciones de la prueba

12 Validación y pilotaje de la prueba Validación de contenido de las preguntas con población objetivo Pilotaje en una aplicación muestral a nivel nacional en octubre de 2011 ( estudiantes) Pilotaje en una aplicación muestral a nivel nacional en mayo de 2012 ( estudiantes) Análisis resultados pilotaje (Análisis de ítems, Análisis de dimensionalidad (factoriales, confirmatorios y exploratorios), Comprobación supuestos modelo de escalamiento TRI) Priorización de indicadores para la evaluación censal

13 Evaluación de competencias ciudadanas SABER 3º, 5º y 9º, 2012 Validación y pilotaje de la prueba Especificaciones de la prueba Elaboración de instrumentos definitivos y Aplicación Diseño del marco de la evaluación

14 Elaboración de instrumentos definitivos y Aplicación 2012 Se diseñó un instrumento de medición denominado Cuestionario de estudiante, el cual fue diligenciado por los alumnos de 5º y 9º grados, una vez finalizaron las pruebas cognitivas. Recopila las percepciones de los estudiantes a través de preguntas cualitativas (tipo Likert), para las que no existen respuestas correctas. Las preguntas dan cuenta del auto-reporte (comportamientos propios) o reporte de pares (comportamientos observados en compañeros o profesores) Este tipo de preguntas no implican una calificación individual ni un juicio específico sobre los estudiantes, sino que representan sus opiniones sobre diferentes temas relacionados con su papel como ciudadanos.

15 Elaboración de instrumentos definitivos y Aplicación 2012 En total, se diseñaron y validaron 77 ítems para 5º grado y 116 ítems para 9º grado Se seleccionaron 57 y 69 ítems, respectivamente, para los cuestionarios que se aplicaron en la evaluación censal Los demás ítems se incluyeron en los cuestionarios administrados en la muestra controlada. El total de ítems seleccionados para la aplicación censal se distribuyó en cuatro cuestionarios, de manera que cada ítem se abordó por aproximadamente la mitad de los estudiantes de cada establecimiento educativo.

16 Evaluación de competencias ciudadanas SABER 3º, 5º y 9º, 2012 Diseño del marco de la evaluación Validación y pilotaje de la prueba Especificaciones de la prueba Elaboración de instrumentos definitivos y Aplicación Análisis y publicación de resultados

17 1. Tipos de resultados Análisis y publicación de resultados Índices simples. Conjuntos de ítems o preguntas que indagan sobre algunas acciones o actitudes ciudadanas de los estudiantes para para dar cuenta de un tema específico. Estos se reportan como el porcentaje de estudiantes que demuestran el atributo que se desea observar a través del ítem. Escalas. Corresponde a un indicador que resume las respuestas de los estudiantes a un conjunto de preguntas que dan cuenta de un constructo como, por ejemplo, justificaciones hacia el uso de la agresión o Manejo de la rabia. Estos índices se construyeron a través del escalamiento del conjunto de ítems usando Teoría de respuesta al ítem. Para estas escalas se genera una puntuación para cada estudiante de acuerdo con las repuestas a los ítems que la componen.

18 Índices simples Para evaluar la capacidad de construir relaciones pacíficas con los demás, que corresponde a una de las especificaciones del ámbito de convivencia y paz, se definió la medición de los roles de los estudiantes frente a la intimidación escolar. Para esto se formularon tres preguntas. El reporte de resultados presenta el porcentaje estimado de estudiantes que responden SI a cada una de ellas: Te ha pasado que alguien te pega o te ofende todo el tiempo haciéndote sentir mal y no has sabido cómo defenderte? Rol de víctima Le has pegado o has ofendido a un(a) compañero(a) muchas veces haciéndolo(a) sentir muy mal y él (ella) no ha sabido cómo defenderse? Rol de intimidador Has visto que le han pegado o han ofendido a un(a) compañero(a) todo el tiempo haciéndolo(a) sentir muy mal y él (ella) no ha sabido cómo defenderse? Rol de observador

19 Escalas Para evaluar la capacidad de los estudiantes para demostrar empatía frente a quienes sufren agresión o maltrato se hicieron cinco preguntas que indagan sobre cómo se sienten los estudiantes (mal, les da igual o les parece divertido) cuando les pegan, insultan, se burlan o inventan un chisme a alguien que les cae mal. A partir de las respuestas de cada alumno a estos ítems, se calcula, a través de un proceso estadístico (Teoría de respuesta al ítem), un puntaje numérico que combina las respuestas a cada una de estas preguntas y que permite evidenciar la percepción del estudiante sobre su Empatía hacia personas en situación de agresión o maltrato. Estas escalas son importantes, porque permiten sintetizar las respuestas de los estudiantes y construir indicadores concretos de las acciones y actitudes ciudadanas sobre las cuales es posible desarrollar estrategias de mejoramiento institucional.

20 Resultados para la prueba de acciones y actitudes ciudadanas a nivel censal, quinto grado Ámbitos de la ciudadanía Tipos de competencias ciudadanas Integradoras Emocionales Acciones Actitudes Ambientes escolares Convivencia y Paz Empatía frente al maltrato Manejo de la rabia Roles de la intimidación escolar* Tipos de agresión* Actitudes hacia las justificaciones para el uso de la agresión Actitudes hacia las respuestas pasivas a la agresión Percepción de inseguridad en el colegio* Participación y Responsabilidad Democrática Oportunidades de participación en el colegio Pluralidad, Identidad y Valoración de las Diferencias Percepción sobre la discriminación en el colegio Actitudes hacia la diversidad* Actitudes hacia los roles de género * Escalas especiales

21 Resultados para la prueba de acciones y actitudes ciudadanas a nivel censal, noveno grado Ámbitos de la ciudadanía Emocionales Tipos de competencias ciudadanas Integradoras Acciones Actitudes Ambientes escolares Convivencia y Paz Empatía frente al maltrato Roles de la intimidación escolar* Tipos de agresión* Actitudes hacia las justificaciones para el uso de la agresión Percepción de inseguridad en el colegio* Participación y Responsabilidad Democrática Actitudes hacia la corrupción Actitudes hacia la amenazas sobre las democracia Actitudes hacia el incumplimiento de la ley Actitudes hacia el gobierno escolar y la participación estudiantil Oportunidades de participación en el colegio Pluralidad, Identidad y Valoración de las Diferencias Actitudes hacia la diversidad* Actitudes hacia los roles de género * Escalas especiales

22 2. Reporte de resultados Análisis y publicación de resultados Resultados a nivel de los establecimientos educativos Resultados a nivel agregado (Entidad territorial, municipio y departamento) Resultados nacionales censales Resultados nacionales muestrales Estudios e investigaciones

23 Tipos de reportes y resultados para establecimientos educativos Tipo de Reporte Características del Establecimientos Tipo de Indicador Resultados incluidos en el reporte Generalidades del reporte General 25 o más estudiantes responden todos los ítems del índice y la mayoría de éstos provienen de jornadas con más de un estudiantes 6 o más estudiantes participantes y la mayoría de éstos provienen de jornadas con más de un estudiantes Índices simples Escala Porcentaje estimado de estudiantes Intervalo de estimación Puntuación estimada Intervalo de estimación Porcentaje de estudiantes por niveles de desempeño en la escala y grado Se presentan comparaciones de los resultados del establecimiento con los nacionales y con los de los establecimientos oficiales urbanos, oficiales rurales y no oficiales de la entidad territorial certificada donde está ubicado el establecimiento.

24 Tipo de Reporte Características del Establecimientos Tipo de Indicador Resultados incluidos en el reporte Generalidades del reporte Simplificado 25 o menos estudiantes responden alguno de los ítems del índice o la mayoría de estos provienen de jornadas con solo un estudiante. Menos de 6 estudiantes participantes y la mayoría de éstos provienen de jornadas con solo un estudiantes Índices simples Escala Número de estudiantes participantes en el establecimiento educativo para el índice y grado Número de estudiantes que reportan tener el atributo indagado por cada ítem. Número de estudiantes participantes en el establecimiento educativo para la escala y grado. Número de estudiantes en cada nivel de desempeño en la escala y grado. No se incluyen comparaciones con los grupos de referencia. Se presentan, con propósitos informativos, los resultados nacionales y territoriales desagregados por tipos de establecimientos.

25 Tipo de Reporte Características del Establecimientos Tipo de Indicador Resultados incluidos en el reporte Generalidades del reporte Estudiantes con discapacidad cognitiva La mayoría de los estudiantes del establecimiento educativo que responden de manera válida los ítems del indicador fueron reportada con discapacidad cognitiva por parte del rector Índices simples Escala Número de estudiantes con discapacidad cognitiva en el establecimiento educativo para el índice y grado Número de estudiantes con discapacidad cognitiva que reportan tener el atributo indagado por cada ítem Número de estudiantes con discapacidad cognitiva en el establecimiento educativo para el índice y grado Número de estudiantes con discapacidad cognitiva que reportan tener el atributo indagado por cada ítem No se incluyen comparaciones con los grupos de referencia..