Uso de las bases de datos censales SABER 5 y 9 Oficina de Gestión de Proyectos de Investigación Instituto Colombiano de Evaluación de la Educación Bogotá, marzo de 2013
SABER: Evaluaciones muestrales Año aplicación 1991 3, 5, 7 y 9 1992-1994 3, 5, 7 y 9 1997-1999 3, 5, 7 y 9 Grados Áreas Muestra Lenguaje Matemáticas Lenguaje Matemáticas Factores asociados Lenguaje Matemáticas Ciencias Naturales, Ciencias Sociales Competencias Ciudadanas Factores asociados 21.000 estudiantes de primaria de 13 departamentos 22.000 3 y 5 grado; 15.000 7 y 9 grado Muestra representativa a nivel nacional y 6 regiones 2
SABER: Evaluaciones Censales Año aplicación 2002-03 5 y 9 grado 2005-06 5 y 9 grado 2009 5 y 9 grado Grados Áreas Población Lenguaje Matemáticas Ciencias naturales Competencias ciudadanas Lenguaje Matemáticas Ciencias naturales Ciencias sociales Competencias ciudadanas Lenguaje Matemáticas Ciencias naturales Factores asociados 1.030.626 estudiantes 33.652 instituciones 1.066.640 estudiantes 20.756 instituciones 1.117.000 estudiantes 17.000 instituciones 3
Etapas. Etapas y actividades de SABER 5 y 9, edición 2009 1. Diseño de SABER, proyectado para 12 años (2009 a 2021) 2. Diseño y desarrollo de los instrumentos de evaluación 3. Aplicación definitiva de las pruebas y cuestionarios 4. Procesamiento de resultados 5. Equiparación resultados históricos 6. Producción de reportes y divulgación de resultados Actividades 1. Operativo de la aplicación censal. 2. Operativo de la aplicación muestral. 3. Estudio de factores asociados. 4
Qué se evalúa en SABER 5 y 9 2009 Evaluación alineada con los estándares básicos de competencia del MEN Resultados posibilitan el monitoreo de los avances en el tiempo y son un insumo para el diseño de estrategias específicas de mejoramiento Evalúa las competencias en lenguaje, matemáticas y ciencias naturales que han desarrollado los estudiantes hasta 5 grado (ciclo de básica primaria) y hasta 9 grado (ciclo de básica secundaria). Prueba estandarizada de lápiz y papel No es posible evaluar todas la competencias establecidas en los estándares 5
Pruebas estructuradas bajo la metodología conocida como diseño de especificaciones basado en el modelo de evidencias. 6
Ciclo 1º a 5º, Ciencias Naturales ESTÁNDAR COMPETENCIA COMPONENTE AFIRMACIÓN Identifico estructuras de los seres vivos que les permiten desarrollarse en un entorno y que puedo utilizar como criterios de clasificación Uso del conocimiento científico Entorno vivo Analiza algunas diferencias y semejanzas de las características de los seres vivos 7
ESTÁNDAR COMPETENCIA COMPONENTE AFIRMACIÓN Explico la variabilidad en las poblaciones y la diversidad biológica como consecuencia de estrategias de reproducción, cambios genéticos y selección natural Uso del conocimiento científico Entorno vivo Analiza el funcionamiento de los seres vivos en términos de sus estructuras y procesos Ciclo 6º a 9º, Ciencias Naturales 8
Competencias y componentes evaluados Área Competencias Componentes Lenguaje Comunicativa Proceso de lectura Proceso de escritura Semántico Sintáctico Pragmático Matemáticas Razonamiento y argumentación Comunicación, representación y modelación Planteamiento y resolución de problemas Numérico-variacional Geométrico-métrico Aleatorio Ciencias Naturales Uso comprensivo del conocimiento científico Explicación de fenómenos Indagación Entorno vivo Entorno físico Ciencia, tecnología y sociedad (CTS) 9
Población evaluada en 2009 Operativo censal Grado Calendario Estudiantes Establecimientos Quinto Noveno Operativo muestral controlado A 595.768 13.233 B 64.103 2.248 Total 659.871 15.481 A 409.227 7.044 B 48.528 913 Total 457.755 7.957 Grado Calendario Estudiantes Establecimientos Quinto Noveno A 73.658 986 B 28.106 453 Total 101.764 1.439 A 61.781 850 B 24.778 366 Total 86.559 1.216 10
Población evaluada en 2009 Factores asociados Grado Calendario Población Estudiantes Docentes 5 grado 5.454 9 grado 5.704 Total 11.158 5 grado 301 9 grado 294 Total 595 Aulas Total 596 Sedes-jornada Total 266 Rectores Total 122 11
Instrumentos utilizados Pruebas: se aplicaron pruebas en matemáticas, lenguaje y ciencias, en 5 y 9 grado, para un total de 6 pruebas. Cada una de estas pruebas se califica separadamente, aunque siguiendo los mismos patrones de procesamiento. Numero de Ítems Bloques Ítems por Bloque Área 5 9 5 9 5 9 Matemáticas 192 216 8 8 24 27 Lenguaje 144 216 8 8 18 27 Ciencias 192 216 8 8 24 27 Cada estudiante contestó pruebas de dos de las tres áreas evaluadas. 5 grado respondieron 84 o 96 ítems, en una sesión de 180 minutos 9 grado respondieron 108 ítems, en una sesión de 180 minutos de duración. Todas las preguntas utilizadas en las pruebas son de selección múltiple con única respuesta. En cada pregunta se presenta el enunciado y cuatro opciones de respuesta, denominadas A, B, C y D. Sólo una de ellas es correcta y válida con respecto a la situación planteada. 12
Cuestionario sociodemográfico: Consta de 13 preguntas que indagan por: edad, género, condición de discapacidad, bilingüismo en alguna lengua indígena, modelo educativo, antecedentes educativos de los padres y algunas condiciones del hogar Cuestionarios de factores asociados Cuestionario de estudiantes Cuestionario de docentes Cuestionario de rectores Ficha de observación del aula Ficha de observación del establecimiento educativo 13
Resultados SABER 5 y 9 Resultados censales: Retroalimentar a los establecimientos educativos y las administraciones municipales y departamentales, dando elementos para la formulación y/o reorientación de sus planes de mejoramiento. Resultados muestrales: Estimar con márgenes de error bajos el estado de las competencias de los estudiantes de educación básica y secundaria y las diferencias entre diversos grupos Consolidar una línea de comparación hacia el futuro que facilitará el seguimiento de los avances en la calidad de la educación colombiana. Resultados históricos Establecer una comparación entre resultados de aplicaciones anteriores 14
Tipos de resultados Puntajes promedio: Independiente para cada grado y área. Para la calificación se empleó la Teoría de Respuesta al Ítem (TRI) de dos parámetros y la metodología de valores plausibles Desviación estándar: Medida de la dispersión de los resultados Niveles de desempeño: Describen las competencias de los estudiantes en cuanto a lo que saben y saben hacer en una determinada área y grado Desagregaciones: Sector (Oficial, No oficial) Zona (Urbano, Rural) Interacción sector-zona (Oficiales urbanos, oficiales rurales y no oficiales) Género Nivel socioeconómico (Cuatro categorías) 15
Niveles de desempeño Tipo de resultados que permiten observar la clasificación a los estudiantes según el desempeño alcanzados en cada una de las áreas evaluadas. Describen las competencias de los estudiantes en cuanto a lo que saben y saben hacer según la prueba en cada área evaluado y grado. 16
Globales: Características de los niveles de desempeño Se encuentran definidos para la prueba total y no para competencias y componentes específicos. Jerárquicos: Significa que tienen complejidad creciente. Por tanto, el nivel avanzado es más complejo que el satisfactorio y, a su vez, este último es más complejo que el mínimo. Inclusivos Para ubicarse en un nivel determinado es necesario superar los niveles precedentes 17
Descripción general de los niveles de desempeño Mínimo Avanzado Satisfactorio El estudiante promedio ubicado en este nivel muestra un desempeño sobresaliente en las competencias esperadas para el área y grado evaluado. El estudiante promedio ubicado en este nivel tiene un desempeño adecuado en las competencias exigibles para el área y grado evaluado. Este es el nivel esperado que todos, o la gran mayoría de los estudiantes, debería alcanzar. El estudiante promedio ubicado en este nivel muestra un desempeño mínimo en las competencias exigibles para el área y grado evaluado. Insuficiente El estudiante promedio ubicado en este nivel no demuestra los desempeños mínimos establecidos. 18
Resultados Censales Objetivos Tipos de resultados Bases de datos Información adicional 19
Objetivos Retroalimentar y dar elementos a los establecimientos educativos, así como a las administraciones municipales y departamentales, para la formulación o reorientación de sus planes de mejoramiento. 20
Información que provee Los resultados en lenguaje, matemáticas y ciencias naturales de un establecimiento educativo y sus respectivas sedes y jornadas, en quinto o noveno grado. Los resultados agregados de las instituciones educativas a nivel de municipios, departamentos y entidad territorial en lenguaje, matemáticas y ciencias naturales para quinto y noveno grado. Los resultados de las instituciones educativas a nivel de municipios, departamentos y entidades territoriales desagregados por sector, zona, género y nivel socioeconómico en lenguaje, matemáticas y ciencias naturales para quinto y noveno grado. Las fortalezas y debilidades de las instituciones educativas en las competencias y componentes evaluados. 21
Tipos de resultados Puntajes promedio: media de los promedios ponderados de cada valor plausible de los estudiantes de la institución. Desviaciones estándar: media de las desviaciones estándar ponderadas de cada valor plausible de los estudiantes de la institución Distribuciones según niveles de desempeño: porcentajes de estudiantes en cada nivel de desempeño. Estos se ubican en sólo un nivel de desempeño según la mediana de sus valores plausibles. Fortalezas y debilidades en las competencias y componentes evaluados: categorización de la diferencia entre el promedio de los estudiantes en cada competencia y componente de acuerdo con el valor esperado para los colegios de un rendimiento similar en esa misma área y grado. Resultados discapacitados: Número de estudiantes con discapacidad cognitiva ubicados en cada nivel desempeño de acuerdo con la mediana de sus valores plausibles. Estos estudiantes no se incluyen para el cálculo de los otros resultados de la institución. 22
Modelo entidad de relación 23
Bases de datos Base de datos con resultados censales Resultados por Entidad Territorial Resultados por Municipios Resultados por Departamentos Resultados por Establecimiento Educativo Resultados por Sede-jornada BASE DE DATOS 24
Bases de datos Bases Tablas Variables Resultados por Entidad Territorial Resultados por Municipios Resultados por Departamentos Evaluados discapacitados Evaluados modelo educativo Ficha técnica Resultados Resultados género Resultados NSE Resultados Sector Resultados Zona Resultados Discapacitados Id Id_municipio Nombre Grado Caso Total Áreas* Grado Presentes* Ausentes* Copia_eval* Copia_inst* Subtipo* Área Grado Peso Promedio* Desviación* Rango (1-6) BASE DE DATOS 25
Bases de datos Bases Tablas Variables Entidad_territorial Id_ente Nombre Municipios_incluidos Municipios_excluidos Evaluados Discapacitados Evaluados Ente Educativo Id Id_municipio Nombre Grado Caso Total Áreas* Resultados por Establecimiento educativo Ficha_tecnica Institución Grado Presentes* Ausentes* Ente_id Id_institucion Id_municipio Nombre Copia_eval* Copia_sede* Direccion Nivel_socio Zona Sector Resultados Resultados_ Discapacitados Subtipo* Área Grado Peso Promedio* Desviación* Rango (1-6) BASE DE DATOS 26
Bases Tablas Variables Resultados por Sede jornada BASE DE DATOS Entidad_territorial Evaluados Discapacitados Evaluados Ente Educativo Ficha_tecnica Institución Sede Resultados Resultados_ Discapacitados Id_ente Nombre Id Id_municipio Nombre Grado Grado Presentes* Ausentes* Ente_id Id_institucion Id_municipio Nombre Id_sede Codidodane_inst Codigodane_sede Subtipo* Área Bases de datos Municipios_incluidos Municipios_excluidos Caso Total Áreas* confiable* Copia_eval* Direccion Nivel_socio Zona Sector Jornada Nombre Direccion Grado Peso Rango (1-6) 27
Recomendaciones No combinar resultados por grado No combinar resultados por áreas No combinar resultados censales, muestrales e históricos Usar los pesos en los casos en que se encuentran disponibles Usar los valores plausibles en los casos en que se encuentran disponibles Tener en cuenta las unidades de análisis Censal: instituciones No realizar comparaciones entre diferentes aplicaciones de SABER 5º y 9º 28
Información adicional http://www.icfes.gov.co/investigaci on/informes-de-resultados-deevaluaciones-nacionales 29