Exámenes de Estado: Pruebas Ecaes - Saber Pro Comprensión e Interpretación Pruebas Saber Pro 2011-II Criterios y Escalas Icfes Compilación, trascripción y análisis: Rodrigo Alfaro Profesor-tallerista neuropensamiento@gmail.com Móvil: 312 537 66 54
Presentación Se expone una visión general de la comprensión e interpretación de los resultados de los Exámenes de Estado de la Calidad de Educación Superior (Pruebas Saber Pro), teniendo en cuenta los criterios, los parámetros y las valoraciones psicométricas del Icfes.
Contenido Psicometría Modelos psicométricos Criterios y parámetros Objetivos Resultados: Individual Grupo de Referencia Nacional Pruebas Genéricas Pruebas Específicas-Comunes
Psicometría Teorías psicométricas utilizadas: Teoría Clásica de Test (TCT) Teoría Respecto del Ítem (TRI) Psicometrías estandarizadas: Prueba escrita Prueba de inglés
Modelos psicométricos Psicometría en TRI: Validez de los ítems Estadísticos básicos: Índice de confiabilidad Alfa de Cronbach (consistencia interna) Modelo Rasch Estimación competencia de la/el evaluada/o Estimación de la dificultad de cada ítem Programas especializados Análisis prueba escrita: Análisis autput Asignación de marcadores
Criterios y parámetros Cada Módulo se puntúa separado, esto quiere decir que no hay un puntaje único por examinado; tampoco un puntaje o calificación única por módulo; la valoración es para cada prueba. Los módulos son: Módulo de Pruebas Genéricas Modulo de Pruebas Específicas-Comunes Resultados por Módulo: Individual Grupo de referencia Nacional
Objetivos a) Comprobar el grado de desarrollo de las competencias de los estudiantes próximos a culminar los programas académicos de pregrado que ofrecen las instituciones de educación superior. b) Producir indicadores de valor agregado de la educación superior en relación con el nivel de competencias de quienes ingresan a este nivel; proporcionar información para la comparación entre programas, instituciones y metodologías, y mostrar su evolución en el tiempo. c) Servir de fuente de información para la construcción de indicadores de evaluación de la calidad de los programas e instituciones de educación superior y del servicio público educativo, que fomenten la cualificación de los procesos institucionales y la formulación de políticas, y soporten el proceso de toma de decisiones en todos los órdenes y componentes del sistema educativo.
Presentación de Resultados Individuales para Módulo de Competencias Genéricas Módulo Razonamiento Cuantitativo A manera de Ejemplo Estudiante XYZ Individual Puntaje Nivel Quintil 10,1 I Lectura crítica 10,4 III Comunicación escrita Inglés 9,7 II 9,1 A
Resultado Individual-1 Puntaje (sobre una media de 10,0 y desviación 1,0): Es el resultado cuantitativo de las respuestas de las preguntas de la prueba respectiva. El resultado que se entrega se hace con relación a la media 10, con desviación 1,0 Puntaje (promedios) en: Análisis cuantitativo Lectura crítica Inglés Comunicación escrita
Resultado Individual-2 Nivel (nivel de desempeño en escala predeterminada): El nivel de desempeño es una descripción cualitativa de las competencias que obtiene un/a Estudiante en la Prueba respectiva, sobe una escala previamente determinada Se espera que una persona ubicada en un determinado nivel demuestre las competencias de ese nivel y de los niveles inferiores Niveles en las pruebas de: Prueba de Comunicación Escrita (niveles de 1 a 8, siendo 1 el más bajo y 8 el más alto) Prueba de Inglés (niveles de A-, A1, A2, B1, B+, siendo A- el más bajo y B+ el más alto)
Resultado Individual-3 Quintiles: Los Quintiles consisten en dividir el número total de Estudiantes del Grupo de Referencia que presenta cada prueba en cinco Al hacer la división, implica que cada Quintil tenga aprox. el 20% de las-os evaluadas-os de esa Prueba según el Grupo de Referencia Los Quintiles se describen con números romanos: I, II, III, IV, V Quintiles en las pruebas de: Prueba de Análisis Cuantitativo (quintiles de I a V, siendo el Quintil I, puntaje más bajo y el V el más alto) Prueba de Lectura Crítica (quintiles de I a V, siendo el Quintil I, puntaje más bajo, y el V, más alto)
Presentación de Resultados del Grupo de Referencia para el Módulo de Competencias Genéricas A manera de Ejemplo Estudiante XYZ en relación al Grupo de Referencia Módulo Razonamiento Cuantitativo Grupo de Referencia N Promedio Desviación 18.401 10, 8 1,1 Lectura crítica 18.401 10,5 0,9 Comunicación escrita 18.401 10,2 1,0 Inglés 18.125 10,1 1,2
Resultado Grupo de Referencia-1 N Número de estudiantes que respondieron la Prueba respectiva Pruebas de: Análisis cuantitativo Lectura crítica Inglés Comunicación escrita (no se tienen en cuentan las pruebas de estudiantes que no contestan o el escrito es ilegible, esto es, que la prueba no se califica)
Resultado Grupo de Referencia-2 Promedio: es el promedio de las-os Estudiantes que respondieron la respectiva Prueba del Grupo de Referencia Pruebas de: Análisis cuantitativo Lectura crítica Inglés Comunicación
Resultado Grupo de Referencia-3 Desviación (desviación estándar): Es una medida que permite apreciar la dispersión de los puntajes de Estudiantes que presentaron la prueba respectiva del Grupo de Referencia Se interpreta como la magnitud en que la mayoría de Estudiantes se alejan del promedio hacia arriba o hacia abajo en la prueba respectiva del Grupo de Referencia Pruebas de: Análisis cuantitativo Lectura crítica Inglés Comunicación
Presentación de Resultados del Nacional para el Módulo de Competencias Genéricas A manera de Ejemplo Estudiante XYZ en relación al Nacional (población nacional que presento la prueba respectiva) Módulo Razonamiento Cuantitativo Nacional N Promedio Desviación 145.799 10,0 1,0 Lectura crítica 145.799 10,0 1,0 Comunicación escrita 145.799 10,1 1,2 Inglés 142.821 10,0 1,0
Resultado Nacional 1 N Número Total de Estudiantes que respondieron la Prueba respectiva a nivel nacional Pruebas de: Análisis cuantitativo Lectura crítica Inglés Comunicación escrita (no se tienen en cuentan las pruebas de estudiantes que no contestan o el escrito es ilegible, esto es, que la prueba no se califica)
Resultado Nacional - 2 Promedio: es el promedio de todas/os las/os Estudiantes que respondieron la respectiva Prueba a nivel nacional Pruebas de: Análisis cuantitativo Lectura crítica Inglés Comunicación
Resultado Nacional - 3 Desviación (desviación estándar): Es una medida que permite apreciar la dispersión de los puntajes de Estudiantes que presentaron la prueba respectiva a nivel Nacional Se interpreta como la magnitud en que todas/os las/os Estudiantes se alejan del promedio hacia arriba o hacia abajo en la prueba respectiva a nivel Nacional Pruebas de: Análisis cuantitativo Lectura crítica Inglés Comunicación
Prueba Genérica - 1 Prueba de Análisis Cuantitativo (a manera de ejemplo, Estudiante XYZ) N (número estudiantes) Puntaje Desviación Quintil Individual Estudiante XYZ 10,1 I Grupo Referencia 18.401 10,8 1,1 Nacional 145.799 10,0 1,0
Prueba Genérica - 2 Prueba de Lectura Crítica (a manera de ejemplo, Estudiante XYZ) N (número estudiantes) Puntaje Desviación Quintil Individual Estudiante XYZ 10,4 III Grupo Referencia 18.401 10,5 0,9 Nacional 145.799 10,0 1,0
Prueba Genérica - 3 Prueba de Comunicación Escrita (a manera de ejemplo, Estudiante XYZ) N (número estudiantes) Puntaje Desviación Quintil Individual Estudiante XYZ 9,7 II Grupo Referencia 18.401 10,2 1,0 Nacional 145.799 10,1 1,2
Prueba Genérica - 4 Prueba de Inglés (a manera de ejemplo, Estudiante XYZ) N (número estudiantes) Puntaje Desviación Nivel Individual Estudiante XYZ 9,1 A Grupo Referencia 18.125 10,1 1,2 Nacional 142.821 10,0 1,0
Prueba de Competencias Específicas-Comunes Cada Módulo de competencias específicas evalúa un saber hacer complejo en contexto, y está definido con base en las competencias fundamentales de formación de los grupos de programas o áreas de conocimiento Se desarrollaron módulos de competencias específicas comunes a grupos de programas, de manera que en un mismo módulo puede evaluar a estudiantes de distintos programas, independientemente del área de formación a la que pertenezcan El Modulo de Competencias Específicas-Comunes esta compuesto por Prueba/s, que pueden ser combinacióones de 1, 2, 3 o 4.
Módulos de pruebas para las Competencias Específicas-Comunes Administración en salud Atención en salud a la persona, el paciente y la comunidad Comunicación jurídica Desarrollo de soluciones de hardware y software Desarrollo e implementación de estrategias comerciales y logísticas Desarrollo e implementación de estrategias comerciales Desarrollo e implementación de estrategias logísticas Diseño en Ingeniería Elaboración de soluciones de diseño Ensamblaje, mantenimiento y operación de maquinaria y equipos Enseñar Evaluar Formar Expresión y representación gráfica Gestión de proyectos Formulación de proyectos de Ingeniería Gestión del conflicto Indagación científica 1 Indagación científica 2 Investigación en ciencias sociales Investigación jurídica Mantenimiento e instalación de software y hardware Modelación Producción agrícola Producción pecuaria Promoción y prevención en salud Proyecto arquitectura Salud y bienestar animal Sistemas sostenibles de producción agropecuaria
Prueba de Gestión de Proyectos (a manera de ejemplo) Este módulo evalúa competencias para planear, dirigir y evaluar sistemáticamente un proyecto que busca desarrollar una idea para responder estratégicamente a una situación específica. Las competencias evaluadas tienen que ver con: a) Formular proyectos, b) dirigir la implementación de un proyecto, c) evaluar el desarrollo del proyecto. En el módulo se abordan procesos relacionados con: Diagnosticar en un contexto específico la situación que se pretende mejorar con la realización del proyecto Justificar el proyecto con la situación propuesta Definir objetivos, metas y el impacto del proyecto Determinar la viabilidad y factibilidad del proyecto Determinar estrategias y metodologías Coordinar la provisión y el uso de los recursos necesarios. Hacer el seguimiento del proyecto. Establecer y aplicar metodologías de evaluación y procedimientos de análisis Analizar la información relativa al cumplimiento al propósito del proyecto Documentar el proyecto
Desarrollo e implementación de estrategias comerciales y logísticas (a manera de ejemplo) Este módulo evalúa competencias para realizar operaciones comerciales y logísticas de productos y servicios, según los requerimientos legales, de calidad, seguridad y demás establecidos por el contexto mercantil. En el módulo se abordan procesos relacionados con: a) conocer los requerimientos de calidad, seguridad y normatividad legal y aplicarlos en el diseño y desarrollo de estrategias comerciales y logísticas, b) determinar las actividades que respondan a la mezcla del marketing en función de los objetivos de la empresa, de las condiciones del mercado y la competencia. a) Conocer los requerimientos de calidad, seguridad y normatividad legal y aplicarlos en el diseño y desarrollo de estrategias comerciales y logísticas. Evalúa desempeños como: Definir y caracterizar los requerimientos de calidad, seguridad y normatividad legal vigente en las operaciones logísticas comerciales. Establecer la logística y distribución física necesaria para la fabricación y comercialización de los productos Aplicar los requerimientos de calidad, seguridad y normatividad legal vigente en las operaciones logísticas comerciales. Integrar la logística y distribución física necesaria para la fabricación, y comercialización de los productos. b) Determinar las actividades que respondan a la mezcla del marketing en función de los objetivos de la empresa, de las condiciones del mercado y la competencia. Evalúa desempeños como: Establecer las estrategias y actividades adecuadas para la comercialización de un producto o servicio
Presentación de Resultados Individuales para Módulo de Competencias Específicas-Comunes-1 A manera de Ejemplo Estudiante XYZ Referencia: Universitario (Pregrado) en Administración, Contaduría y Afines (Módulo 55) Módulo 55 Desarrollo e implementación de estrategias comerciales y logísticas Individual Puntaje Nivel Quintil 8,9 I Gestión de Proyectos 10,5 IV
Presentación de Resultados Individuales para Módulo de Competencias Específicas-Comunes-2 A manera de Ejemplo Estudiante XYZ Referencia: Universitario (Pregrado) en Administración, Contaduría y Afines (Módulo 55) Módulo 55 Desarrollo e implementación de estrategias comerciales y logísticas Grupo de Referencia N Promedio Desviación 10.310 10,0 1,0 Gestión de Proyectos 15.455 10,0 1,0
Presentación de Resultados Individuales para Módulo de Competencias Específicas-Comunes-3 A manera de Ejemplo Estudiante XYZ Referencia: Universitario (Pregrado) en Administración, Contaduría y Afines (Módulo 55) Módulo 55 Desarrollo e implementación de estrategias comerciales y logísticas N a c i o n a l N Promedio Desviación 10.310 10,0 1,0 Gestión de Proyectos 20.374 10,0 1,0
Resultados Individual para el Módulo de Competencias Específicas-Comunes Prueba de Desarrollo e implementación de estrategias comerciales y logísticas (a manera de ejemplo, Estudiante XYZ) N (número estudiantes) Promedio Desviación Quintil Individual Estudiante XYZ 8,9 I Grupo Referencia 10.310 10,0 1,0 Nacional 10.310 10,0 1,0
Resultados Individual para el Módulo de Competencias Específicas-Comunes Prueba de Gestión de Proyectos (a manera de ejemplo, Estudiante XYZ) N (número estudiantes) Promedio Desviación Quintil Individual Estudiante XYZ 10,5 IV Grupo Referencia 15.455 10,0 1,0 Nacional 20.374 10,0 1,0
Presentación Resultados Individuales (a manera de ejemplo, 2011-II)
Comunicación e Información: Rodrigo Alfaro V. Fil. U. Nacional de Colombia MA en Educación. U. de Sherbrooke (Q) Consultor Internacional Teléfono Móvil: 320 487 65 92 Correo: neuropensamiento@gmail.com Correo: lectura@neuropensamiento.com Twitter: @neurolenguaje www.neuropensamiento.pt