Medición de Nuevos Atributos para el Sistema de Admisión a la Educación Superior en Chile

Transcripción

1 Medición de Nuevos Atributos para el Sistema de Admisión a la Educación Superior en Chile Verónica Santelices, Darinka Radovic, Ximena Catalán Conferencia Internacional Admisión a la Educación Superior Santiago, 7 de Junio

2 1. Objetivos del proyecto Desarrollar y validar los nuevos instrumentos que midan atributos adicionales en los postulantes con el objetivo de dar panorama más completo de su perfil. Nuevos Instrumentos: Lo más neutros posibles en términos de NSE y Género Dar una señal a los colegios acerca de los atributos valorados por las universidades 2

3 2. Medición de atributos complementarios Admisión Criterios, como las dos caras de una moneda 3

4 2. Medición de atributos complementarios Por una lado selecciona alumnos para la experiencia universitaria 4

5 2. Medición de atributos complementarios Por el otro, modela según atributos buscados en los postulantes 5

6 2. Medición de atributos complementarios Indicadores sobre atributos personales son relevantes para las instituciones: complementan criterios académicos tradicionales (Breland, Maxey, Gernand, Cumming, & Trapani, 2001; Rigol, 2003; Zwick & Grief Greene, 2007; Oswald et al. 2004; Perfetto, 1999) Encuesta sobre Prácticas de Admisión USA: Practica extendida a instituciones públicas (Breland et al. 2001; 2000) La evidencia confirma la importancia de las habilidades no cognitivas para el éxito en la escuela y en el lugar de trabajo (Heckman & Rubinstein, 2001; P. C. Kyllonen, 2005) Estudios sobre predicción e impacto adverso (Sternberg, 2004; Camara, 2005; Cliffordson & Askling, 2006; Oswald et al. 2004; Schmitt 2009; Willingham, 1985): Diferencias más pequeñas en el desempeño de estudiantes de distintos NSE Incremento moderada en predicción de resultados académicos de corto y largo plazo Mejora la predicción definiciones más amplias de éxito universitario (liderazgo y participación cívica, persitencia y tasas de graduación) 6

7 Dimensión Instrumento Tipo de respuesta Pensamiento Crítico Motivación para: desarrollo personal, desarrollo intelectual y desarrollo social Habilidades metacognitivas, habilidades sociales y proactividad Ensayo de Pensamiento Crítico (1 tema, de 2) Contenido (análisis del argumento, argumento, contra argumento, tesis) Aspectos formales (ortografía, vocabulario, uso de oraciones, uso de párrafos) Formulario Ampliado de Postulación (1) Actividades extraprogramáticas (a) Diversidad de la motivación (b) Nº de años de la participación (c) Perseverancia en actividades (2) Honores y premios (3 Liderazgo (tipo, efectividad) (4) Explicación si no realizó actividades Ejercicio de Reflexión Personal (1) enfrentar dificultades (2) perseverancia (3) percepción de auto eficacia (4) locus de control (5) aprender de la experiencia Cuestionarios Estandarizados (1) Habilidades metacognitivas (2) Habilidades sociales (3) Proactividad Ensayo (10 dimensiones en una escala de cuatro puntos) Preguntas abiertas (escala de 5 ptos.) (escala de 3 ptos.) (escala de 5 ptos.) (binaria) (escala de 4 ptos.) (2*abiertas) (sin puntuación) Ensayo (evaluación de 3 ptos.) (evaluación de 3 ptos.) (evaluación de 3 ptos.) (evaluación de 3 ptos.) (evaluación de 3 ptos.) Escalas Likert de 4 puntos 18 ítems 20 ítems 8 ítems

8 3. Preguntas de investigación y diseño Preguntas de investigación Validez y confiabilidad de los nuevos instrumentos (2 versiones: 2008 y 2009; 2 situaciones: con y sin consecuencias) Relación entre el desempeño en los nuevos instrumentos y las características sociodemográficas de los estudiantes, el desempeño académico, el desempeño no académico, los indicadores de admisión actuales. Diseño Estudio Alumnos completan 6 instrumentos + escala Deseabilidad Social Reporte de Terceros: reporte profesor jefe (escolares) + reporte tercero (universitarios) Indicadores éxito no académico: Seguimiento un año después (transición y adaptación, satisfacción, expectativas y actividades extraprogramáticas). Cruce con Encuesta Jóvenes, Religión y Cultura. Éxito Académico: promedio ponderado acumulado y persistencia (éxito académico) 8

9 4. Metodología Análisis: Desempeño en los ítems, consistencia interna, acuerdo entre jueces, análisis factorial, deseabilidad social Correlación entre instrumentos, correlación con los indicadores actuales de admisión, correlación con el cuestionarios del profesor o de una tercera persona en las mismas dimensiones Predicción del éxito académico y de éxito no académico (participación en actividades y grupos) Diferencias estandarizadas en el desempeño de alumnos de distintos NSE Simulación del puntaje de los alumnos en el sistema actual y en un hipotético nuevo sistema de admisión Diferencias desempeño situación con y sin consecuencias 9

10 5. Muestra (1) Total: aproximadamente estudiantes, 52% hombres, 18 años edad 2008 N=1.415 estudiantes de primer año de 4 universidades (40% Santiago, 39% Valparaíso y 20% Concepción, variando en sus grados de selectividad) y 7 carreras (Educación, Ingeniería, Agricultura, Enfermería, Bachillerato en Cs. Sociales y Humanidades, Medicina, Arquitectura) N=1.568 estudiantes de 4º medio de 20 colegios en Santiago, aprox. 42% de colegios municipales, 26% de colegios particulares subvencionados y 31% de particulares pagados 10

11 5. Muestra (2) 2009 N=700 estudiantes de 4º medio de 20 colegios, en Santiago y en las regiones V, VIII, X y XIV: 13 colegios municipales, 3 colegios particulares pagados y 4 particulares subvencionados completaron la versión 2008 de los instrumentos N=800 estudiantes de 4º medio de las mismas escuelas completaron la versión 2009 de los instrumentos 2010 N=150 estudiantes de primer año de Ingeniería de la UC N=150 estudiantes postulando a la UC vía Admisión Especial 11

12 Resultados Principales 12

13 Validez Predictiva de los instrumentos: Promedio Ponderado Batería de pruebas nuevas reducen la varianza no explicada total entre 1.7 y 3.4 porciento del Promedio Ponderado Acumulado de 1er, 2do y 3er año. Contribución es principalmente del Ensayo Pensamiento Crítico y la prueba de Estrategias Metacognitivas. Muestra incluye alumnos novatos evaluados en año 2008 en UC, UdeC, USACH y UFSM. La contribución de pruebas nuevas se compara con la predicción de NEM, PSU Mat y PSU Lenguaje (PSU) y considera estructura anidada de Promedio Ponderado Acumulado. Resultados varían dependiendo de si se consideran variables sociodemográficas (NSE) o no.

14 Validez Predictiva: Persistencia Instrumento Piloto no explican porcentaje importante deserción excepto por prueba de Proactividad. Proactividad predice persistencia al 2do año pero no al 3ero. Habilidades metacognitivas en el límite de la significancia estadística para el 3er año+formulario en el límite de la significancia estadística para 3er año Social Abilities contribuye negativamente to the prediction of persistence. PSU Mat predice persistencia, más que el azar SES no es estadísticamente significativo. 14

15 Validez Predictiva: Otras Medidas de Experiencia Universitaria Al final de una clase, puedo recordar la mayor parte de los conceptos importantes Como estudiante, creo que soy capaz de aportar a las clases en que participo Me siento bien cuando hago trabajos, tareas u otras actividades relacionadas con mis estudios Puedo explicar a mis compañeros los conceptos importantes tratados en una clase Autoeficacia (índice) Número de grupos en los que participa Habilidades Metacognitivas Pearson,298 Correlation ** N 124 Pearson,192 Correlation * N 124 Pearson,205 Correlation * N 124 Pearson,328 Correlation ** N 123 Pearson,273 Correlation ** N 126 # Actividades Formulario Extendido Correlación,306 de Pearson ** N 190 Correlación entre respuestas en 2009 (1er año) y en estudio 2010 (2do año) Jóvenes, Cultura & Religión, muestra UC. 15

16 Diferencias Estandarizadas Puntajes (Brecha) Entre establecimientos privados y municipalizados N privados N publicos Media privado Media Publico Difference (Private-Public) t value Tamaño efecto (r) Formulario Aplicacióm ,24-0,21 0,44 11,79** 0,22 Ensayo Pensamiento Crítico- Contenido ,28-0,13 0,41 9,94** 0,20 Ensayo Pensamiento Crítico_ Aspectos Formales ,15-0,01 0,16 3,79** 0,08 Ensayo Pensamiento Crítico ,30-0,11 0,41 9,94** 0,20 Reflexión Personal ,00 0,08-0,08-1,84 0,04 Estrategias Metacognitiva ,02 0,01 0,01 0,24 0,00 Habilidades Sociales ,02 0,00-0,02-0,52 0,01 Proactividad ,03-0,02 0,00-0,08 0,00 PSU Mat ,74-0,32 1,06 34,13** 0,52 PSU Verbal ,62-0,27 0,89 27,91** 0,44 NEM ,49-0,33 0,82 24,53** 0,40 ** p<.01 *p<.05 (bilateral)

17 Aplicaciones con y sin consecuencias Estructura y confiabilidad de pruebas en ambas situaciones es similar. Puntajes totales en ambas situaciones muestran: ü Mayor susceptibilidad a deseabilidad social en grupo de admisión especial reflejado en mejor desempeño en las Reflexión Personal y pruebas de Habilidades Sociales, Habilidades Metacognitivas, Proactividad y Reflexión Personal. ü Menor sensibilidad a deseabilidad social en Ensayo Pensamiento Crítico reflejado en mejor desempeño en Pensamiento Crítico. Proceso sin Consecuencias: Aplicación Septiembre 2010 a novatos Ingeniería UC (n=159, 17% mujeres, 81% particular pagado). Proceso con Consecuencias: Aplicación Noviembre 2010 como parte obligada proceso de Admisión Especial UC (n=166, 61% mujeres, 63% particular pagado).

18 Conclusiones 18

19 Conclusiones Resultados positivos en términos de confiabilidad y validez: el ensayo de pensamiento crítico, el formulario de postulación ampliado y la prueba de estrategias metacognitivas. -Desempeño en estos instrumentos se relaciona con el reporte concurrente del profesor -Ayuda a predecir resultados académicos en magnitudes dentro de lo esperado (un delta de entre dos y cuatro puntos porcentuales en la varianza explicada) -Se relaciona con otros indicadores académicos del alumno tales como notas de educación media y el puntaje en la prueba de selección universitaria -Entregan información complementaria sobre atributos no considerados hoy en la batería de selección a la educación superior. 19

20 Conclusiones Desempeño en el ensayo de pensamiento crítico, el formulario de postulación ampliado y la prueba de estrategias metacognitivas. -Es distinto para alumnos de distinto nivel socioeconómico -Diferencias son la mitad o un tercio de lo que observamos en los indicadores de admisión utilizados actualmente. -Confiabilidad y validez de las dos primeras pruebas, y en particular ensayo de pensamiento crítico, no cambian en situaciones de deseabilidad social. 20

21 Gracias! Santelices, M.V.; Ugarte, J. J. U; Flotts, P.; Radovic, D.; Catalán, X. and Kyllonen P. (2011) Measurement of New Attributes for Chile s Admissions System to Higher Education. ETS Research Report Santelices, M. V.; Ugarte, J. J. U; Flotts, P.; Radovic, D.; Catalán, X. and Kyllonen P. (2010) Medición de Nuevos Atributos para el Sistema de Admisión a la Educación Superior en Chile. Revista Iberoamericana de Evaluación Educativa, Vol 3, No 2., Información Contacto: vsanteli@uc.cl xrcatala@uc.cl. 21

22 22