Encuesta de satisfacción del Programa de Nivelación Académica Centro de Estudios División de Planificación y Presupuestos Ministerio de Educación Noviembre de 2012
Objetivo del estudio y aspectos metodológicos Conocer la percepción y grado de satisfacción tanto de los estudiantes directamente beneficiados por el Mineduc, como de los estudiantes beneficiados por cada IES, en relación al Programa de Nivelación Académica (PNA) ejecutado a lo largo del año 2012 en 16 instituciones de educación superior. Encuesta Online a alumnos del PNA Metodología Población objetivo Unidad de análisis Respuestas (N) 424 Cuantitativa, a través de SurveyMonkey 1.136 alumnos del programa Estudiantes Tasa de respuesta 37,3% Fecha aplicación Pretest: 16.08 al 22.08 Aplicación 1: 3.09 al 12.09 Aplicación 2: 7.09 al 20.09 Tipo de preguntas Escala Likert:muy de acuerdo, de acuerdo, en desacuerdo, muy en desacuerdo. Aspectos institucionales, académicos, de satisfacción, preguntas generales.
Encuestas enviadas y recibidas por institución Muestra: 1.136 encuestas enviadas y 424 válidamente recibidas (37,3%) 100% 90% 90% 80% 70% 60% 50% 40% 30% 50% 49% 44% 44% 43% 35% 34% 31% 31% 31% 31% % de respuesta 26% 26% 22% 20% 13% 10% Enviadas Recibidas 0% PUC UCSH UBB UTFSM USSeba UFRO PUCV UCSConce USACH UdelPac UVM UTEM CFTAB UdeCH UdeConce UAP 50 58 139 45 50 70 88 90 110 49 121 59 19 57 77 54 45 29 68 20 22 30 31 31 34 15 37 18 5 15 17 7
Nota de 1 a 7 al PNA, donde 1 es la peor nota y 7 la mejor (% de respuestas) Muestra: 392 casos válidos Menor que 4: 11% 17% 4% 2% 5% Mayor o igual a 6: 53% 10% Mayor o igual a 4 y menor que 6: 36% 36% 26% Área de estudio Cantidad de alumnos Nota promedio* Ciencias sociales y humanidades 136 5,2 Educación 41 5,5 Ingenierías 126 5,2 Ciencias 89 5,6 Total 392 5,3 * Test de mediasindican que, en general, son similares entre sí 1 2 3 4 5 6 7
Aspectos institucionales del PNA
Aspectos institucionales del PNA La información de difusión inicial fue suficiente? La información de difusión inicial influyó en mi decisión de participar? 12% 5% 32% 17% 4% 34% 51% De acuerdo y muy de acuerdo: 83% 45% De acuerdo y muy de acuerdo: 79% He notado compromiso y respaldo efectivo de las autoridades de la institución 6% 15% 35% Muy de acuerdo De acuerdo En desacuerdo Muy en desacuerdo 44% De acuerdo y muy de acuerdo: 79%
Aspectos académicos del PNA
Aspectos académicos del PNA El PNA aborda las áreas académicas en que tengo mayores deficiencias de formación Los contenidos impartidos han sido útiles para mi desempeño académico 14% 5% 35% 13% 6% 32% 46% De acuerdo y muy de acuerdo: 81% 49% De acuerdo y muy de acuerdo: 81% El PNA me otorga una adecuada orientación y acompañamiento académico La labor docente de los profesores del PNA es pertinente 14% 5% 32% 10% 6% 35% 49% De acuerdo y muy de acuerdo: 81% 49% De acuerdo y muy de acuerdo: 84% Muy de acuerdo De acuerdo En desacuerdo Muy en desacuerdo
Satisfacción con el PNA
Satisfacción con el PNA Participar en el PNA ha contribuido a mi integración con los compañeros Participar en el PNA me ha permitido establecer una mayor cercanía con los académicos 21% 5% 26% 27% 6% 21% 48% De acuerdo y muy de acuerdo: 74% 46% De acuerdo y muy de acuerdo: 67% He observado discriminación de parte de académicos hacia estudiantes del PNA 5% 10% Muy de acuerdo De acuerdo 53% 32% En desacuerdo Muy en desacuerdo En desacuerdo y muy en desacuerdo: 85%
Satisfacción con el PNA (cont.) Siento la confianza para acudir a los profesionales del PNA por algún problema académico Recomendaría a otros estudiantes que participen del PNA 15% 5% 31% 7% 6% 36% 51% 49% De acuerdo y muy de acuerdo: 80% De acuerdo y muy de acuerdo: 87% Muy de acuerdo De acuerdo En desacuerdo Muy en desacuerdo
Preguntas generales sobre el PNA Muestra: 392 casos válidos El PNA ha cumplido con mis expectativas Estoy feliz con la carrera que estoy estudiando 2% 18% 6% 23% 26% 5% 67% 53% De acuerdo y muy de acuerdo: 76% Muy de acuerdo De acuerdo En desacuerdo Muy en desacuerdo De acuerdo y muy de acuerdo: 93%
Análisis de Pregunta abierta: Señala algunos aspectos que consideras relevantes para mejorar el Programa Gobierno de Chile Ministerio de Educación
Análisis de pregunta abierta Muestra: 333 casos válidos Trabajo inductivo; clasificación de categorías a las respuestas abiertas. Se codificaron las respuestas y se agruparon en categorías más amplias: se llegó a 12 categorías. Se realizó un análisis de correspondencias múltiple (ACM) para identificar patrones, agrupamientos y asociaciones de manera visual. Buena evaluación del programa: más de un quinto de quienes respondieron dijeron que el programa no tiene defectos o que no tenían nada que decir. Es llamativo que, pese a la buena evaluación, tal nivel de alumnos no identifique o proponga espacios de mejora. Se pide con frecuencia coordinar el programa con el inicio de clases y con los horarios de la respectiva carrera, aumentar su duración y flexibilizar sus horarios. Se pide incrementar la cobertura temática del programa y mejorar la concordancia entre los contenidos de éste con los de la carrera del estudiante. Un 15% de los comentarios hablan sobre falta de compromiso o interés de parte de los tutores del programa.
Algunas respuestas escogidas Creo que está bien el programa de nivelación pero si hubiera reforzamiento de física y química me ayudaría harto. Ampliar la cobertura de materias y carreras. Mujer, institución CRUCH, beca MINEDUC. No tengo aspecto del cual pedir que se mejore el Programa, ya que me ha sido de mucha ayuda. No tiene problemas o comentarios Mujer, institución CRUCH, beca IES Soy estudiante de Relaciones Públicas y mi monitora era estudiante veterinaria, por lo que a mi no me ayudaba demasiado, aunque siempre tuvo la disposición de enseñar; un aspecto relevante seria que los monitores tuvieran que ver con la carrera de estudio. Mayor complementariedad entre programa y carrera Hombre, institución CRUCH, beca MINEDUC. Considero que el programa no debería durar solo un año, debería por lo menos extenderse los 2 primeros años de la carrera. Aumentar horarios y duración del programa Hombre, institución CRUCH, beca MINEDUC Es perfecto! No tiene problemas o comentarios Mujer, institución NO CRUCH, beca IES Mayor flexibilidad de horarios al momento de organizar las charlas, y hacerlas a nivel de grupos ya que existiría mas confianza ya que los pertenecientes a una misma sección se conocen y pueden compartir mas cómodamente. Flexibilizar los horarios y eliminar obligatoriedad. Mujer, institución CRUCH, beca MINEDUC
Cuadro de categorías conjuntas Muestra: 333 casos válidos
Análisis del cuadro de categorías conjuntas Las demandas por mayor cercanía y compromiso de tutores, mayor extensión del programa y mejorar la entrega de información son más frecuentes en las instituciones CRUCH y entre hombres. En instituciones que no forman parte del CRUCH, es más frecuente el pedido de flexibilizar horarios y eliminar la obligatoriedad del programa. Entregar materiales y técnicas de estudio aparece más asociado a las mujeres. El resto de las categorías no muestra una asociación clara con ninguna de las dos variables de clasificación usadas para el análisis (pertenencia al CRUCH y sexo).
Análisis de regresión del PNA
Antecedentes Qué factores explican el rendimiento del alumno al cabo del primer semestre? Variable dependiente: rendimiento en primer semestre en niveles (nota 1 a 7). Variables independientes: Características educacionales del alumno: sexo, notas de enseñanza media, resultados PSU 2011, área de estudios. Características socio económicas y demográficas del alumno: CASEN 2007 (a padres) se usa información de ingresos, educación de los padres, cantidad de libros en el hogar, etc., sexo, zona, quintil de ingresos. Características institucionales: dependencia del establecimiento, si institución es CRUCH o no CRUCH, tipo de focalización. Modelo lineal por MCO; robusto a heterocedasticidad, sin multicolinealidad, sin variables relevantes omitidas.
Modelo para explicar rendimiento académico en el primer semestre Variables independientes Valore Nota enseñanza Media 0,36** Cruch -0,664*** PSU lenguaje 0,00118* PSU matemática 0,00299*** Beca Mineduc 0,153 Educación 0,508*** Ingenierías -0,545*** Ciencias -0,368*** Quintil 2-0,0401 Quintil 3-0,151 Quintil 4 0,373 Constante 0,959 p<0.05, ** p<0.01, *** p<0.001 N=381, R2=0,28 Una décima más en la nota de enseñanza media explica 3,6 décimas más en la universidad. Si estudia en una IES CRUCH se esperan 6 décimas menos que si no lo hace. Cada 100 puntos PSU lenguaje y 100 puntos PSU matemática explican 1,1 y 2,9 décimas más, respectivamente, de rendimiento en el primer semestre. Respecto a los que estudian ciencias sociales y humanidades, estudiar carreras relacionadas con educación explican 0,5 décimas más en el primer semestre y carreras de ingeniería y ciencias explican 5 y 3,6 décimas menos respectivamente. El quintil es relevante pero no es significativo para explicar el rendimiento al cabo del primer semestre. Variables socio económicas (SIMCE 2007) no resultaron relevantes ni significativas.
Conclusiones
Principales conclusiones Buena valoracióndel programa entre los alumnos encuestados: nota promedio es 5,3. En términos institucionales la información de difusión inicialdel programa es percibida, en general, como suficiente (83%), influyó en la decisión de participar de los alumnos (79%) y el compromiso de las autoridadescon el programa es percibido como alto en general (79%). En términos académicos, en general los alumnos consideran que el PNA aborda las áreas con mayores deficiencias de formaciónde los alumnos (81%), que sus contenidos son útilespara las carreras que estudian (81%), que otorga orientación y acompañamientoacadémico (81%), que la labor docente en el PNA es pertinentepara abordar sus necesidades académicas (84%) y que se ajusta a las necesidades específicasde sus carreras (77%).
Principales conclusiones (cont.) En términos de satisfacción con el PNA, los alumnos indican que les ha ayudado a integrarsecon los compañeros, que no observan discriminación por parte de los académicos(85%), que manifiesta confianzapara acudir a los profesionales del PNA(80%) y que lo recomendaríana otros estudiantes (87%). La mayoría considera que el PNA ha cumplido con sus expectativas(76%) y la mayoría, además, está feliz con la carrera que está estudiando (93%). Mejores notas promedio y mejor evaluación general entre alumnos de IES no CRUCH, de áreas de educacióny cienciasy entre alumnos seleccionados por las propias IES.
Lo que viene El presente estudio levanta un diagnóstico. Sesgo de selección en las respuestas? Hay temas en que se deben profundizar; falta un estudio cualitativoen terreno mediante aplicación de entrevistas y ejecución de grupos focales con actores relevantes. Importante una evaluación de impacto del programa: Evaluar rendimiento y retención de los alumnos Identificar grupo de comparación Requiere apoyo administrativo de las IES Sistema de seguimiento y evaluación permanentedel Programa para la cohorte actual y las nuevas cohortes. Aplicación de esta encuesta a una nueva cohorte en septiembre de 2013.