Indicadores de calidad de los títulos universitarios. Evaluación y análisis mediante sistemas de ayuda a la toma de decisiones

Transcripción

1 Indicadores de calidad de los títulos universitarios. Evaluación y análisis mediante sistemas de ayuda a la toma de decisiones M. Zorrilla, E. Mora, J. L. Crespo Departamento de Matemática Aplicada y Ciencias de la Computación Escuela Técnica Superior de Ingenieros Industriales y de Telecomunicación

2 Introducción Búsqueda de parámetros de acreditación de las titulaciones a través de la gestión de calidad de las universidades. Se trata de cuantificar ciertas características en términos relativos, normalmente el cociente de dos magnitudes expresado en tanto por ciento. Por su interés, se incluyen algunos indicadores propios de la universidad además de los específicos de las titulaciones. Dada la generalidad con que se definen, son válidos para todas las titulaciones y particularmente para las de ingeniería. Además de la definición de los indicadores, se sugiere la estructura de datos más adecuada para su cálculo. Con ello se clarifican los niveles de agregación/desagregación que pueden ser interesantes (por ejemplo: año académico, plan de estudios, titulación,...). Se pueden establecer comparaciones (entre titulaciones, centros, universidades, etc.).

3 Grupos de indicadores Oferta/Demanda Recursos financieros Recursos físicos Recursos humanos Proceso formativo Resultado formativo

4 La estructura de información y el contexto universitario Asig.-Año academ. Asignatura Titulación Plan de estudios Centro Universidad

5 Ejemplo: Nota media de acceso (agregaciones) Oferta/Demanda Núm_plazas_ofertadas Núm_contratos Núm_alu_preinscr_1op Núm_alu_matr_n_ingr_1op Núm_alu_matr_n_ingr Núm_alu_20_n_ingr Sum_notas_20_n_ingr Sum_notas_100_n_ingr Núm_alu_ccaa_n_ingr Núm_alu_extranjero_n_ingr Titulación Plan de estudios Centro Universidad Créd_troncales Créd_obligatorios Créd_optativos Núm_cursos Rama Ciclicidad Años académicos Nota media de acceso Sum_notas_100_n_ingr Núm_alu_matr_n_ingr Oferta/Demanda IT CF LD LE IT LM LM CF FL IT IC LD IT IT LE Universidad 1 Universidad 2 Universidad 3 Planes de estudios

6 Oferta/Demanda (estructuras de datos) Oferta Ofertada =1 Titulación Rama Ciclicidad Universidad 1.- Distribución interna de la oferta de titulaciones. 2.- Distribución de la oferta de titulaciones respecto al catálogo oficial. 3.- Adecuación de la oferta con relación al entorno. 4.- Grado de cobertura de la demanda. 5.- Grado de satisfacción de la demanda. 6.- Nota media de acceso del 20% superior. 7.- Nota media de acceso. 8.- Movilidad interautonómica de alumnos. 9.- Movilidad internacional de alumnos. Oferta/Demanda Núm_plazas_ofertadas Núm_contratos Núm_alu_preinscr_1op Núm_alu_matr_n_ingr_1op Núm_alu_matr_n_ingr Núm_alu_20_n_ingr Sum_notas_20_n_ingr Sum_notas_100_n_ingr Núm_alu_ccaa_n_ingr Núm_alu_extranjero_n_ingr Titulación Plan de estudios Centro Universidad Créd_troncales Créd_obligatorios Créd_optativos Núm_cursos Rama Ciclicidad

7 Recursos financieros Financieros Trans_corr_adm Tot_ing_corrientes Total_precio_publico Ing_prest_servicios Ing_activ_investigacion Gastos_personal Gastos_mantenimiento Año natural Universidad 1.- Transferencias corrientes de las Administraciones Públicas sobre el total de ingresos corrientes. 2.- Ingresos por enseñanzas de grado sobre el total de ingresos corrientes. 3.- Ingresos generados por prestación de servicios sobre el total de ingresos corrientes. 4.- Ingresos generados por la actividad investigadora sobre el total de ingresos no financieros. 5.- Gastos de mantenimiento y conservación sobre el total de gastos corrientes. 6.- Gastos de personal sobre el total de gastos corrientes. 7.- Gasto corriente por alumno matriculado.

8 Recursos físicos (I) Semana Núm_semana Fecha_ini Fecha_fin Año_académico Grupo Ocupación Infraestuctura Tipo_grupo Núm. Alumnos Grupo = 1 Núm_horas Horas_disp_semana Tipo_recurso Núm. Puestos Mts cuadrados Centro Año_académico Titulación Rama Ciclicidad Asig.-Año academ. Plan de estudios Centro Universidad Núm_alu_matric Núm_alu_aprob Créd_matric_total Créd_totales_imp Créd_teoría_imp Créd_práct_lab_imp Créd_práct_aula_imp Créd_ofertados Tipo_asignatura Asignatura Nivel_asig Ciclo Créd_totales Créd_teoría Créd_práct_aula Créd_práct_lab Créd_troncales Créd_obligatorios Créd_optativos Núm_cursos 1.- Grado de ocupación de espacios de docencia. 2.- Alumnos por puesto de laboratorio. 3.- Metros cuadrados de espacios de uso compartido. 4.- Tamaño medio de grupo.

9 Recursos físicos (II) Recursos/alumnos Centro Universidad Núm_ordenadores Puestos_lectura Alumnos_matric 5.- Alumnos por puesto de ordenador. 6.- Alumnos por puesto de biblioteca.

10 Recursos humanos (I) Profesor Contrato -Año acad. Área de conoc. Grupo Tipo_grupo Núm. Alumnos Grupo = 1 Carga_docente Créd_totales_imp Créd_teoría_imp Créd_práct_lab_imp Créd_práct_aula_imp Tipo contrato Tiempo completo Categoría Doctor Núm. Sexenios Núm Sexenios posibles Participa_progr_movilidad Cr_formación_pedagógica Participa proyectos compet. Dpto. Asig.-Año academ. Plan de estudios Centro Universidad Núm_alu_matric Núm_alu_aprob Créd_matric_total Créd_totales_imp Créd_teoría_imp Créd_práct_lab_imp Créd_práct_aula_imp Tipo_asignatura Curso Asignatura Nivel_asig Ciclo Créd_totales Créd_teoría Créd_práct_lab Créd_práct_aula Créd_troncales Créd_obligatorios Créd_optativos Núm_cursos Titulación Rama Ciclicidad 1.- PDI a tiempo completo. 2.- PDI doctor. 3.- PDI funcionario. 4.- Grado de movilidad del personal académico. 5.- Formación pedagógica del personal académico. 6.- Proporción de sexenios. 7.- Tasa de participación en proyectos competitivos.

11 8.- PAS / PDI. Recursos humanos (II) Recursos humanos Total PDI PAS Universidad Profesor Contrato -Año acad. Área de conoc. Dedicación Tipo (responsable, director, participante, autor) Horas dedicación semanal (en proyectos) Grado de participación Producción_investigadora Tipo contrato Tiempo completo Categoría Doctor Núm. Sexenios Núm Sexenios posibles Participa_progr_movilidad Cr_formación_pedagógica Participa proyectos compet. Dpto. Universidad Tìpo de trabajo (Tesis/proyecto/articulo/actas/ congreso/libro/conferencias/premios científcos) Título Carácter (nac., intern. Regional) Entidad/editorial Fecha 9.- Resultados de la actividad investigadora Producción de doctores.

12 Proceso formativo (I) Proceso Núm_cr_matriculados Núm_alum_matriculados Núm_cr_optativos_ofertados Plan de estudios Créd_totales Créd_troncales Créd_obligatorios_univ Créd_optativos Créd_libre_elección Núm_cursos Titulación Centro Universidad 1.- Dedicación lectiva del alumnado. 2.- Optatividad requerida por la titulación. 3.- Oferta de optatividad de la titulación.

13 Proceso formativo (II) Profesor Contrato -Año acad. Área de conoc. Grupo Tipo_grupo Núm. Alumnos Grupo = 1 Carga_docente Créd_totales_imp Créd_teoría_imp Créd_práct_lab_imp Créd_práct_aula_imp Tipo contrato Tiempo completo Categoría Doctor Núm. Sexenios Núm Sexenios posibles Participa_progr_movilidad Cr_formación_pedagógica Participa proyectos compet. Dpto. Asig.-Año academ. Plan de estudios Centro Universidad Núm_alu_matric Núm_alu_aprob Créd_matric_total Créd_totales_imp Créd_teoría_imp Créd_práct_lab_imp Créd_práct_aula_imp Tipo_asignatura Curso Asignatura Nivel_asig Ciclo Créd_totales Créd_teoría Créd_práct_lab Créd_práct_aula Créd_troncales Créd_obligatorios Créd_optativos Núm_cursos Titulación Rama Ciclicidad 4.- Grupos de teoría con más de N alumnos. 5.- Grupos de teoría con menos de N alumnos. 6.- Dedicación del profesorado doctor al primer curso. 7.- Estudiantes por profesor. 8.- Distribución de la carga docente.

14 Resultado formativo (I) Z Abandono Núm_alum_ingreso_z Núm_alum_no_matr_(x y x-1) Núm_alum_finalizados_(x) X Titulación Rama Ciclicidad Plan de estudios Centro Universidad 1.- Tasa de abandono (del año X respecto a los alumnos que ingresaron el año Z). Resultado Núm_cr_aprobados Núm_cr_matriculados Núm_alum_graduados_tiempo Núm_alum_graduados Suma_años_gradxalum Sum_cr_aprob_grad Sum_cr_matr_grad Titulación Rama Ciclicidad Plan de estudios Centro Universidad 2.- Tasa de rendimiento. 3.- Tasa de graduación. 4.- Duración media de los estudios. 5.- Tasa de progreso normalizado.

15 Resultado formativo (II) Tasa de éxito Núm_alu_present Núm_alu_aprob Créd_present_total Créd_superad_total Núm_alu_APR Núm_alu_NOT Núm_alu_SOB Núm_alu_MH Convocatoria Asig.-Año academ. Plan de estudios Centro Universidad Núm_alu_matric Núm_alu_aprob Créd_matric_total Créd_totales_imp Créd_teoría_imp Créd_práct_lab_imp Créd_práct_aula_imp Tipo_asignatura Curso Asignatura Nivel_asig Ciclo Créd_totales Créd_teoría Créd_práct_lab Créd_práct_aula Créd_troncales Créd_obligatorios Créd_optativos Núm_cursos Titulación Rama Ciclicidad 6.- Tasa de éxito sobre presentados. 7.- Tasa de éxito sobre matriculados. 8.- Tasa de rendimiento pormenorizado.

16 Resultado formativo (III) Concepto Nivel de satisfacción Satisfacción Núm_repuestas Titulación Rama Ciclicidad Plan de estudios Centro Universidad 9.- Grado de satisfacción con los estudios Grado de satisfacción con el empleo. Nivel de satisfacción Técnicas Menos de lo necesario Adecuado Más de lo necesario TOTALES Aprendizaje 100 Comunic. oral/escrita 100 Laboratorio 100 Herram. informáticas 100 Gestión 100

17 Detalle de algunos indicadores Nº de créditos superados por los alumnos Tasa de rendimiento = 100 Nº de créditos de los que se han matricu lado Nº de créditos superados por los alumnos Tasa de éxito sobre presentados = 100 Nº total de créditos presentados a exame n Nº de créditos superados por los alumnos Tasa de éxito sobre matriculados = 100 Nº total de créditos matriculados Nº de alumnos Aprob./Not./Sob./MH Tasa de rendimiento pormenorizado = 100 Nº total de alumnos presentados a examen Significado y utilidad: Complementa el indicador tasa de rendimiento y permite analizar los resultados en las pruebas de evaluación Niveles de agregación:, convocatoria, asignatura, plan de estudios, titulación, universidad,

18 Arquitectura de un sistema de ayuda a la decisión Data Mining Fuente de datos Gestor de bases de datos Herramientas de consultas USUARIO Extracción Transformación Carga Herramienta ETL Estrellas Repositorio Relacional Multidimensional Directas OLAP Consultas Agregados (hipercubos) ROLAP MOLAP Agregados (hipercubos) Agregados (hipercubos) HOLAP HOLAP Agregados (hipercubos) Sistemas de ayuda a la toma de decisiones

19 Alternativas de software Extracción, transformación y carga: Ascential Datastage Microsoft Data Transformation Services IBM DB2 Warehouse Servidor de datos: Microsoft SQL Oracle IBM DB2 Sybase Herramienta de consulta (OLAP= On-Line Analitical Processing): Busines Object (MOLAP) Microstrategy (ROLAP) Analysis Services de Microsoft (ROLAP, HOLAP y MOLAP) Sistemas de ayuda a la toma de decisiones

20 Informe generado con Business Objects Sistemas de ayuda a la toma de decisiones

21 Informe generado con Microstrategy Sistemas de ayuda a la toma de decisiones

22 Conclusiones I LOU y EEES Evaluación de calidad y acreditación Competencia entre las Universidades Comparación Toma de decisiones Necesidad de información estratégica Conocer el estado de la Universidad y su evolución histórica. Evaluación y análisis mediante sistemas de ayuda a la toma de decisiones

23 Conclusiones II Evaluación objetiva Definir indicadores Generalmente cocientes de dos cantidades calculadas por agregación Los sistemas de gestión son inadecuados para su cálculo Modelos de datos y sistemas de información específicos. Evaluación y análisis mediante sistemas de ayuda a la toma de decisiones

24 Conclusiones III Se enumeran 44 indicadores Se describen tres de ellos con detalle Se dan las estructuras de datos necesarias Éstas clarifican el sentido de sus agregaciones y Facilitan su implantación informática Estos indicadores: Deben expresarse como proporciones o porcentajes. Su definición debe ser clara y precisa. Los datos deben obtenerse de los sistemas corporativos de gestión o de fuentes externas fiables.. En ciertos casos, puede ser necesaria la colaboración de los egresados, de los empleadores o del Instituto Nacional de Empleo. Para elegir los indicadores más adecuados deben tenerse en cuenta el contexto, su significado en función del objetivo, el coste de su cálculo o su utilización en otros procesos de evaluación de la calidad. Para algunos indicadores no es adecuado su cálculo considerando solamente el número de profesores implicados. El nivel de participación de un profesor en un plan de estudios se refleja mucho mejor si se considera los créditos que imparte en lugar de contabilizarle como una unidad.. Evaluación y análisis mediante sistemas de ayuda a la toma de decisiones

25 Conclusiones IV Implementación informática Herramientas Business Intelligent Elección de variables, dimensiones y niveles de agregación Representaciones gráficas y tabulares Facilitan la comprensión, el análisis y la comparación. Evaluación y análisis mediante sistemas de ayuda a la toma de decisiones