Procedimiento de análisis de los cuestionarios de valoración de la actividad docente

Tamaño: px

Comenzar la demostración a partir de la página:

Download "Procedimiento de análisis de los cuestionarios de valoración de la actividad docente"

Estefania Vázquez Gil
hace 6 años
Vistas:

Procedimiento de análisis de los cuestionarios de valoración de la actividad docente Oficina de Tratamiento de la Información Autores Enrique Moreno

1 Procedimiento de análisis de los cuestionarios de valoración de la actividad docente Oficina de Tratamiento de la Información Autores Enrique Moreno González Director de la Oficina de Tratamiento de la Información José Juan Mengibar Técnico de de la Oficina de Tratamiento de la Información 06/03/2013

2 Índice 1. Introducción Valoración de los ítems Valoración global de la Asignatura Valoración global de la Titulación Valoración de los Departamentos Valoración global de Facultades-Escuelas Valoración global de la UNED.... 6

3 1. Introducción Los cuestionarios para que los estudiantes valoren la actividad docente de las diferentes asignaturas que se imparten en los estudios reglados de la UNED, y del curso de Acceso, se componen de un serie de boques o ejes, en cada uno de los cuáles se plantean un conjunto de afirmaciones, relacionadas con la definición del bloque, sobre las cuales los estudiantes deben expresar su grado de desacuerdo - acuerdo en una escala de 6 puntos: Totalmente en desacuerdo Muy en desacuerdo En desacuerdo De acuerdo Muy de acuerdo Totalmente de acuerdo El proceso de análisis sigue la siguiente pauta: análisis para determinar la valoración de los ítems; a partir de la valoración de los ítems, se procede a determinar la valoración global de la asignatura; con la valoración de las asignaturas se determina la valoración de la titulación en que se imparte; con la valoración de las titulaciones se determina la valoración de la Facultad/Escuela que gestiona esas titulaciones; y, por último, con la valoración de las Facultades/Escuelas se determina la valoración global de la UNED, en ese tipo de cuestionarios. Además, en el mismo proceso se puede determinar la valoración de los departamentos, a partir de la de las asignaturas impartidas por profesores del departamento. En los próximos epígrafes explicaremos de forma detallada este proceso de análisis, comenzando por el de los ítems. 2. Valoración de los ítems La valoración de cada ítem del cuestionario de una asignatura es el resultado de dividir el número de cuestionarios recibidos que han valorado el ítem con los tres valores de la escala de acuerdo (De acuerdo - Muy de acuerdo - Totalmente de acuerdo) entre el número total de cuestionarios que han respondido a ese ítem, excluyendo los que se han decantado por la opción Página 1

4 No sabe/no contesta. De este modo, si han respondido el ítem un total de 230 cuestionarios, 170 de los cuales lo han hecho seleccionando alguna de las tres categorías que manifiestan el "acuerdo", la valoración del ítem, expresada en términos porcentuales, será: = 73,91% 230 De este modo, se determinan las valoraciones de todos y cada uno de los ítems formulados en el cuestionario sobre los que el estudiante tiene que expresar su acuerdo o desacuerdo 1. Para cada ítem, se calcula el error de estimación para un nivel de confianza del 95%, de acuerdo a la siguiente fórmula original: =,, (2.1) 1 fórmula que se ha modificado para maximizar el error y contemplar de este modo el sesgo de autoselección que afecta a este tipo de cuestionarios, que son respondidos de forma voluntaria por los estudiantes: =,, (2.2) siendo: t = Percentil 97,5 de la distribución t de Student con n-1 grados de libertad. n = n es el número de cuestionarios recibidos en la asignatura. N = nº de estudiantes dados de alta para que respondan el cuestionario. Para el ejemplo que hemos planteado, si se hubiera dado de alta a 3500 estudiantes para que respondieran, el error de estimación con los 230 que han respondido sería: = 1, =6, En el cuestionario hay otro tipo de preguntas de opción (asistencia a tutorías, tiempo semanal de estudio que dedica a la asignatura, etc.) cuyo análisis es diferente al de los ítems del tipo acuerdo-desacuerdo. Página 2

5 se podrían decir que la verdadera valoración que hacen los estudiantes de ese ítem en la asignatura es: 80,20 73,91 ± 6,29 67,62 Con objeto de hacer más comprensible el alcance del valor del error de estimación se ha establecido la siguiente tabla de equivalencias, que es la que se muestra como criterio de significación estadística en los resultados que se publican en el Portal Estadístico. Significación Óptima (Error Estimación: <= 3,5%) Significación Muy Alta (Error Estimación: > 3,5% y <= 6%) Significación Alta (Error Estimación: > 6% y <= 8%) Significación Media (Error Estimación: > 8% y <= 11%) Significación Baja (Error Estimación: > 11% y <= 15%) Resultado NO VALORABLE: Error de Estimación muy elevado ( > 15%) De acuerdo con esta tabla la significación del resultado para ese ítem sería Alta, al estar el error de estimación entre el 6 y el 8%. 3. Valoración global de la Asignatura Al estar el cuestionario compuesto por una serie de ítems que son los que directamente valoran los estudiantes, la valoración global de la asignatura se determina a partir de las valoraciones de los ítems, mediante un promedio ponderado, de acuerdo a la siguiente fórmula: ó = ó Í (3.1) siendo: p = el número de ítems que intervienen en el proceso de cálculo de la valoración de la asignatura Valoración Ítem i = el valor de cada ítem (i = 1,..., p) n i = número de respuestas o cuestionarios que han contestado cada ítem (i = 1,..., p) Página 3

6 Para comprender mejor el proceso, pensemos en un cuestionario con sólo 6 ítems interviniendo en el proceso de determinar la valoración global de la asignatura, y sean las valoraciones de cada unos de esos 6 ítems y el número de respuestas recibidas en cada uno las que se muestran en la siguiente tabla: Ítem Valoración nº respuestas 1 76, , , , , ,3 205 De acuerdo con la fórmula (3.1) la valoración de la asignatura sería: 76, , = =77,95 Si en esta asignatura ficticia se hubieran dado de alta 6500 estudiantes y hubieran respondido el cuestionario un total de 463, el error de estimación sería: = 1, =4, La significación estadística, de acuerdo a la tabla de equivalencias sería Muy Alta. 4. Valoración global de la Titulación Del mismo modo que se hace para obtener la valoración de la asignatura a partir de la valoración de los ítems, se hace para obtener la valoración de la titulación, a partir de la valoración global de las asignaturas que la componen, de acuerdo a la siguiente fórmula: ó ó = ó (4.1) siendo: p = el número de asignatura que han recibido valoración y forma parte de la Titulación Página 4

7 n i = número de estudiantes que han respondido cada asignatura que forma parte de la Titulación (i = 1,..., p) Supongamos, a efectos de ejemplo de cómo se realiza el cálculo, que una titulación consta de 6 asignaturas, y cada una ha recibido la valoración que se muestra en la siguiente tabla: VALORACIÓN RESPUESTAS MUESTRA_TOTAL ASIG1 78, ASIG2 80, ASIG3 66, ASIG4 85, ASIG5 77, ASIG6 59, ó = 78, , = 80310, =75,27 En conjunto, para este tipo de estudios, se han recibido un total de 1067 cuestionarios, y se han dado de alta para responder a estudiantes-asignatura. Tomando estás cifras en conjunto, el error de estimación para la valoración de la titulación será: = 1, =2, Siguiendo el mismo procedimiento se obtendría la valoración de las Facultades-Escuelas, y la valoración de la UNED, para ese tipo de estudios (Grado, Máster, Estudios de 1 er y 2º ciclo). 5. Valoración de los Departamentos El procedimiento para determinar la valoración de los departamentos es idéntico a cómo se ha explicado en el epígrafe anterior. Se parte de la valoración de las asignaturas que imparten los profesores de cada departamento, y se realiza una media ponderada a partir de estos valores. Se puede obtener para cada tipo de estudio, o una valoración global juntando todos los tipos de estudio; en cualquiera de los casos se sigue el mismo procedimiento, tanto para obtener la valoración como para calcular el error de estimación. Página 5

8 6. Valoración global de Facultades-Escuelas. Siguiendo el mismo esquema, se llega a la valoración global las Facultades-Escuelas en cada uno de los tipos de estudios ofertados, a partir de la valoración de las titulaciones que gestionan. Supongamos un Facultad que en un tipo de estudio oferta 4 titulaciones, cuyas valoraciones son las de la siguiente tabla: VALORACIÓN RESPUESTAS MUESTRA_TOTAL Titulación 1 75, Titulación 2 81, Titulación 3 73, Titulación 4 69, La valoración de la Facultad en este tipo de estudios será:. = 75, , = , =74,13 y el Error de estimación será: = 1, = 1, Valoración global de la UNED. Por último, a partir de las valoraciones de las Facultades-Escuelas en un tipo de estudios, se obtiene la valoración global de la UNED para el mismo tipo de estudios. VALORACIÓN RESPUESTAS MUESTRA_TOTAL Facultad 1 74, Facultad 2 70, Facultad 3 79, Facultad 4 75, La valoración de la UNED será:. = 74, , = , =73,88 y el Error de estimación será: Página 6

9 = 1, = 0, Página 7

Documentos relacionados

Resultados Evaluación Actividad Docente Cuestionarios a estudiantes y a profesores Curso 2008/2009

Universidad de León Oficina de Evaluación y Calidad INFORME Resultados Evaluación Actividad Docente Cuestionarios a estudiantes y a profesores Curso 2008/2009 Elaborado por: Oficina de Evaluación y Calidad