UNIVERSIDAD DEL TURABO Informe de Hallazgos Psicométricos del Cuestionario de Fin de Curso del Programa AHORA

Transcripción

1 UNIVERSIDAD DEL TURABO Informe de Hallazgos Psicométricos del Cuestionario de Fin de Curso del Programa AHORA Preparado por: José R. Pérez Colón Marzo de

2 Resumen El Cuestionario de Evaluación de Fin de Curso del Programa Ahora se desarrolló con el propósito de identificar los niveles de efectividad de los profesores que imparten cursos en dicho programa de estudios acelerados. El instrumento en su versión original consta de 23 ítemes y utiliza una escala likert de cinco puntos; en la cual (5) representa completamente de acuerdo y (1) representa completamente en desacuerdo. El instrumento se administra a estudiantes en todos los cursos que se imparten en el programa. Una muestra aleatoria de 63 secciones se seleccionó en la cual contestaron el cuestionario 806 estudiantes para un promedio de estudiantes por sección. El cuestionario esta compuesto por tres constructos, el primero Estrategias de Enseñanza y Evaluación que consta de 6 preguntas, el segundo es el constructo del Facilitador que se compone de 7 preguntas y el tercero Autoevaluación y Satisfacción del estudiante con el curso y los servicios institucionales que consta de 10 aseveraciones. El mismo fue sometido a varios análisis estadísticos tales como: estadísticas descriptivas, análisis de factores, análisis de confiabilidad y correlación. Estos procesos estadísticos se realizaron utilizando los programas de computadora Microsoft Excel, y Statistical Packed for the Social Science (SPSS) versión 14. Los ítems se sometieron inicialmente a un análisis de factores de componentes de ejes principales con rotación ortogonal usando la técnica Varimax. De igual forma se utilizaron medidas de adecuación de las variables para realizar el análisis factorial mediante el método de Kaiser-Meyer-Olkin Measure of Sampling Adequacy y mediante el Bartlett's Test of Sphericity, finalmente se calculó la confiabilidad de consistencia interna a través de la técnica Alfa de Cronbach para cada uno de los constructos por separado y de manera agregada para la totalidad del cuestionario. El Cuestionario de Evaluación de Fin de Curso se desarrolló con el objetivo de medir de la efectividad de los módulos, lecturas, contenido del curso y métodos de evaluación del mismo. De igual forma su segundo constructo mide la calidad y efectividad del docente en varias áreas asociadas con la educación diferenciada para adultos. Finalmente el tercer constructo es una reflexión del estudiante en cuanto a la satisfacción con el curso, su aplicabilidad a su desarrollo profesional, y aspectos relacionados a las instalaciones físicas de la Universidad del Turabo, particularmente lo que respecta al estacionamiento, alumbrado y las facilidades en general. 2

3 Hallazgos Principales del Instrumento El promedio por ítem fluctuó de 2.85, valor mínimo otorgado y 4.81 fue el valor más alto por ítem. Las desviación estándar más baja fue de.226 milésimas y la más alta fue de.704 milésimas. La varianza agregada del instrumento con los valores iniciales de Eigenvalues fue de puntos para el primer componente del análisis de factores, en otras palabras el primer ítem explica el 61 por ciento de la varianza total del Cuestionario de Evaluación de Fin de Curso. A tales fines plantea, Field (2005) que una varianza que excede el 30 por ciento de la varianza explicada demuestra parcialmente la propiedad unidimensional de un cuestionario. En este caso la efectividad de la metodología educativa del Programa Ahora. En la tabla 1, se puede observar que el índice de adecuación muestral de las variables al análisis factorial es de.884, índice relativamente alto. Señala Field (2005) que valores que excedan el.70 son relativamente altos a la hora de medir lo adecuado de una muestra. En el caso de la prueba de esfericidad de Barlett señala que el valor de Chi-cuadrado aproximado es de ; que para 253 grados de libertad y un nivel de significado de.000 nos permite rechazar la hipótesis nula al 99 por ciento, afirmando que la matriz de correlaciones puede ser factorizada (Field, 2005). Tabla 1 KMO and Bartlett's Test Kaiser-Meyer-Olkin Measure of Sampling Adequacy..884 Bartlett's Test of Sphericity Approx. Chi- Square Df 253 Sig..000 En la tabla 2 observamos los autovalores extraídos para cada uno de los factores de la varianza. Se puede apreciar que 4 de ellos exceden el valor de 1 y que en conjunto explican por ciento de la varianza acumulada. Plantea Field (2005) y Burga (2005) que valores de Eigenvalues que excedan 1 son ítems apropiados para incluirlos en un cuestionario. De igual forma plantea Burga (2005) que en el caso de explicar la varianza total, un instrumento debe tener al menos el 30 por ciento de la totalidad de la varianza en el primer factor extraído, en este caso representa el por ciento. En el caso de la suma de las rotaciones o Rotation Sums of Squared Loadings las mismas exceden el valor de 1 en los 4 ítems. Razón por la cual se incluyen los primeros cuatro factores (ítems) en el Cuestionario de Evaluación de Fin de Curso. 3

4 Tabla 2 Total Variance Explained Component Initial Eigenvalues Extraction Sums of Squared Loadings Rotation Sums of Squared Loadings Total % of Variance Cumulative % Total % of Variance Cumulative % Total % of Variance Cumulative % Análisis de confiabilidad Con el objetivo de determinar cuán bien el instrumento medía el constructo bajo estudio de la efectividad de la metodología educativa del Programa Ahora se halló la confiabilidad de consistencia interna. Para ello, se utilizó la técnica Alpha de Cronbach. Los datos indican que el inventario tiene una confiabilidad de consistencia interna de.96 centésimas. Nunally y Berstein (1994) Anastasi y Urbina (1997) y Develllis (1991) señalan que un instrumento confiable es aquel que tiene índices de confiabilidad de.70 centésimas o más. Por tal motivo, el Cuestionario de Evaluación de Fin de Curso instrumento confiable. Reliability Statistics Cronbach's Alpha Cronbach's Alpha Based on Standardized Items N of Items

5 Como evidencia adicional sobre la validez de constructo de las dimensiones que constituye el instrumento se llevó a cabo un análisis de Cronbach Alpha para cada uno de las dimensiones del mismo, entiéndase, Estrategias de Enseñanza y Evaluación, el Facilitador, y la de Autoevaluación y Satisfacción del estudiante. Análisis factorial para el Cuestionario de Evaluación de Fin de Curso Enseñanza y Evaluación El análisis de factores de esta escala arrojó la presencia de un solo factor con un valor Eigen de Este factor explica el por ciento del comportamiento de esta dimensión. Los datos de la Tabla III indican que cinco de seis ítems de esta dimensión son congruentes con los criterios desarrollados por Pedhazur y Schmelkin (1991) y Klein (1993), los cuales establecen que para que un ítem mida cierto constructo debe tener una carga inicial mayor o igual a treinta centésimas (.30). El índice de Cronbach Alpha para esta dimensión del cuestionario es de.933, plantean Nunally y Berstein (1994) Anastasi y Urbina (1997) y Develllis (1991) señalan que un instrumento confiable es aquel que tiene índices de confiabilidad de.70 centésimas o más. El Facilitador El análisis de factores de esta escala arrojó la presencia de un solo factor con un valor Eigen de Este factor explica el por ciento del comportamiento de esta dimensión. Los datos de la Tabla III indican que siete de siete ítems de esta dimensión son congruentes con los criterios desarrollados por Pedhazur y Schmelkin (1991) y Klein (1993), los cuales establecen que para que un ítem mida cierto constructo debe tener una carga inicial mayor o igual a treinta centésimas (.30). El índice de Cronbach Alpha para esta dimensión del cuestionario es de.970, plantean Nunally y Berstein (1994) Anastasi y Urbina (1997) y Develllis (1991) señalan que un instrumento confiable es aquel que tiene índices de confiabilidad de.70 centésimas o más. Autoevaluación y Satisfacción El análisis de factores de esta escala arrojó la presencia de un solo factor con un valor Eigen de Este factor explica el por ciento del comportamiento de esta dimensión. Los datos de la Tabla III indican que nueve de diez ítems de esta dimensión son congruentes con los criterios desarrollados por Pedhazur y Schmelkin (1991) y Klein (1993), los cuales establecen que para que un ítem mida cierto constructo debe tener una carga inicial mayor o igual a treinta centésimas (.30). El índice de Cronbach Alpha para esta dimensión 5

6 del cuestionario es de.884, plantean Nunally y Berstein (1994) Anastasi y Urbina (1997) y Develllis (1991) señalan que un instrumento confiable es aquel que tiene índices de confiabilidad de.70 centésimas o más. Tabla 3 Análisis factorial para las dimensiones del de Evaluación de Fin de Evaluación de Fin de Curso Dimensiones Carga Inicial Enseñanza y Evaluación.30 o más Menos de El Facilitador 7 0 Autoevaluación Satisfacción y 9 1 Total 21 2 Análisis de confiabilidad mediante el método de Correlación Interclase Un análisis adicional para determinar el elemento de discriminación del instrumento se realizó utilizando la técnica de correlación interclase, este índice se construye para ser aplicado a distintas medidas mediante la agrupación de los datos (Field, 2005). Al medir conformidad entre los observadores, si cada evaluador mide el elemento estudiado objetivamente, por consecuencia diferencias sistemáticas deben observarse entre los cursos evaluados. El índice de correlación interclase es un resultado compuesto de múltiples evaluadores y su variabilidad. Los datos indican que el instrumento discrimina al presentarse correlaciones interclase que fluctúan entre.126 y.888 a un nivel de significado de.000 (Field, 2005). Intraclass Correlation Coefficient 95% Confidence Interval F Test with True Value 0 Intraclass Correlation Lower Bound Upper Bound Value df1 df2 Sig Single Measures Average Measures One-way random effects model where people effects are random. 6

7 A base de los análisis realizados se llega a las siguientes conclusiones: 1. Los ítemes seleccionados del instrumento miden un solo constructo; o sea que cada dimensión construida es unidimensional. 2. Los ítemes seleccionados tienen validez de constructo, confiabilidad e índices de discriminación que cumplen con los estándares de construcción de prueba. 3. Los constructos bajo estudio se puede medir con precisión con 21 ítems. 4. No existe traslapo entre los ítems del instrumento. Recomendaciones 1. Administrar el instrumento de 21 ítems. 2. Revisar los ítems 6, y 23 del instrumento ya que en el análisis de factores presentan valores inferiores a las 30 centésimas. 3. Revisar el ítem 22 ya que es uno compuesto. 4. Evaluar los resultados de la administración del instrumento cada tres años. 5. Revisar profundamente el instrumento cada tres años. 7

8 Referencias Althouse L. A. (1998). Test development: Ten steps to a valid and reliable certification exam. A paper presented to the National Medical Examiners convention. Anastasi, A. y Urbina, S. (1997). Psychological Testing (7ª ed.). Englewood Cliffs, NJ: Prentice-Hall. Andújar, R. (1997). Informe preliminar de los hallazgos psicométricos realizados al Cuestionario de Satisfacción Estudiantil de la Universidad Interamericana de Puerto Rico. Vicepresidencia de Asuntos Académicos. San Juan, PR: Universidad Interamericana de Puerto Rico. Burga A. (2005). La unidimensionalidad de un instrumento de medición: Perspectiva factorial. Recuperado de c/2.pdf el 9 de noviembre de Cleary, T. (2005). Indicators of quality in planning for higher education. A SCUP Portfolio. Ann Arbor, MI. DeVellis, R.F. (1991). Scale Development: theory and applications (Applied Social Research Methods Series, Vol. 26). Newbury Park: Sage. Ebel, R. L. (1965). Measuring educational achievement. Englewood Cliffs, NJ: Prentice-Hall Field, A. (2005). Discovering statistics using SPSS (2 nd ed.) Thousand Oaks, CA: Sage. Hair, J. F. Jr., Black, W. C., Babin, B. J., Anderson, R. E., & Tatham, R. L. (2006). Multivariate data analysis (6th ed.). Upper Saddle River, NJ: Pearson/Prentice Hall. Kline, P. (2000). Handbook of psychological testing (2 nd Ed.). NY: Routhledge. Nunnally, J. C., & Bernstein, I.H. (1994). Psychometric theory (3 rd ed.) New York: McGraw Hill. Pedhazur, E.J. and Pedhazur Schmelkin, L. (1991). Measurement, Design, and Analysis: An Integrated Approach. Hillsdale, NJ: Lawrence Erlbaurm Associates Publishers. 8