EVALUACIÓN DE LA PRUEBA DE ADMISIÓN EN LA FACULTAD DE INGENIERÍA DE LA UNIVERSIDAD DE CARABOBO (AÑO 1994) OSTA T., Karelys M.; HERNANDEZ, Juan F. Unidad de Investigación Educativa de la Facultad de Ingeniería (UNIEFI). Facultad de Ingeniería, Universidad de Carabobo. Avenida Universidad. Bárbula. Valencia. Venezuela. Tlf. (0241) 8672844. Fax. (0241) 8672844 Resumen La investigación tiene como objetivo evaluar la Prueba de Admisión en Ingeniería (año 1994). Por ser una prueba de potencia, de índole académico sin repeticiones, se estimaron los índices de confiabilidad de consistencia interna (método de Hoyt y coeficiente alfa de Cronbach), y de validez predictiva (tetracórico) y concurrente (Pearson). La población aspirante estuvo constituida por 1.703 bachilleres y la seleccionada e inscrita por 410. Los coeficientes de confiabilidad indican que la PA.I y sus subpruebas tienen un nivel de confiabilidad que varía entre medio y alto, considerado como buenos para instrumentos de medición en el campo educativo. Los coeficientes de validez concurrente con las variables de criterio reflejan valores bajos, razón por la cual éstas no deben ser reemplazadas y en cuanto al coeficiente de validez predictiva se observó una baja correlación, pero, aceptable para pruebas de selección. Abstract The objetive of this paper is to evaluate the results of the admission test presented by the high school students looking forward to pursue studies at the Faculty of Engineering in 1994. The internal consistency was estimated using the method of Hoyt and the alpha coefficient of Cronbach; the predictive validity, by means of the tetracoric coefficient; and the index of concurrent validity with the method of Pearson. The test was taken by a population of 1. 703 students, from which, only, 457 were admited (only 410 carne to the registration). The results have shown that the reability index of the PA.L-test could be located in the range of medium to high, a result considered as good in the field of Education. On the contrary, the concurrent validity coefficient was low, indicating that the PA.L-test should be not replace other criteria variables. A low correlation was observed also for the predictive validity, although acceptable for this type of tests. Palabras claves: prueba, confiabilidad, validez, correlación, coeficiente. Key words: test, reability, validity, correlation, coefficient. INTRODUCCIÓN Tradicionalmente el ingreso a la Facultad de Ingeniería de la Universidad de Carabobo era a través del Consejo Nacional de Universidades (C.N.U.), y de baremos y convenios gremiales que han sido poco eficientes dados
los altos índices de repitencia y deserción existentes a lo largo de su historia. Por esta razón, en el año 1994, un equipo de docentes (bajo la coordinación de la Dirección Académica) diseñó la primera prueba de admisión de la Facultad de Ingeniería, con la finalidad de seleccionar el grupo de estudiantes (del universo de aspirantes que presentan la prueba) que ingresaría a la Facultad, adicionalmente a los ingresos por asignación del C.N.U. y por convenios gremiales. Dada la importancia de este instrumento, se consideró necesario analizarlo, razón por la cual se realizó esta investigación para evaluar la Prueba de Admisión en Ingeniería (P.A.I.), realizada en el año 1994, en cuanto a la confiabilidad y a la validez de los resultados. OBJETIVOS Objetivo General Evaluar la Prueba de Admisión en Ingeniería (P.A.I.) realizada en el año 1994, en cuanto a la confiabilidad y a la validez de los resultados. Objetivos Específicos a. Determinar el coeficiente de confiabilidad de cada subprueba. b. Determinar el coeficiente de confiabilidad de la P.A.I.. c. Determinar los coeficientes de validez concurrente y predictiva de cada una de las subpruebas. d. Determinar los coeficientes de validez concurrente y predictiva de la P.A.I. LIMITACIONES a. El estudio está restringido a la información disponible acerca de la Prueba de Aptitud Académica (P.A.I.) aplicada en el año 1994 y a la calidad de las bases de datos que la contienen. b. La información utilizada sobre los resultados de la Prueba de Admisión en Ingeniería (PA.I.) está sujeta a posibles errores en las bases de datos y a la veracidad de la información que contiene. c. El estudio se realizó sobre las tres subpruebas, ya que, el test de "Razonamiento Abstracto" es un instrumento estandarizado. Además, por su misma estructura, el programa LERTAP no puede manejar las bases de datos correspondientes a dicho test. d. No se utilizó la corrección por azar en el cómputo de los índices, ya que, los estudiantes no fueron participados sobre la penalización por cada respuesta incorrecta. e. El primer semestre de 1995, que se corresponde con el período académico que aporta los datos de criterio para determinar el índice de validez predictiva de las subpruebas y de la prueba total, fue un semestre muy accidentado debido a las frecuentes interrupciones que produjeron la reducción del período de clases, lo cual ocasiona cambios impredecibles en rendimiento estudiantil. RECURSOS El cálculo de los coeficientes de confiabilidad de las subpruebas y de la prueba total se realizó con el programa LERTAP (Laboratory of Educational Research Test Analysis Package) de la Universidad de Colorado en los Estados Unidos América, el cual es el utilizado en la Facultad de Ingeniería de Universidad Central de Venezuela. Además, para el cálculo de los coeficientes de validez (concurrente y predictiva), se emplearon los programas SPSS 5.0 y el MICROSOFT EXCEL 5.0
PRUEBA DE ADMISIÓN DE LA FACULTAD DE INGENIERÍA Objetivo de la P.A.I. El objetivo de la prueba es seleccionar el grupo de estudiantes que ingresaría a la Facultad de Ingeniería, en función c grado de dominio demostrado por los aspirantes con relación conocimientos de matemática, habilidad y comprensión lector razonamiento abstracto, razonamiento deductivo y habilidad para resolver problemas. Descripción de la P.A.I. En el año 1994, la prueba estuvo formada por cuatro subpruebas, donde a cada respuesta correcta se le asignó el valor de un punto, sin penalizar las respuestas incorrectas, es decir, 1 se utilizó la corrección por azar. Las puntuaciones de las subpruebas aportaron los siguientes porcentajes a la puntuación general: Subprueba N 1: "Conocimientos de Matemática" 30 % Subprueba N 2: "Razonamiento Verbal" 20 % Subprueba N 3: "Razonamiento Abstracto" 20 % Subprueba N 4: "Comprensión y Razonamiento Deductivo" 30% La prueba fue aplicada en dos fases de 1 10 minutos, con un receso intermedio de 20 minutos de duración y para su corrección se utilizaron procedimientos computarizados a través de ley lectora óptica. Índice de admisión El índice de admisión (IA) fue el parámetro utilizado para ponderar el desempeño de los aspirantes durante su educación básica (último nivel) y diversificada, en la Prueba de Actitud Académica y en la Prueba de Admisión en Ingeniería. Este índice de admisión se calculó a través de la siguiente relación: IA = 30% ICA + 70% IIA (1) Donde los dos elementos que componen este índice son: a. Índice Corregido de Admisión (ICA), el cual se calculó a partir de: - Promedio de las calificaciones de la última etapa de la Educación Básica (7º, 8º y 9ºgrado) y las del Ciclo Diversificado (PB). - Promedio específico (PE) de las calificaciones obtenidas en las asignaturas Matemática, Química y Física durante los mismos períodos escolares. - Puntuación obtenida en el área de "Habilidad Numérica" de la Prueba de Aptitud Académica (HNPAA), transformado a la escala de 0 a 20 puntos. - Puntuación obtenida en el área de "Razonamiento Verbal" de la Prueba de Aptitud Académica (RVPAA), transformado a la escala de 0 a 20 puntos. ICA = 30% PB + 20% PE + 30% HNPAA + 20% RVPAA (2) b.- Índice Interno de Admisión (IIA), determinado a partir de la puntuación obtenida en cada una de las subpruebas: "Conocimientos de Matemática" (M), "Razonamiento Verbal" (V), "Razonamiento Abstracto" (A) y "Comprensión y Razonamiento Deductivo" (D).
Proceso de Selección Se seleccionaron un total de 457 estudiantes con índice de admisión superiora diez (10) puntos, de los cuales sólo 410 hicieron efectiva su inscripción. EVALUACIÓN DE LA PRUEBA DE ADMISIÓN EN INGENIERÍA (P.A.I.) (AÑO 1994) El análisis de cualquier tipo de prueba implica la determinación de la confiabilidad de los resultados de la prueba y de su validez; por lo tanto, para llevar a cabo la evaluación de la P.A.I. aplicada en el año 1994, es necesario desarrollar cada una de ellas, tomando en consideración su estructura, a saber cuatro subpruebas: "Conocimientos de Matemática", "Razonamiento Verbal", "Comprensión y Razonamiento Deductivo" y "Razonamiento Abstracto". El test de "Razonamiento Abstracto" que se utilizó, es una prueba estandarizada, razón por la cual no se tomó en cuenta para el análisis, en otras palabras, se estudiaron las tres subpruebas restantes y la prueba total entendida ésta, como el conjunto de las tres subpruebas. Entre los diferentes métodos que se emplean para analizar una prueba, se seleccionaron aquellos que se consideraron más apropiados para ser aplicados a la P.A.I., de acuerdo con sus características y finalidad. Tales procedimientos se detallan a continuación: Determinación de la Confiabilidad La P.A.I. es una prueba de potencia, de índole académico que no se repite, por lo tanto, la confiabilidad que se puede estimar para ella es la de consistencia interna. Entre los métodos que se ocupan de medir este tipo de confiabilidad, el LERTAP emplea el método de Hoyt para las subpruebas y la prueba total y el coeficiente alfa de Cronbach para la prueba total. El método de Hoyt es un análisis de varianza de dos factores sin replicaciones, el cual se aplica cuando existe un problema de dos variables experimentales, como por ejemplo individuo- ítem, pero, sólo se cuenta con una medición para cada combinación de condiciones, para el caso, una prueba que no se repite. A partir del análisis de varianza, se puede considerar a la media de los cuadrados del término residual (MS R ) como un estimador de la varianza de error de las puntuaciones de la prueba (S e 2 ) y la media de los cuadrados de los individuos (MS j ) se puede tomar como estimador de la varianza total de las puntuaciones de la prueba (S t 2 ). Así la confiabilidad se define según la ecuación 4: entonces, el coeficiente de confiabilidad de Hoyt, se obtiene al sustituir los términos de varianza por sus estimadores, Determinación del error estándar de las puntuaciones obteniéndose la ecuación:
Confiabilidad de las subpruebas Para las distintas subpruebas, se construye la matriz x de las puntuaciones de los individuos por ítem, se aplica el análisis de varianza para obtener la media de los cuadrados del término residual (MS j ) y la media de los cuadrados de los individuos (MS R ) para, finalmente, determinar el coeficiente de confiabilidad de Hoyt. Confiabilidad de la prueba total Se conforma la matriz de las puntuaciones que obtienen los individuos en cada ítem, sin discriminar entre las distintas subpruebas, cuyo número de filas es el número de individuos que presentó la prueba y el número de columnas es el número total de ítems (la suma de los ítems de las tres subpruebas). Luego, se aplica el método de Hoyt para obtener el coeficiente de consistencia interna. En el caso de la P.A.I., las cuatro subpruebas contribuían en distintas proporciones a la puntuación total de la prueba; sin embargo, al no poder manejar (a través del programa) la información correspondiente al test de "Razonamiento Abstracto", se consideró pertinente para el análisis, tomar las puntuaciones totales de la prueba como iguales al número de ítems respondidos correctamente, en otras palabras, se le asignó una ponderación igual a uno (1) a cada una de las tres subpruebas en estudio. Para la interpretación de los diferentes coeficientes de correlación obtenidos, se empleó el criterio que se presenta a continuación (J. Chourio): Tabla N 1: Criterio de interpretación de coeficientes de correlación Determinación del error estándar de las puntuaciones Para el cálculo del error estándar de las puntuaciones cada subprueba y de la prueba total, Hoyt desarrolló un procedimiento (empleado por el programa LERTAP) a través del cual se obtiene este valor a partir de la suma de cuadrados residual de análisis de varianza y del número de individuos que presentan la prueba en estudio, aplicando la expresión:
donde: SSR = suma de cuadrados residual N =número de individuos que toman la prueba Determinación de la validez La P.A.I. es una prueba de selección, por lo tanto, no resulta pertinente evaluar la validez de contenido ni la validez constructo de la misma. Sólo es necesario calcular los índices predicción y de concurrencia de las subpruebas y de la prueba total. Cálculo del índice de validez concurrente Para determinar el índice de validez concurrente, se consideraron como datos de criterio: - El promedio de las calificaciones obtenidas durante la tercera etapa de la escuela básica y el ciclo diversificado, por tratarse del parámetro que refleja la historia académica de estudiantes a los cuales se les aplicó la P.A.I. - Los resultados de la Prueba de Actitud Académica, ya que, esta prueba parece ser un criterio más homogéneo que el promedio de calificaciones del bachillerato, pues este último fue obtenido exactamente bajo las mismas condiciones (instituciones, docentes, instrumentos de evaluación, nive de exigencia, condiciones físicas de los planteles, etc.). En otras palabras, para cada subprueba y para la prueba total, se correlacionaron las puntuaciones obtenidas por los estudiantes que presentaron la P.A.I. (t) con el promedio de calificaciones de la tercera etapa de la escuela básica y el ciclo diversifica y con las calificaciones obtenidas en las pruebas de "Habilidad Numérica" y "Razonamiento Verbal" de la P.A.A.. Los coeficientes de correlación resultantes serán los coeficientes de validez concurrente. Para determinar estos coeficientes de validez concurrente se utilizó el coeficiente de correlación de Pearson (ecuación 7), siendo su rango de variación entre -1 y 1. De acuerdo con lo planteado por J. P. Guilford (1986), para una prueba el coeficiente de correlación puede variar entre 0,00 y 0,60; siendo común obtener valores de 0,50 cuando se relacionan calificaciones de pruebas y calificaciones obtenidas en cursos, llegando a ser hasta de 0,80 cuando se combinan distintos parámetros. En la práctica, los valores están entre 0,30 y 0,80; obteniéndose en raras ocasiones correlaciones superiores a 0,80 y cuando son inferiores a 0,30 se trata de pruebas de uso limitado por sí solas.
Cálculo del índice de validez predictiva En este caso, se consideraron como datos de criterio más convenientes, el número de materias aprobadas por los estudiantes durante el primer semestre de Ingeniería, es decir, aprobadas en los exámenes final, reparación o arrastre. Tal decisión fue tomada, en función de la uniformidad en la población, debido a la certeza de que los aspirantes admitidos a través del proceso interno, se inscribieron para cursar las tres asignaturas correspondientes al primer semestre de la carrera, común a todas las escuelas; fundamento que no existe durante los períodos lectivos posteriores, considerando que el desempeño académico de los bachilleres no es uniforme. El índice de validez predictiva se estimó a través del coeficiente de correlación tetracórico (utilizando la fórmula coseno pi, ecuación 8), relacionando las calificaciones de la subprueba superior a diez (10) puntos y la aprobación de las tres materias del primer semestre de la carrera en un primer intento, entendiéndose éste último como la obtención de calificaciones definitivas (final, reparación o arrastre) aprobatorias (mayor o iguala diez puntos) en las asignaturas Análisis Matemático I, Geometría Analítica y Química General I. Tabla N 2: Tabla para el cálculo del coeficiente de correlación tetracórico donde A, B, C y D representan el número de bachilleres que se clasifican en cada una de las distintas categorías. El coeficiente de correlación r, tal como se mencionó, varía en el rango comprendido entre -1 y 1. Si se obtiene un valor de r superior a 0,30 puede sugerir que la prueba o subprueba en estudio tiene una capacidad predictiva aceptable.
Evaluación de la Prueba de Admisión en Ingeniería (PA.1.) (año 1994) La evaluación de cualquier instrumento de medición se realiza para una población y condiciones determinadas, es por ello que con la finalidad de definir el marco de referencia en el cual se aplicó la prueba, se presentan algunos aspectos personales y académicos que caracterizaron tanto a la población aspirante como de estudiantes admitidos a través de este proceso. Es importante señalar que, previamente a la realización del proceso interno de admisión de la Facultad de Ingeniería, el C.N.U., a través de la Oficina de Planificación del Sector Universitario (O.P.S.U.), había seleccionado y asignado a los bachilleres con los mejores índices académicos de todo el país; razón por la cual, la población de aspirantes durante el proceso interno fue una población sesgada. Características de la población aspirante y población admitida La población aspirante a ingresar en la Facultad de Ingeniería a través del Proceso Interno de Admisión realizado a finales del año 1994, estuvo constituida por 1.703 bachilleres, de los cuales fueron admitidos 410 bachilleres (24,1 %n) para iniciar sus estudios durante el primer período lectivo del año 1995. A continuación se presentan algunas características de la población de estudiantes aspirantes y de aquellos admitidos: - La edad del 94,66% de los aspirantes se encontraban en el rango comprendido entre los 16 y 20 años. De estos estudiantes fueron admitidos 392, representando el 23,02% del total de aspirantes y el 95,60% del total de admitidos. - Con relación a los datos académicos, se tiene que el 75,34% de los aspirantes (1.283 bachilleres) se graduaron en el año 1994, de los cuales ingresaron 327, es decir, el 19,20% del total de aspirantes y el 79,76% del total de admitidos. - El 94,5% (1.610 bachilleres) cursó sus estudios bajo el régimen regular de actividades, de los cuales ingresaron 400 bachilleres, representando el 23,49% de los aspirantes y el 97,56% de los admitidos. - Los aspirantes provenientes de institutos educativos públicos representaron el 54,6% de la población total (930 bachilleres), de los cuales fueron admitidos 180, constituyéndose en el 43,90% total de ingresos; mientras que de los 773 aspirantes procedentes de las instituciones dependientes del sector privado, lograron ingresar 230 bachilleres, es decir, el 56,10%0 del total de ingresos. - En cuanto a la distribución geográfica de los planteles de procedencia de la población aspirante y admitida, es interesante resaltar como se concentra la demanda de cupos (1.394) entre los estudiantes provenientes de los estados Carabobo, Aragua, Guarico y Yaracuy, representando un 81,86% del total de aspirantes. De este grupo de bachilleres fueron seleccionados 346 bachilleres, lo cual constituye un 20,32% del total de aspirantes y un 84,39% del total de ingresos. - El 28,13% de los aspirantes (479 bachilleres) demandaban cupos en la carrera de Ingeniería Industrial, de los cuales ingresaron 77 estudiantes, es decir, el 4,52% del total de a aspirantes y el 18,78% de los admitidos. La mayor cantidad de cupos (100) fueron asignados en la especialidad de Ingeniería Mecánica, representando el 5,87% de la demanda y el 24,_ de los ingresos. Resultados de las subpruebas La población de aspirantes estuvo constituida por 1.703 estudiantes; sin embargo, al revisar las bases de datos que contienen la información acerca de los resultados de la prueba, se detectaron errores, razón por la cual, se eliminó tal información quedando la población reducida a la cantidad de 1.664 estudiantes. Estadísticas generales En la tabla N 3, se presenta la información sobre el número de ítems que constituyen cada una de las subpruebas como el rango de variación, moda, media y desviación estándar de las puntuaciones totales obtenidas por los 1.664 aspirantes.
Tabla Nº 3: Estadísticas generales de los resultados de las subpruebas Índices de confiabilidad y validez Los distintos índices calculados para las subpruebas y la prueba total, fueron: el coeficiente de Hoyt (confiabilidad) y coeficientes de correlación de Pearson (validez concurrente) y tetracórico (validez predictiva) (ver tabla N 4). CONCLUSIONES -Los coeficientes de confiabilidad (Hoyt y Cronbach) obtenidos, indican que la Prueba de Admisión en Ingeniería y las subprucbas que la componen tienen un nivel de confiabilidad varían entre medio y alto, los cuales son considerados como buenos al referirse un instrumento de medición empleado en el campo educativo, más aún si se trata del primer ensayo en pruebas de este tipo. Al analizar los coeficientes relacionados con la validez concurrente, se observa como las subpruebas (consideradas en forma aislada del resto de la prueba) y la prueba total, tienen una correlación baja con los datos o variables de criterio, razón por la cual éstas no deben ser utilizadas para reemplazarlos; aún cuando las correlaciones mejoran cuando se lleva a cabo la corrección de las muestras, es decir, cuando se consideran el 27% del total de bachilleres con las calificaciones más altas en la subprueba y el 27% con las más bajas, lo cual sugiere que las variables tienen una relación más estrecha con los valores extremos. Con relación al coeficiente de validez predictiva, se observa que las subpruebas tienen una correlación baja con aquellos bachilleres que aprobaron las tres materia del primer semestre en un primer intento, pero, aceptable para pruebas de selección sobre todo cuando se trata de la prueba total.
Tabla N 4: ÍNDICES DE CONFIABILIDAD Y VALIDEZ DE LAS SUBPRUEBAS Y PRUEBA TOTAL BIBLIOGRAFÍA 1. Guilford, J.P. y Fruchter, Benjamín (1986). Estadística Aplicada a la Psicología y a la Educación. Editorial Mc Graw Hill. México. 2. Magnusson, David (1987). Teoría de los Test. Editorial Trillas. México. 3. Nelson, Larry R. (1974). Guide to LERTAP Use and Interpretation. University of Otago. Department of Education. 4. Villasmil, Raiza J. y J. L. de Bascones (1991). Herramientas Estadísticas Aplicadas a la Investigación en Educación. II Conferencia Interamericana sobre Educación en Física. Sede del Taller: Universidad de Carabobo. Valencia. 11-13 de Junio.