Primera práctica PRÁCTICA Nº 1: ANÁLISIS DE ÍTEMS DE UN TEST DE RENDIMIENTO ÓPTIMO

Transcripción

1 Primera práctica PRÁCTICA Nº 1: ANÁLISIS DE ÍTEMS DE UN TEST DE RENDIMIENTO ÓPTIMO

2 Primera práctica ÍNDICE 1. OBJETIVOS 3 2. PROCEDIMIENTO Composición del grupo de prácticas Asignación de los ítems a analizar Información a obtener 4 3. UTILIZACIÓN DEL PROGRAMA SPSS Estructura del fichero de datos Obtención del porcentaje de elección de las opciones Obtención de los índices de dificultad y varianzas Obtención de los índices de homogeneidad Cálculo de las puntuaciones corregidas EVALUACIÓN TESTS APLICADOS PLANTILLAS DE CORRECCION HOJA DE VALORACIÓN 22

3 Primera práctica OBJETIVOS Con la realización de esta práctica se pretende que el alumno aplique los conocimientos adquiridos sobre el análisis de ítems (índice de dificultad, índice de homogeneidad, análisis de opciones incorrectas y corrección de los efectos del azar) y adquiera las destrezas informáticas necesarias para efectuar dicho análisis con el programa SPSS. Los alumnos deberán realizar el análisis de datos con SPSS y confeccionar un informe que detalle el procedimiento seguido. Se dedicarán varias clases a la orientación y supervisión del proceso anterior, desde el análisis de datos hasta la elaboración del informe. 2. PROCEDIMIENTO 2.1. COMPOSICIÓN DEL GRUPO DE PRÁCTICAS Cada grupo de prácticas estará integrado por un mínimo de 3 personas y un máximo de 5. Todas las personas del grupo de prácticas deben pertenecer al mismo grupo de Introducción a la Psicometría ASIGNACIÓN DE LOS ÍTEMS A ANALIZAR Los alumnos dispondrán de un fichero de datos SPSS (practica1.sav), que contiene las respuestas de 373 personas a 180 ítems de varios tests de rendimiento óptimo. El fichero de datos se puede descargar de Los tests aplicados son los siguientes 1 : Test de razonamiento (PMA. Factor R): 18 ítems r1 a r18 Test de inteligencia general (Factor g de Cattell - Test 1): 12 ítems cat1_1 a cat1_12 Test de inteligencia general (Factor g de Cattell - Test 3): 12 ítems cat3_1 a cat3_12 Test de Rotación de Figuras Macizas: 18 ítems mac1 a mac18 Test de Vocabulario (PMA. Factor V): 42 ítems v1 a v42 Test de razonamiento verbal (DAT-VR): 48 ítems vr1 a vr48 Test de aptitud numérica (Monedas-2): 30 ítems mon1 a mon30 1 Las referencias completas y plantillas de corrección de cada test se encuentran en las páginas 20 y 21.

4 Primera práctica Este fichero contiene la opción de respuesta seleccionada a cada uno de los ítems (1= 1º alternativa, 2= 2º alternativa, 3= 3º alternativa, 4= 4º alternativa.) y las omisiones (9 = omisión). Cada grupo de prácticas deberá realizar los análisis únicamente sobre 8 de los ítems del test, 6 de una de las aptitudes y 2 de otra; estos ítems debe asignarlos cada profesor a cada grupo de alumnos. SÓLO SE ACEPTARÁN prácticas que hayan realizado los análisis sobre los ítems asignados por el profesor INFORMACIÓN A OBTENER Para cada uno de los 8 ítems vamos a obtener: 1) Número (y porcentaje) de sujetos que ha elegido cada una de las opciones, incluída la omisión. Representación gráfica para cada ítem de la distribución de frecuencias de sujetos para cada opción. 2) Su índice de dificultad y su varianza. 3) Dos índices de homogeneidad: a) uno en relación al grupo de ítems que mide la misma aptitud, b) otro en relación a los 8 ítems estudiados. Para cada uno de los 373 sujetos obtendremos su puntuación directa y su puntuación corregida en el subtest de 8 ítems que se esté analizando. Representación gráfica de la distribución de frecuencias de las puntuaciones corregidas y representación gráfica de la relación entre puntuaciones corregidas y directas mediante un gráfico de dispersión. 3. UTILIZACIÓN DEL PROGRAMA SPSS ESTRUCTURA DEL FICHERO DE DATOS Para obtener todos los indicadores psicométricos que acabamos de mencionar utilizaremos el paquete estadístico SPSS versión A continuación se presenta un ejemplo a partir del cual veremos los procedimientos y menús del SPSS que se necesitan para llevar a cabo los análisis. El ejemplo se refiere a un test compuesto de 8 ítems (que ocupaban las posiciones de la 15 a la 22 de un test). Los ítems del 15 al 20 miden el mismo rasgo mientras que los

5 Primera práctica ítems 21 y 22 miden un rasgo distinto. Cada ítem tiene 4 opciones de respuesta. Observe la estructura del fichero de datos: Ejemplo de fichero de datos. Los sujetos son las filas y los ítems las columnas o variables, de tal manera que cada fila recoge las respuestas de una persona a todos los ítems. Por tanto, el fichero tiene tantas filas como sujetos hayan respondido el test. La columna relativa a cada ítem debe reflejar las respuestas de todos los sujetos a ese ítem. Observe que el tercer sujeto ha escogido la alternativa 3 en el ítem 15, la alternativa 1 en el ítem 16 y ha omitido el ítem OBTENCIÓN DEL PORCENTAJE DE ELECCIÓN DE LAS OPCIONES Lo primero que vamos hacer es obtener la frecuencia (y porcentaje) de personas que escogen las opciones de cada ítem. Para ello se selecciona el menú Analizar -> Estadísticos

6 Primera práctica Descriptivos -> Frecuencias y aparece el siguiente cuadro de diálogo: Cuadro de dialogo Analizar -> Estadísticos Descriptivos -> Frecuencias Debe seleccionar los 8 ítems de su test y arrastrarlos (pulsando la flechita) al cuadro de Variables. Luego pulse en el botón Gráficos y aparecerá la siguiente ventana: Seleccione Gráficos de barras y Porcentajes, y pulse Continuar. Luego pulse Aceptar. Para cada ítem aparecerá una tabla como la siguiente:

7 Primera práctica Válidos Total V15 Porcentaje Porcentaje Frecuencia Porcentaje válido acumulado Observe que en este ítem 912 personas (el 91.2% de la muestra total) han escogido la opción 3 como correcta. La opción 4 no ha sido escogida por ninguna persona y sólo el 3.1% de las personas han omitido su respuesta. Además, para cada ítem aparecerá un gráfico que sintetiza la misma información pero de forma gráfica: 100 V Porcentaje V15 Observe que pinchando con el ratón en distintas partes del gráfico puede modificar distintas propiedades (color y relleno de las barras, valores mínimo y máximo de la escala, etiquetas de los ejes, ). Para comparar gráficos de distintos ítems es importante que usted adecue los valores máximos del eje de ordenadas. Por ejemplo si obtiene la siguiente gráfica para el ítem 20:

8 Primera práctica V Porcentaje V20 Debería modificar el valor máximo de Porcentaje a 100 (ver gráfica siguiente): 100 V Porcentaje V20

9 Primera práctica OBTENCIÓN DE LOS ÍNDICES DE DIFICULTAD Y VARIANZAS Para obtener los índices de dificultad y varianzas deberemos crear nuevas variables en las que se recodifiquen las respuestas a los ítems, asignando 1 al acierto y 0 al fallo u omisión. Esta recodificación será necesaria también para todos los análisis que solicitamos a continuación. Para ello se selecciona el menú Transformar -> Recodificar -> En distintas variables y aparece el siguiente cuadro de diálogo: Cuadro de diálogo Transformar -> Recodificar -> En distintas variables Debe seleccionar los ítems de su test en los que la respuesta correcta es la 1º opción (p.e., v16 ) y arrastrarlos (pulsando la flechita) al cuadro de Var. de entrada. Aparecerán las variables con un interrogante (p.e., v16->? ). Seleccione un ítem (p.e., v16 ) y escriba el nombre de la nueva variable con las respuestas recodificadas para ese ítem (p.e., i16 ) y pulse el botón Cambiar. Aparecerá la siguiente ventana:

10 Primera práctica Luego pulse el botón Valores antiguos y nuevos y aparecerá la siguiente ventana: Observe que debe escribirse un 1 en Valor antiguo y un 1 en Valor nuevo. Esto quiere decir que todas las respuestas de las personas que han escogido la opción 1 en el ítem v16 serán recodificadas como aciertos en la nueva variable i16. Pulse Añadir y siga añadiendo el resto de valores a recodificar. Cuando terminé, debería tener una ventana como la siguiente:

11 Primera práctica Observe que el resto de las respuestas (opciones incorrectas y omisiones) son consideradas como errores y son recodificadas como 0. Pulse Continuar y luego Aceptar. Se creará una nueva variable que aparecerá en el fichero de datos.

12 Primera práctica Tras repetir el proceso para el resto de los ítems habrá obtenido 8 nuevas variables (i15 a i22) que indicarán si la persona ha acertado o fallado los ítems. Ahora podemos obtener el índice de dificultad y la varianza de los ítems. Para ello se selecciona el menú Analizar -> Estadísticos Descriptivos -> Descriptivos. Aparecerá el siguiente cuadro de diálogo: Cuadro de diálogo Analizar -> Estadísticos Descriptivos -> Descriptivos Debe seleccionar las 8 nuevas variables (de i15 a i22) y arrastrarlas (pulsando la flechita) al cuadro de Variables. Luego pulse en el botón Opciones y aparecerá la siguiente ventana:

13 Primera práctica Aparte de las opciones ya marcadas, marque el cuadro para obtener la Varianza. Pulse Continuar y luego Aceptar. Obtendrá la siguiente salida: Estadísticos descriptivos I15 I16 I17 I18 I19 I20 I21 I22 N válido (según lista) N Mínimo Máximo Media Desv. típ. Varianza E Observe que, si lo ha hecho bien, la Media es el índice de dificultad del ítem y coincide con el porcentaje de personas que escogen la opción correcta partido de 100 (p.e, para el ítem 15, p = que es 91.20/100). También en la salida aparece la desviación típica y la varianza de cada ítem (p.e., para el ítem 15 la varianza es.08034) OBTENCIÓN DE LOS ÍNDICES DE HOMOGENEIDAD Para continuar con los análisis debemos crear 2 nuevas variables: la puntuación total en el test de 8 ítems y la puntuación total en el test de 6 ítems que miden la misma aptitud. Para ello se selecciona el menú Transformar -> Contar apariciones y aparecerá: Cuadro de diálogo Transformar -> Contar apariciones

14 Primera práctica Debe seleccionar las 8 nuevas variables (i15 a i22) y arrastrarlas al cuadro de Variables. En Variable de destino ponga test_8 y pulse Definir valores. Aparecerá el siguiente menú: Escriba el valor 1 tal como se indica en la ventana y pulse Añadir. Pulse Continuar y luego Aceptar. Se habrá creado una nueva variable llamada test_8 en la que para cada persona se contabiliza el número de aciertos en el conjunto de los 8 ítems. Para crear la puntuación en el test de 6 ítems se sigue el mismo proceso (Contar apariciones) salvo que ahora llamaremos a la variable test_6 e introduciremos en el cuadro de variables sólo 6 ítems (en este caso, del 15 a 20). Si se ha hecho bien, se habrán creado 2 nuevas variables que aparecerán en el fichero como test_6 y test_8. Ahora podemos calcular los índices de homogeneidad. Selecciona Analizar -> Correlaciones->Bivariadas y aparecerá:

15 Primera práctica Debe seleccionar test_6, test_8 y las 8 nuevas variables para los ítems (i15 a i22) y arrastrarlas al cuadro de Variables. Luego pulse Aceptar. Obtendrá la siguiente salida. Correlaciones TEST_6 TEST_8 I15 I16 I17 I18 I19 I20 I21 I22 Correlación de Pearson Sig. (bilateral) N Correlación de Pearson Sig. (bilateral) N Correlación de Pearson Sig. (bilateral) N Correlación de Pearson Sig. (bilateral) N Correlación de Pearson Sig. (bilateral) N Correlación de Pearson Sig. (bilateral) N Correlación de Pearson Sig. (bilateral) N Correlación de Pearson Sig. (bilateral) N Correlación de Pearson Sig. (bilateral) N Correlación de Pearson Sig. (bilateral) N TEST_6 TEST_8 I15 I16 I17 I18 I19 I20 I21 I La parte más relevante de la salida está en las 2 primeras columnas: Correlaciones Correlación de Pearson TEST_6 TEST_8 TEST_ TEST_ I I I I I I I I Los valores.358,.556,.548,.490,.495,.563,.236 y.293 son los índices de homogeneidad con respecto al test de 8 ítems. Note que los ítems 21 y 22 son los que menos tienen que ver con el total. Los valores.363,.568,.569,.512,.501 y.575 son los índices de

16 Primera práctica homogeneidad de los 6 ítems que miden lo mismo con respecto al test propio de 6 ítems. Los valores.139 y.140 no son índices de homogeneidad CÁLCULO DE LAS PUNTUACIONES CORREGIDAS En el apartado 3.4. se calcularon las puntuaciones directas o número de aciertos de las personas en el test de 8 ítems (test_8). Para calcular la puntuación corregida debemos crear un nueva variable, omi_8, que contabilice el número de omisiones de cada persona en los 8 ítems. Para ello se sigue el procedimiento ya descrito. Se selecciona el menú Transformar - > Contar apariciones, se seleccionan las 8 variables originales (v15 a v20), en Variable de destino se escribe omi_8, se pulsa Definir valores, se escribe el valor 9 y se pulsa sucesivamente Añadir, Continuar y Aceptar. Ahora podemos calcular el número de errores. Se selecciona el menú Transformar -> Calcular y aparecerá el siguiente cuadro de diálogo: Cuadro de diálogo Transformar -> Calcular En Variable de destino escribimos err_8 y en expresión numérica escribimos: 8 - omi_8 - test_8

17 Primera práctica ya que el número de errores de una persona se calcula sustrayendo al número de ítems (8) el número de aciertos y el número de omisiones que ha tenido. Pulse Aceptar y se creerá la nueva variable err_8. Para calcular la puntuación corregida, se selecciona de nuevo Transformar -> Calcular y en variable de destino escribimos pcor_8 y en expresión numérica escribimos: pcor_8 = test_8 err_8 / 3 ya que la puntuación corregida se calcula restando al número de aciertos (test_8) el número de errores que ha tenido cada persona partido del número de opciones de los ítems menos 1. Esta es la fórmula a aplicar cuando el número de opciones de cada ítem es 4. En general, el denominador de la fórmula anterior es k-1, siendo k el número de opciones de los ítems, que es igual para todos los ítems del test. Si el número de opciones de los ítems del subtest de 6 ítems no coincide con el de 2 ítems, se obtendrán las puntuaciones corregidas sólo del subtest de 6 ítems. Así pues la estructura final del fichero de datos de SPSS quedará:

18 Primera práctica Una vez definida las variable pcor_8, para obtener su distribución de frecuencias se selecciona el menú Analizar->Estadísticos descriptivos->frecuencias y se seleccionan ambas variables. Antes de pulsar Aceptar debe seleccionarse dentro del menú Gráficos la opción histograma. Obtendrá una gráfica como la que aparece a continuación: Frecuencia 0 Desv. típ. = 1.70 Media = 4.0 N = PCOR 8 Puede analizar también la relación entre las puntuaciones corregidas y las puntuaciones directas (seleccione Gráficos ->Dispersión -> Simple y luego lleve la variable test_8 al cuadro Eje_X y la variable pcor_8 al cuadro Eje_Y. Pulse Aceptar): PCOR_ TEST 8

19 Primera práctica Una vez obtenidos todos los resultados deberán guardarse en el fichero PRACTICA1.SPO utilizando para ello el menú Archivo -> Guardar. 3.6 ELABORACIÓN DEL INFORME. Una vez realizados todos los análisis, los grupos redactarán un trabajo en el que se describa el proceso seguido, comentando los resultados más importantes. Es importante comentar los más concretamente posible los resultados y las posibles causas de algunos resultados. En definitiva, no se trata sólo de mostrar los resultados sino de comentarlos lo mejor que se pueda. La primera hoja de cada trabajo TIENE QUE SER LA HOJA DE VALORACIÓN. Una hoja idéntica a la que se adjunta en la página 22. Cada grupo DEBE conservar una copia de su trabajo, ya que tras la corrección solamente se devolverá la hoja de valoración con la evaluación y comentarios oportunos. En la segunda hoja debe constar el nombre del test analizado Y LOS INTEGRANTES DEL GRUPO. Es OBLIGATORIO adjuntar al informe un disco, debidamente identificado, con el fichero de datos que se ha generado (con las nuevas variables) y el fichero de resultados de SPSS. El trabajo en sí debe incluir los siguientes apartados: 1. Breve descripción de los ítems y rasgos En este apartado debe indicarse los ítems que van a ser analizados y los rasgos que dichos ítems miden. 2. Estudio de cada ítem: a. Análisis de las opciones incorrectas y de las tasas de omisión. Son apropiadas las opciones incorrectas? En el caso de alguna opción incorrecta más o menos elegida de lo esperable Puede explicar a qué se debe esa alta o baja tasa de eleccion? Valore la tasa de omisión del ítem e indique qué nos dice en relación a su calidad. b. Interpretación de los índices de dificultad y homogeneidad: Informe e interprete la dificultad de los ítems, su varianza y sus índices de homogeneidad. Son adecuados los valores? Son iguales los índices de

20 Primera práctica homogeneidad con el test global y con el test de 6 ítems? Si no son iguales, a qué se debe la diferencia? 3. Síntesis y conclusiones sobre la calidad de los ítems: A la vista de los resultados precedentes, convendría eliminar o modificar algún ítem? Resumir brevemente los resultados obtenidos en el apartado Comentar la distribución de las puntuaciones corregidas. Qué tipo de distribución se ha obtenido? Es adecuada? Qué tendencia de respuesta han seguido los sujetos: muchas omisiones o muchas respuestas al azar? Se te ocurre alguna manera de calcular el grado en que una persona concreta tiene tendencia a responder al azar? 5. Apéndice En un apéndice DEBE incluirse la salida de SPSS con los análisis realizados (independientemente de que además se entregue en el disquete). Cada grupo debe incluir en su informe toda esta información, aunque la puede organizar de otra forma y realizar los comentarios adicionales pertinentes. Se ruega paginar el trabajo. 4. EVALUACIÓN La realización de esta práctica es obligatoria. La fecha tope para entregar el informe es 31 de marzo. La práctica se valorará desde 0 hasta 0.5 puntos. Esta puntuación se sumará a la calificación final del examen y a la práctica TESTS APLICADOS 1. FG Cattell, R. B. & Cattell, A. K. S (1984). Test de Factor G. 3ª ed. revisada. TEA Ediciones, Madrid. - Escala 3 (Forma A, Test 1): ítems Escala 3 (Forma A, Test 3): ítems 1-12

21 Primera práctica PMA Test de Aptitudes Mentales Primarias (1999). 10ª ed. TEA Ediciones, Madrid. - Factor V: ítems Factor R: ítems MONEDAS Test de Aptitud Numérica Monedas (1989). 2ª ed. revisada. TEA Ediciones, Madrid. - Monedas 2: ítems DAT Test de Aptitudes Diferencias DAT (1999). 14ª ed. TEA Ediciones, Madrid. - DAT-VR (Forma M): ítems ROT FIGURAS Yela, M. (1968) Test de Rotación de Figuras Macizas. TEA Ediciones, Madrid. ítems: PANTILLAS DE CORRECCION PMA-R 1) 6, 2)5, 3)1, 4)4, 5)1, 6)4, 7)5, 8)1, 9)6, 10)4, 11)3, 12)2, 13)1, 14)3, 15)3, 16)2, 17)2, 18)1 Cattell Serie 1 1)2, 2)3, 3)2, 4)4, 5)5, 6)2, 7)4, 8)2, 9)6,10)3,11)2, 12)2 Cattell Serie 3 1)5, 2)5, 3)5, 4)2, 5)3, 6)4, 7)5, 8)5, 9)1, 10)1, 11)6, 12)3 Rotación de Figuras Macizas 1)1, 2)3, 3)1, 4)3, 5)1, 6)5, 7)2, 8)2, 9)5,10)2,11)5, 12)2, 13)1, 14)2, 15)2, 16)4, 17)5, 18)5 PMA-V 1)3, 2)2, 3)2, 4)4, 5)4, 6)3, 7)1, 8)4, 9)3,10)4,11)3,12)3,13)2,14)1,15)3, 16)3, 17)2, 18)1, 19)1, 20)3, 21)3, 22)2, 23)1, 24)2, 25)3, 26)3, 27)3, 28)4, 29)3, 30)3, 31)4, 32)3, 33)1, 34)4, 35)1, 36)3, 37)4, 38)2, 39)4, 40)4, 41)3, 42)2 DAT-VR: 1)4, 2)3, 3)3, 4)4, 5)1, 6)3, 7)2, 8)2, 9)2, 10)1, 11)4, 12)3, 13)3, 14)2, 15)5, 16)1, 17)1, 18)5, 19)5, 20)4, 21)1, 22)3, 23)3, 24)5, 25)1, 26)5, 27)2, 28)5, 29)2, 30)4, 31)4, 32)2, 33)5, 34)4, 35)3, 36)4, 37)2, 38)4, 39)5, 40)4, 41)5, 42)4, 43)4, 44)1, 45)3, 46)1, 47)2, 48)2 MONEDAS-2 1)4 2)2, 3)3, 4)4, 5)3, 6)1, 7)3, 8)5, 9)1, 10)4, 11)5, 12)1, 13)5, 14)2, 15)5, 16)2, 17)5, 18)2, 19)5, 20)4, 21)3, 22)5, 23)4, 24)3, 25)3, 26)2, 27)4, 28)5, 29)3, 30)2

22 Primera práctica HOJA DE VALORACIÓN (A RELLENAR POR LOS ALUMNOS) LOS ITEMS MIDEN Y INTEGRANTES: Nombre y apellidos (en MAYÚSCULAS) GRUPO (A RELLENAR POR EL PROFESOR) Está toda la información solicitada? SÍ NO. Información que falta: Se informa correctamente del análisis de las opciones incorrectas? SÍ NO. Información que falta: Se informa e interpretan adecuadamente de los índices de dificultad y las varianzas? SÍ NO. Información que falta: Se informa e interpretan adecuadamente los índices de homogeneidad? SÍ NO. Información que falta: Se ha calculado correctamente la puntuación corregida? SÍ NO. Información que falta: Aspectos destacables: Principales deficiencias: CALIFICACIÓN: