Excale de primaria

Transcripción

1 Excale de primaria Análisis preeliminar de reactivos Subdirección e Análisis Dirección de Pruebas y Medición Instituto Nacional para la Evaluación de la Educación 3 de noviembre de

2 Índice Índice... 2 Introducción... 3 Los principales estadísticos de reactivos... 4 Gráficos de Español... 6 Gráficos de Matemáticas... 9 Gráficos de Ciencias naturales Gráficos de Educación cívica s que se sugiere eliminar del análisis Confiabilidad de la prueba Observaciones generales Anexos

3 Introducción Una vez que las pruebas de los Excale , 6 de primaria fueron administradas a los alumnos muestreados y sus respuestas fueron integradas a archivos electrónicos, es necesario llevar a cado un análisis de los reactivos con la finalidad de verificar el comportamiento de cada una de las preguntas que se incluirán en los análisis definitivos. Aunque las preguntas ya fueron puestas a prueba con anterioridad en la fase de piloteo, es necesario repetir el procedimiento debido a los ajustes realizados en las propias preguntas así como su inclusión en una nueva distribución de prueba. Principalmente, el análisis se basa en tres indicadores: Correlación punto biserial.(ptbis Ajuste al modelo de Rasch (Infit). Curva característica del reactivo (CCI) En este documento se presenta una breve reseña de dichos indicadores y a continuación se presentan los siguientes gráficos para cada una de las asignaturas: Mapa de Wright en donde se podrá juzgar si las pruebas tienen la amplitud necesaria para la población evaluada. Gráficas de distribución de la correlación punto biserial (Pubis). Gráficas de distribución del ajuste a (Infit) al modelote Rasch. Gráficas de distribución de la proporción de respuestas correctas. En cada gráfica se han señalado aquellos reactivos que tienen problemas de desajuste en algunos de los parámetros o estadísticos utilizados para juzgar la calidad de los mismos. Posteriormente, la Subdirección de Análisis hace la propuesta para eliminar algunos de los reactivos con mayores problemas referencia que podrían afectar negativamente los resultados de los alumnos. Enseguida se presenta un cuadro con las confiabilidades de cada una de las pruebas. En los anexos, se incorpora el análisis e cada uno de los reactivos de las pruebas en donde se incorpora su comportamiento en general, por opción de respuesta y se muestra la curva característica del item. Para obtener todos los indicadores, se utilizó el programa ConQuest V2. 3

4 Los principales estadísticos de reactivos La correlación punto biserial (ptbis) es una correlación entre una variable dicotómica y una continua. El valor numérico que tenga la correlación dependerá del grado de asociación entre ambas variables. Estrictamente hablando, la correlación punto biserial es un caso particular de la correlación de Pearson en la cual se supone que ambas variables son continuas. En el caso específico del análisis de pruebas, la variable dicotómica está representada por la respuesta de un reactivo la cual puede tomar dos valores: acierto (1) o fallo (0); y la variable continua corresponde al puntaje total obtenido por los examinados. Idealmente, la correlación de Pearson puede tomar valores de -1 a 1 en donde estos valores extremos denotan correlaciones perfectas. El valor 1 se obtiene cuando ambas variables mantienen constante la misma tasa de crecimiento lo cual estaría representado por una línea recta en una gráfica de dispersión. Por su parte el valor -1 se obtiene cuando la tasa de crecimiento es constante pero negativa, lo que indica que cuando una variable se incrementa la otra decrece. La correlación punto biserial, por ser un caso especial de la Pearson difícilmente tendrá estos valores extremos aún en el caso ideal pues la tasa de crecimiento o decrecimiento no puede permanecer constante cuando una de las variables es dicotómica. Por este motivo, su interpretación se ha cargado al lado de lo que los especialistas en estadística llaman reglas del pulgar (rule thumb) que surgen del trabajo empírico y que dan respuesta a problemas específicos donde es necesario un juicio. Comúnmente se considera que un ptbis entre 0.30 y 0.60 es adecuado para una prueba, sin embargo también hay que considerar que este rango solamente es válido para preguntas de una dificultad promedio. La correlación ptbis tiende a decrecer cuando las preguntas son muy fáciles y especialmente cuando son difíciles. ACER (Australian Council in Educational Reasearch), quien es responsable de las pruebas de PISA de la OECD, establece como criterio para que un reactivo se incluya en una prueba que su correlación ptbis sea de al menos Por su parte, Jerard Kehoe (1995. Basic item analysis for multiple-choice tests. Practical Assessment, Research & Evaluation), indica que un reactivo con un ptbis por debajo de 0.15 seguramente tiene que ser reestructurado y que su mal comportamiento posiblemente se deba a que no mide la misma habilidad de los demás, es confuso o es mal entendido por los examinados. También debe considerarse el hecho de que cuando se estima cualquier estadístico, los valores tienen una distribución propia que podría considerarse como normal o esperada. Lo importante en el análisis de pruebas, es que solamente unos cuantos reactivos se salgan de estas reglas de dedo. Dadas estas circunstancias, el INEE propone incorporar al análisis de las pruebas solamente aquellos reactivos con una correlación ptbis igual o mayor de 0.15 pues si tienen este estadístico deficiente seguramente tendrá comportamientos anómalos en otros estadísticos especializados en el análisis de pruebas. El ajuste al modelo de Rasch (Infit) es un estadístico que indica qué tan bien se aproxima el comportamiento empírico del reactivo al modelo de Rasch. A diferencia de otros modelos de la Teoría de Respuesta al Item (IRT, en inglés), el modelo de Rasch define un modelo de medición en el cual el objeto a medir y el objeto con que se mide 4

5 son independientes, así que si se desea utilizar éste modelo, los reactivos tienen que ajustarse a él y no el modelo al comportamiento de los reactivo como sucede con los demás modelos de la TRI.. Idealmente, el infit tiene una esperanza de 1 y algunos especialistas consideran que los reactivos tienen un buen ajuste cuando su infit está en el intervalo 0.8 a 1.2. Sin embargo, Linacre relaja dicho criterio al considerar que desajustes por arriba de 2.0 ya tienen efectos negativos en el análisis de las pruebas y por consiguiente se infiere que por debajo de ese valor no afectan de forma importante a los resultados. Wright por su parte, contempla la posibilidad de salirse un poco del intervalo en función de los objetivos y naturaleza e la prueba. Así, al perecer y a juicio de los principales exponentes del modelo de Rasch, este estadístico puede considerarse con relativa holgura. La curva característica del reactivo(cci), es la representación gráfica de la comparación del modelo de Rasch y los valores empíricos obtenidos. Los gráfico obtenidos representan mediante una línea contínua al comportamiento que se espera del reactivo y con valores puntuales el comportamiento empírico. Lo ideal es que ambas curvas se superpongan. Aunque la inspección visual de los gráficos puede ser subjetiva, aporta elementos que apoyan la decisión de incluir o excluir un reactivo del análisis. 5

6 Gráficos de Español Mapa de Wright de la prueba de Español Logits Alumnos Preguntas PEA_01 61 PEF_ PEK_07 2 PEA_02 62 PEF_ PEK_ PEA_03 63 PEF_ PEK_09 4 PEA_04 64 PEF_ PEK_10 5 PEA_05 65 PEF_ PEK_11 6 PEA_06 66 PEF_ PEL_01 7 PEA_07 67 PEF_ PEL_02 X 8 PEA_08 68 PEF_ PEL_03 X 9 PEA_09 69 PEG_ PEL_04 X 10 PEA_10 70 PEG_ PEL_05 XX 11 PEA_11 71 PEG_ PEL_06 XX PEB_01 72 PEG_ PEL_ PEB_02 73 PEG_ PEL_08 XXXX 14 PEB_03 74 PEG_ PEL_09 XXXXXXXX 15 PEB_04 75 PEG_ PEL_10 XXXXXXX 16 PEB_05 76 PEG_ PEL_11 XXXXXX PEB_06 77 PEG_ PEM_01 XXXXXXXX PEB_07 78 PEG_ PEM_02 XXXXXXXXXX PEB_08 79 PEG_ PEM_03 XXXXXXXXXXX PEB_09 80 PEH_ PEM_04 XXXXXXXXXXXXXX PEB_10 81 PEH_ PEM_05 XXXXXXXXXXXXXXX PEB_11 82 PEH_ PEM_06 XXXXXXXXXXXXXXXXXXXXX PEC_01 83 PEH_ PEM_07 0 XXXXXXXXXXXXXXXXXXX PEC_02 84 PEH_ PEM_08 XXXXXXXXXXXXXXXXXXXX PEC_03 85 PEH_ PEM_09 XXXXXXXXXXXXXXXXXXXXXXXXX PEC_04 86 PEH_ PEM_10 XXXXXXXXXXXXXXXXXXXXXXXXXXXXX PEC_05 87 PEH_ PEM_11 XXXXXXXXXXXXXXXXXXXXXXXXXXXX PEC_06 88 PEH_ PEN_01 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX PEC_07 89 PEH_ PEN_02 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX PEC_08 90 PEH_ PEN_03 XXXXXXXXXXXXXXXXXXXXXXX PEC_09 91 PEI_ PEN_04 XXXXXXXXXXXXXXXXXXXXXXXXXXXXX PEC_10 92 PEI_ PEN_05 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXX PEC_11 93 PEI_ PEN_06 XXXXXXXXXXXXXXXXXXXXXXXXXXXXX PED_01 94 PEI_ PEN_07-1 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX PED_02 95 PEI_ PEN_08 XXXXXXXXXXXXXXXXXXXXXXXXXX PED_03 96 PEI_ PEN_09 XXXXXXXXXXXXXXXXXXXXXXXXXXXX PED_04 97 PEI_ PEN_10 XXXXXXXXXXXXXXXXXX PED_05 98 PEI_ PEN_11 XXXXXXXXXXXXXXX 39 PED_06 99 PEI_09 XXXXXXXXXXXXXXXXXXX PED_ PEI_10 XXXXXXXXXXX PED_ PEI_11 XXXXXXXXXX PED_ PEI_12 XXXXXXXX PED_ PEJ_01 XXXXXX PED_ PEJ_02 XXXX 45 PEE_ PEJ_03-2 XX PEE_ PEJ_04 XXX PEE_ PEJ_05 XX 48 PEE_ PEJ_06 X PEE_ PEJ_07 X PEE_ PEJ_08 51 PEE_ PEJ_ PEE_ PEJ_10 X 53 PEE_ PEJ_11 54 PEE_ PEJ_12 55 PEE_ PEK_ PEE_ PEK_02 57 PEF_ PEK_03 58 PEF_ PEK_04 59 PEF_ PEK_05 60 PEF_ PEK_06 ================================================================================================================================= Cada 'X' representa 31.7 casos 6

7 Gráfica de distribución de la correlación Ptbis de los reactivos de Español Discriminación (Ptbis) Región de reactivos con discrimación deficiente 0.00 Gráfica de distribución del ajuste al modelo de Rasch (Infit) de los reactivos de Español 1.40 Región de desajuste Ajuste al modelo de Rasch(Infit) Región de desajuste

8 Gráfica de distribución de la proporción de respuestas correctas de los reactivos de Español 100 Porcentaje de respuestas correctas La línea señala el promedio de los porcentajes de respuesta correcta 8

9 Gráficos de Matemáticas Mapa de Wright de la prueba de Matemáticas Logits Alumnos Preguntas PMA_01 61 PMD_ PMH_ PMK_16 2 PMA_02 62 PMD_ PMH_ PMK_ PMA_03 63 PMD_ PMH_ PML_ PMA_04 64 PMD_ PMH_ PML_02 5 PMA_05 65 PMD_ PMH_ PML_ PMA_06 66 PME_ PMH_ PML_ PMA_07 67 PME_ PMH_ PML_05 1 X PMA_08 68 PME_ PMH_ PML_06 X 9 PMA_09 69 PME_ PMH_ PML_07 X PMA_10 70 PME_ PMH_ PML_08 XX PMA_11 71 PME_ PMH_ PML_09 XX PMA_12 72 PME_ PMH_ PML_ PMA_13 73 PME_ PMI_ PML_11 XXXXX PMA_14 74 PME_ PMI_ PML_12 XXXXXXXXX 1 15 PMA_15 75 PME_ PMI_ PML_13 XXXXXXXX PMA_16 76 PME_ PMI_ PML_14 XXXXXXX PMB_01 77 PME_ PMI_ PML_15 0 XXXXXXXX PMB_02 78 PME_ PMI_ PML_16 XXXXXXXXXXX PMB_03 79 PME_ PMI_ PML_17 XXXXXXXXXXX PMB_04 80 PME_ PMI_ PMM_01 XXXXXXXXXXXXXX PMB_05 81 PME_ PMI_ PMM_02 XXXXXXXXXXXXXX PMB_06 82 PMF_ PMI_ PMM_03 XXXXXXXXXXXXXXXXXXXX PMB_07 83 PMF_ PMI_ PMM_04 XXXXXXXXXXXXXXXXX PMB_08 84 PMF_ PMI_ PMM_05 XXXXXXXXXXXXXXXXXX PMB_09 85 PMF_ PMI_ PMM_06 XXXXXXXXXXXXXXXXXXXXX PMB_10 86 PMF_ PMI_ PMM_07 XXXXXXXXXXXXXXXXXXXXXXXXX PMB_11 87 PMF_ PMI_ PMM_08-1 XXXXXXXXXXXXXXXXXXXXXXXX PMB_12 88 PMF_ PMI_ PMM_09 XXXXXXXXXXXXXXXXXXXXXXXXXXXXX PMB_13 89 PMF_ PMJ_ PMM_10 XXXXXXXXXXXXXXXXXXXXXXXXXXX PMB_14 90 PMF_ PMJ_ PMM_11 XXXXXXXXXXXXXXXXXXXXX PMB_15 91 PMF_ PMJ_ PMM_12 XXXXXXXXXXXXXXXXXXXXXXXXXXXX PMB_16 92 PMF_ PMJ_ PMM_13 XXXXXXXXXXXXXXXXXXXXXXXXXXXXX PMC_01 93 PMF_ PMJ_ PMM_14 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXX PMC_02 94 PMF_ PMJ_ PMM_15 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX PMC_03 95 PMF_ PMJ_ PMM_16 XXXXXXXXXXXXXXXXXXXXXXXXXX PMC_04 96 PMF_ PMJ_ PMM_17 XXXXXXXXXXXXXXXXXXXXXXXXXXXX PMC_05 97 PMF_ PMJ_ PMN_01-2 XXXXXXXXXXXXXXXXXXXX PMC_06 98 PMF_ PMJ_ PMN_02 XXXXXXXXXXXXXXXX PMC_07 99 PMG_ PMJ_ PMN_03 XXXXXXXXXXXXXXXXXXXX PMC_ PMG_ PMJ_ PMN_04 XXXXXXXXXXX PMC_ PMG_ PMJ_ PMN_05 XXXXXXXXX PMC_ PMG_ PMJ_ PMN_06 XXXXXXXX PMC_ PMG_ PMJ_ PMN_07 XXXXX PMC_ PMG_ PMJ_ PMN_08 XXXX PMC_ PMG_ PMJ_ PMN_09 XX 46 PMC_ PMG_ PMK_ PMN_10 XX PMC_ PMG_ PMK_ PMN_11-3 X PMC_ PMG_ PMK_ PMN_12 X 49 PMC_ PMG_ PMK_ PMN_13 X PMD_ PMG_ PMK_ PMN_ PMD_ PMG_ PMK_ PMN_ PMD_ PMG_ PMK_ PMN_ PMD_ PMG_ PMK_ PMN_17 54 PMD_ PMG_ PMK_09 55 PMD_ PMG_ PMK_10 56 PMD_ PMH_ PMK_11 57 PMD_ PMH_ PMK_ PMD_ PMH_ PMK_13 59 PMD_ PMH_ PMK_14 60 PMD_ PMH_ PMK_15 ========================================================================================================================================= Each 'X' represents 32.7 cases 9

10 Gráfica de distribución de la correlación Ptbis de los reactivos de Matemáticas Discriminación (Ptbis) Región de reactivos con discriminación deficiente Gráfica de distribución del ajuste al modelo de Rasch (Infit) de los reactivos de Matemáticas 1.80 Ajuste al modelo de Rasch(Infit) Región de desajuste 0.90 Región de desajuste

11 Gráfica de distribución de la proporción de respuestas correctas de los reactivos de Matemáticas La línea señala el promedio de los porcentajes de respuesta correcta Porcentaje de respuestas correctas

12 Gráficos de Ciencias naturales Mapa de Wright de la prueba de Ciencias naturales Logits Alumnos Preguntas PNA_01 61 PND_07 2 PNA_02 62 PND_08 3 PNA_03 63 PND_09 4 PNA_04 64 PND_10 5 PNA_05 65 PND_11 6 PNA_06 66 PND_12 7 PNA_07 67 PND_13 8 PNA_08 68 PND_14 3 X 9 PNA_09 69 PND_15 X 10 PNA_10 70 PND_16 X 11 PNA_11 71 PND_17 XX 12 PNA_12 72 PND_18 13 PNA_13 XXX 14 PNA_14 XXXXXXX 15 PNA_15 XXXXXXX 16 PNA_16 XXXXXXX PNA_17 XXXXXXXX 18 PNA_18 XXXXXXXXXX PNB_01 2 XXXXXXXXXXXXXX PNB_02 XXXXXXXXXXXXXXXX 21 PNB_03 XXXXXXXXXXXXXXXX PNB_04 XXXXXXXXXXXXXXXXXXXXXXXXXX 23 PNB_05 XXXXXXXXXXXXXXXXXXXXXXX PNB_06 XXXXXXXXXXXXXXXXXXXXXXXXXX PNB_07 XXXXXXXXXXXXXXXXXXXXXXXXXX PNB_08 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX PNB_09 XXXXXXXXXXXXXXXXXXXXXXXXXXXXX PNB_10 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX PNB_11 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX PNB_12 1 XXXXXXXXXXXXXXXXXXXXXXXX PNB_13 XXXXXXXXXXXXXXXXXXXXXXXXXXXXX PNB_14 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXX PNB_15 XXXXXXXXXXXXXXXXXXXXXXXXXXX PNB_16 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX PNB_17 XXXXXXXXXXXXXXXXXXXXXXXX PNB_18 XXXXXXXXXXXXXXXXXXXXXXXXXX PNC_01 XXXXXXXXXXXXXXXXXXX PNC_02 XXXXXXXXXXXXXXX PNC_03 XXXXXXXXXXXXXXXXXXX PNC_04 XXXXXXXXXXXXX PNC_05 0 XXXXXXXXXXX PNC_06 XXXXXXXXXX PNC_07 XXXXXXXX PNC_08 XXXXX PNC_09 XXX PNC_10 XXX 47 PNC_11 XXX 48 PNC_12 X 49 PNC_13 XX PNC_ PNC_15 52 PNC_16-1 X 53 PNC_17 54 PNC_18 55 PND_01 56 PND_02 57 PND_03 58 PND_04 59 PND_05 60 PND_06 ================================================================================================= Cada 'X' representa 24.9 casos 12

13 Gráfica de distribución de la correlación Ptbis de los reactivos de Ciencias naturales Discriminación (Ptbis) Región de reactivos con discrimación deficiente Gráfica de distribución del ajuste al modelo de Rasch (Infit) de los reactivos de Ciencias naturales 1.40 Región de desajuste Ajuste al modelo de Rasch(Infit) Región de desajuste

14 Gráfica de distribución de la proporción de respuestas correctas de los reactivos de Ciencias naturales 100 Porcentaje de respuestas correctas La línea señala el promedio de los porcentajes de respuesta correcta 14

15 Gráficos de Educación cívica Mapa de Wright de la prueba de Educación cívica Logits Alumnos Preguntas PCA_01 2 PCA_02 3 PCA_03 4 PCA_ PCA_05 6 PCA_06 7 PCA_07 X 8 PCA_08 X 9 PCA_09 XX 10 PCA_10 XX 5 11 PCA_11 XX 12 PCA_12 13 PCA_13 XXX 14 PCA_14 1 XXXXXXXX 15 PCA_15 XXXXXXX 16 PCA_16 XXXXXX 17 PCA_17 XXXXXXXX 18 PCA_18 XXXXXXXXX PCB_01 XXXXXXXXXXXX 20 PCB_02 XXXXXXXXXXXXXX PCB_03 XXXXXXXXXXXXXXX 22 PCB_04 XXXXXXXXXXXXXXXXXXXXX PCB_05 XXXXXXXXXXXXXXXXX PCB_06 0 XXXXXXXXXXXXXXXXXX PCB_07 XXXXXXXXXXXXXXXXXXXXXX PCB_08 XXXXXXXXXXXXXXXXXXXXXXXXXXX PCB_09 XXXXXXXXXXXXXXXXXXXXXXX PCB_10 XXXXXXXXXXXXXXXXXXXXXXXXXXXX 29 PCB_11 XXXXXXXXXXXXXXXXXXXXXXXXXXXXX PCB_12 XXXXXXXXXXXXXXXXXXXX PCB_13 XXXXXXXXXXXXXXXXXXXXXXXXXXXX PCB_14 XXXXXXXXXXXXXXXXXXXXXXXXXXXXX PCB_15-1 XXXXXXXXXXXXXXXXXXXXXXXXXXXX PCB_16 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX PCB_17 XXXXXXXXXXXXXXXXXXXXXXXXXX PCB_18 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXX PCB_19 XXXXXXXXXXXXXXXXXXXXXX 38 PCC_01 XXXXXXXXXXXXXXXXXX 39 PCC_02 XXXXXXXXXXXXXXXXXXXXX 40 PCC_03 XXXXXXXXXXX 41 PCC_04 XXXXXXXXXX 42 PCC_05 XXXXXXXX 43 PCC_06-2 XXXXX PCC_07 XXX 45 PCC_08 XX PCC_09 XX 47 PCC_10 X 48 PCC_11 49 PCC_12 50 PCC_13 51 PCC_14 52 PCC_15 53 PCC_ PCC_17 55 PCC_18 56 PCC_19 =================================================================================================== Cada 'X' representa 20.9 casos 15

16 Gráfica de distribución de la correlación Ptbis de los reactivos de Educación cívica Discriminación (Ptbis) Región de reactivos con discriminación deficiente 0.00 Gráfica de distribución del ajuste al modelo de Rasch (Infit) de los reactivos de Educación cívica Región de desajuste 1.20 Ajuste al modelo de Rasch(Infit) Región de desajuste

17 Gráfica de distribución de la proporción de respuestas correctas de los reactivos de Educación cívica 100 Porcentaje de respuestas correctas La línea señala el promedio de los porcentajes de respuesta correcta 17

18 s que se sugiere eliminar del análisis Con (ptbis<0.15) Asignatura Ptbis Infit Dificultad RC Español PEA_ Español PEA_ Español PEE_ Español PEE_ Español PEF_ Español PEL_ Español PEL_ Español PEM_ Español PEM_ Matemáticas PMA_ Matemáticas PMA_ Matemáticas PMB_ Matemáticas PMB_ Matemáticas PMB_ Matemáticas PMB_ Matemáticas PMB_ Matemáticas PMC_ Matemáticas PMC_ Matemáticas PMC_ Matemáticas PMC_ Matemáticas PMD_ Matemáticas PMD_ Matemáticas PME_ Matemáticas PME_ Matemáticas PMF_ Matemáticas PMF_ Matemáticas PMG_ Matemáticas PMG_ Matemáticas PMH_ Matemáticas PMH_ Matemáticas PMH_ Matemáticas PMH_ Matemáticas PMI_ Matemáticas PMI_ Matemáticas PMI_ Matemáticas PMJ_ Matemáticas PMJ_ Matemáticas PMJ_ Matemáticas PMJ_ Matemáticas PMJ_ Matemáticas PMJ_ Matemáticas PMJ_ Matemáticas PMJ_ Matemáticas PMK_ Matemáticas PMK_ Matemáticas PMK_ Matemáticas PML_

19 Asignatura Ptbis Infit Dificultad RC Matemáticas PML_ Matemáticas PML_ Matemáticas PMM_ Matemáticas PMM_ Matemáticas PMM_ Matemáticas PMN_ Matemáticas PMN_ Matemáticas PMN_ Ciencias Naturales PNA_ Ciencias Naturales PNA_ Ciencias Naturales* PNB_ Ciencias Naturales PND_ Ciencias Naturales PND_ Ciencias Naturales PND_ Educación cívica PCA_ Educación cívica PCC_ * que tiene ptbis>0.15 pero que se sugiere eliminar por problemas de opciones de respuesta. Confiabilidad de la prueba Estadísticos Español Matemáticas Ciencias Educación naturales cívica Cantidad de reactivos Cantidad alumnos muestreados (n) Confiabilidad (EAP/PV RELIABILITY)

20 Observaciones generales Español - La distribución de dificultades de los reactivos coincide, en general, con la distribución de la población objetivo. Este comportamiento maximiza la cantidad de información que se puede obtener de un instrumento. En otras palabras, se minimiza el error de medición asociado. En caso de mejorar la prueba a futuro, es recomendable elaborar reactivos más difíciles para alcanzar a medir con mayor precisión a la población con mayor habilidad. - Hay 8 reactivos que por su comportamiento no es recomendable incluirlos en la asignación de puntajes. Los especialistas responsables deben verificar si adolecen de deficiencias en su construcción. En dos de ellos, su comportamiento sugiere que la clave de opción correcta fue especificada de manera errónea (PEL_08,PE M_11). De estar técnicamente correctos (algunos de ellos), podrán ser incluidos dentro del reporte (no del escalamiento de puntajes) con la finalidad de complementar la información ofrecida al público. Matemáticas - La prueba incluye cerca de 22 reactivos por arriba del nivel de habilidad de los alumnos evaluados. - De los 233 reactivos que conforman la prueba, 46 (20%) de ellos tienen deficiencias marcadas (ptbis<0.15) por lo que no se recomienda su uso para realizar la estimación de puntajes. En la gran mayoría de los casos, el comportamiento estadístico sugiere que la respuesta correcta fue mal especificada. - Dado lo anterior, es indispensable que los responsables de la prueba verifiquen las respuestas correctas para que el análisis se vuelva a correr. Ciencias naturales - Observando el mapa de Wright, se puede afirmar que a la prueba se hacen falta reactivos más difíciles para alcanzar a medir con mayor precisión a la población más aventajada, es decir, hay un ligero problema de techo. - Hay seis reactivos que adolecen de deficiencias tales que se sugiere excluirlos del escalamiento de resultados. Los especialistas deben verificar que la opción marcada como correcta en verdad lo sea. Educación cívica - El mapa de reactivos sugiere que faltan reactivos tanto fáciles como difíciles en la prueba. Si bien esta organización aumenta la confiabilidad de la prueba (de manera no tan deseable), mide a inadecuadamente a las poblaciones cuyo nivel de habilidad se encuentran en los extremos de la escala. - De las cuatro pruebas analizadas, es la que menos reactivos con deficiencias presenta, pues solamente se sugiere excluir dos para la estimación de puntajes. En uno de dichos reactivos, su comportamiento estadístico parece indicar que la respuesta correcta fue erróneamente asignada. 20

21 Anexos Los siguientes anexos corresponden al análisis psicométrico de los reactivos. Anexo 1. Excale , Español. (páginas ) Anexo 2. Excale , Matemáticas. (páginas ) Anexo 3. Excale , Ciencias naturales. (páginas ) Anexo 4. Excale , Educación cívica. (páginas ) El orden de los reactivos corresponde al orden en las pruebas. 21