Excale de primaria

Excale 06 2009 6 de primaria Análisis preeliminar de reactivos Subdirección e Análisis Dirección de Pruebas y Medición Instituto Nacional para la Evaluación de la Educación 3 de noviembre de 2009 1

Índice Índice... 2 Introducción... 3 Los principales estadísticos de reactivos... 4 Gráficos de Español... 6 Gráficos de Matemáticas... 9 Gráficos de Ciencias naturales... 12 Gráficos de Educación cívica... 15 s que se sugiere eliminar del análisis... 18 Confiabilidad de la prueba... 19 Observaciones generales... 20 Anexos... 21 2

Introducción Una vez que las pruebas de los Excale-06 2009, 6 de primaria fueron administradas a los alumnos muestreados y sus respuestas fueron integradas a archivos electrónicos, es necesario llevar a cado un análisis de los reactivos con la finalidad de verificar el comportamiento de cada una de las preguntas que se incluirán en los análisis definitivos. Aunque las preguntas ya fueron puestas a prueba con anterioridad en la fase de piloteo, es necesario repetir el procedimiento debido a los ajustes realizados en las propias preguntas así como su inclusión en una nueva distribución de prueba. Principalmente, el análisis se basa en tres indicadores: Correlación punto biserial.(ptbis Ajuste al modelo de Rasch (Infit). Curva característica del reactivo (CCI) En este documento se presenta una breve reseña de dichos indicadores y a continuación se presentan los siguientes gráficos para cada una de las asignaturas: Mapa de Wright en donde se podrá juzgar si las pruebas tienen la amplitud necesaria para la población evaluada. Gráficas de distribución de la correlación punto biserial (Pubis). Gráficas de distribución del ajuste a (Infit) al modelote Rasch. Gráficas de distribución de la proporción de respuestas correctas. En cada gráfica se han señalado aquellos reactivos que tienen problemas de desajuste en algunos de los parámetros o estadísticos utilizados para juzgar la calidad de los mismos. Posteriormente, la Subdirección de Análisis hace la propuesta para eliminar algunos de los reactivos con mayores problemas referencia que podrían afectar negativamente los resultados de los alumnos. Enseguida se presenta un cuadro con las confiabilidades de cada una de las pruebas. En los anexos, se incorpora el análisis e cada uno de los reactivos de las pruebas en donde se incorpora su comportamiento en general, por opción de respuesta y se muestra la curva característica del item. Para obtener todos los indicadores, se utilizó el programa ConQuest V2. 3

Los principales estadísticos de reactivos La correlación punto biserial (ptbis) es una correlación entre una variable dicotómica y una continua. El valor numérico que tenga la correlación dependerá del grado de asociación entre ambas variables. Estrictamente hablando, la correlación punto biserial es un caso particular de la correlación de Pearson en la cual se supone que ambas variables son continuas. En el caso específico del análisis de pruebas, la variable dicotómica está representada por la respuesta de un reactivo la cual puede tomar dos valores: acierto (1) o fallo (0); y la variable continua corresponde al puntaje total obtenido por los examinados. Idealmente, la correlación de Pearson puede tomar valores de -1 a 1 en donde estos valores extremos denotan correlaciones perfectas. El valor 1 se obtiene cuando ambas variables mantienen constante la misma tasa de crecimiento lo cual estaría representado por una línea recta en una gráfica de dispersión. Por su parte el valor -1 se obtiene cuando la tasa de crecimiento es constante pero negativa, lo que indica que cuando una variable se incrementa la otra decrece. La correlación punto biserial, por ser un caso especial de la Pearson difícilmente tendrá estos valores extremos aún en el caso ideal pues la tasa de crecimiento o decrecimiento no puede permanecer constante cuando una de las variables es dicotómica. Por este motivo, su interpretación se ha cargado al lado de lo que los especialistas en estadística llaman reglas del pulgar (rule thumb) que surgen del trabajo empírico y que dan respuesta a problemas específicos donde es necesario un juicio. Comúnmente se considera que un ptbis entre 0.30 y 0.60 es adecuado para una prueba, sin embargo también hay que considerar que este rango solamente es válido para preguntas de una dificultad promedio. La correlación ptbis tiende a decrecer cuando las preguntas son muy fáciles y especialmente cuando son difíciles. ACER (Australian Council in Educational Reasearch), quien es responsable de las pruebas de PISA de la OECD, establece como criterio para que un reactivo se incluya en una prueba que su correlación ptbis sea de al menos 0.20. Por su parte, Jerard Kehoe (1995. Basic item analysis for multiple-choice tests. Practical Assessment, Research & Evaluation), indica que un reactivo con un ptbis por debajo de 0.15 seguramente tiene que ser reestructurado y que su mal comportamiento posiblemente se deba a que no mide la misma habilidad de los demás, es confuso o es mal entendido por los examinados. También debe considerarse el hecho de que cuando se estima cualquier estadístico, los valores tienen una distribución propia que podría considerarse como normal o esperada. Lo importante en el análisis de pruebas, es que solamente unos cuantos reactivos se salgan de estas reglas de dedo. Dadas estas circunstancias, el INEE propone incorporar al análisis de las pruebas solamente aquellos reactivos con una correlación ptbis igual o mayor de 0.15 pues si tienen este estadístico deficiente seguramente tendrá comportamientos anómalos en otros estadísticos especializados en el análisis de pruebas. El ajuste al modelo de Rasch (Infit) es un estadístico que indica qué tan bien se aproxima el comportamiento empírico del reactivo al modelo de Rasch. A diferencia de otros modelos de la Teoría de Respuesta al Item (IRT, en inglés), el modelo de Rasch define un modelo de medición en el cual el objeto a medir y el objeto con que se mide 4

son independientes, así que si se desea utilizar éste modelo, los reactivos tienen que ajustarse a él y no el modelo al comportamiento de los reactivo como sucede con los demás modelos de la TRI.. Idealmente, el infit tiene una esperanza de 1 y algunos especialistas consideran que los reactivos tienen un buen ajuste cuando su infit está en el intervalo 0.8 a 1.2. Sin embargo, Linacre relaja dicho criterio al considerar que desajustes por arriba de 2.0 ya tienen efectos negativos en el análisis de las pruebas y por consiguiente se infiere que por debajo de ese valor no afectan de forma importante a los resultados. Wright por su parte, contempla la posibilidad de salirse un poco del intervalo 0.8 1.2 en función de los objetivos y naturaleza e la prueba. Así, al perecer y a juicio de los principales exponentes del modelo de Rasch, este estadístico puede considerarse con relativa holgura. La curva característica del reactivo(cci), es la representación gráfica de la comparación del modelo de Rasch y los valores empíricos obtenidos. Los gráfico obtenidos representan mediante una línea contínua al comportamiento que se espera del reactivo y con valores puntuales el comportamiento empírico. Lo ideal es que ambas curvas se superpongan. Aunque la inspección visual de los gráficos puede ser subjetiva, aporta elementos que apoyan la decisión de incluir o excluir un reactivo del análisis. 5

Gráficos de Español Mapa de Wright de la prueba de Español Logits Alumnos Preguntas --------------------------------------------------------------------------------------------------------------------------------- 1 PEA_01 61 PEF_05 121 PEK_07 2 PEA_02 62 PEF_06 122 PEK_08 2 3 PEA_03 63 PEF_07 123 PEK_09 4 PEA_04 64 PEF_08 124 PEK_10 5 PEA_05 65 PEF_09 125 PEK_11 6 PEA_06 66 PEF_10 126 PEL_01 7 PEA_07 67 PEF_11 127 PEL_02 X 8 PEA_08 68 PEF_12 128 PEL_03 X 9 PEA_09 69 PEG_01 129 PEL_04 X 10 PEA_10 70 PEG_02 130 PEL_05 XX 11 PEA_11 71 PEG_03 131 PEL_06 XX 36 51 12 PEB_01 72 PEG_04 132 PEL_07 1 43 13 PEB_02 73 PEG_05 133 PEL_08 XXXX 14 PEB_03 74 PEG_06 134 PEL_09 XXXXXXXX 15 PEB_04 75 PEG_07 135 PEL_10 XXXXXXX 16 PEB_05 76 PEG_08 136 PEL_11 XXXXXX 8 83 17 PEB_06 77 PEG_09 137 PEM_01 XXXXXXXX 114 132 133 18 PEB_07 78 PEG_10 138 PEM_02 XXXXXXXXXX 14 32 56 106 117 129 19 PEB_08 79 PEG_11 139 PEM_03 XXXXXXXXXXX 9 78 134 20 PEB_09 80 PEH_01 140 PEM_04 XXXXXXXXXXXXXX 31 40 53 57 115 21 PEB_10 81 PEH_02 141 PEM_05 XXXXXXXXXXXXXXX 13 18 76 86 123 124 22 PEB_11 82 PEH_03 142 PEM_06 XXXXXXXXXXXXXXXXXXXXX 112 122 23 PEC_01 83 PEH_04 143 PEM_07 0 XXXXXXXXXXXXXXXXXXX 7 28 30 48 74 77 81 116 24 PEC_02 84 PEH_05 144 PEM_08 XXXXXXXXXXXXXXXXXXXX 4 19 27 29 66 70 87 110 136 138 25 PEC_03 85 PEH_06 145 PEM_09 XXXXXXXXXXXXXXXXXXXXXXXXX 10 12 25 45 54 58 65 68 93 96 26 PEC_04 86 PEH_07 146 PEM_10 XXXXXXXXXXXXXXXXXXXXXXXXXXXXX 52 55 69 90 92 95 101 105 113 27 PEC_05 87 PEH_08 147 PEM_11 XXXXXXXXXXXXXXXXXXXXXXXXXXXX 24 26 42 121 126 127 146 147 158 28 PEC_06 88 PEH_09 148 PEN_01 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX 62 88 97 107 108 111 29 PEC_07 89 PEH_10 149 PEN_02 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX 6 15 16 44 46 50 80 82 157 30 PEC_08 90 PEH_11 150 PEN_03 XXXXXXXXXXXXXXXXXXXXXXX 89 98 99 125 130 148 31 PEC_09 91 PEI_01 151 PEN_04 XXXXXXXXXXXXXXXXXXXXXXXXXXXXX 38 71 72 75 79 32 PEC_10 92 PEI_02 152 PEN_05 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXX 3 22 49 59 63 102 109 153 33 PEC_11 93 PEI_03 153 PEN_06 XXXXXXXXXXXXXXXXXXXXXXXXXXXXX 2 20 37 61 73 100 104 139 140 34 PED_01 94 PEI_04 154 PEN_07-1 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX 47 67 85 120 142 152 35 PED_02 95 PEI_05 155 PEN_08 XXXXXXXXXXXXXXXXXXXXXXXXXX 1 17 21 64 94 103 36 PED_03 96 PEI_06 156 PEN_09 XXXXXXXXXXXXXXXXXXXXXXXXXXXX 34 41 143 144 37 PED_04 97 PEI_07 157 PEN_10 XXXXXXXXXXXXXXXXXX 23 119 141 150 38 PED_05 98 PEI_08 158 PEN_11 XXXXXXXXXXXXXXX 39 PED_06 99 PEI_09 XXXXXXXXXXXXXXXXXXX 33 118 145 156 40 PED_07 100 PEI_10 XXXXXXXXXXX 5 60 131 41 PED_08 101 PEI_11 XXXXXXXXXX 39 42 PED_09 102 PEI_12 XXXXXXXX 84 43 PED_10 103 PEJ_01 XXXXXX 128 154 44 PED_11 104 PEJ_02 XXXX 45 PEE_01 105 PEJ_03-2 XX 11 91 46 PEE_02 106 PEJ_04 XXX 137 47 PEE_03 107 PEJ_05 XX 48 PEE_04 108 PEJ_06 X 35 49 PEE_05 109 PEJ_07 X 135 50 PEE_06 110 PEJ_08 51 PEE_07 111 PEJ_09 155 52 PEE_08 112 PEJ_10 X 53 PEE_09 113 PEJ_11 54 PEE_10 114 PEJ_12 55 PEE_11 115 PEK_01-3 56 PEE_12 116 PEK_02 57 PEF_01 117 PEK_03 58 PEF_02 118 PEK_04 59 PEF_03 119 PEK_05 60 PEF_04 120 PEK_06 ================================================================================================================================= Cada 'X' representa 31.7 casos 6

Gráfica de distribución de la correlación Ptbis de los reactivos de Español 0.60 0.50 Discriminación (Ptbis) 0.40 0.30 0.20 0.10 Región de reactivos con discrimación deficiente 0.00 Gráfica de distribución del ajuste al modelo de Rasch (Infit) de los reactivos de Español 1.40 Región de desajuste Ajuste al modelo de Rasch(Infit) 1.20 1.00 0.80 Región de desajuste 0.60 7

Gráfica de distribución de la proporción de respuestas correctas de los reactivos de Español 100 Porcentaje de respuestas correctas 80 60 40 20 0 La línea señala el promedio de los porcentajes de respuesta correcta 8

Gráficos de Matemáticas Mapa de Wright de la prueba de Matemáticas Logits Alumnos Preguntas ----------------------------------------------------------------------------------------------------------------------------------------- 45 79 96 130 179 198 213 228 1 PMA_01 61 PMD_12 121 PMH_06 181 PMK_16 2 PMA_02 62 PMD_13 122 PMH_07 182 PMK_17 47 136 162 3 PMA_03 63 PMD_14 123 PMH_08 183 PML_01 29 30 4 PMA_04 64 PMD_15 124 PMH_09 184 PML_02 5 PMA_05 65 PMD_16 125 PMH_10 185 PML_03 32 210 6 PMA_06 66 PME_01 126 PMH_11 186 PML_04 144 156 180 7 PMA_07 67 PME_02 127 PMH_12 187 PML_05 1 X 137 141 199 231 8 PMA_08 68 PME_03 128 PMH_13 188 PML_06 X 9 PMA_09 69 PME_04 129 PMH_14 189 PML_07 X 161 10 PMA_10 70 PME_05 130 PMH_15 190 PML_08 XX 160 11 PMA_11 71 PME_06 131 PMH_16 191 PML_09 XX 124 129 175 214 12 PMA_12 72 PME_07 132 PMH_17 192 PML_10 63 95 157 164 196 13 PMA_13 73 PME_08 133 PMI_01 193 PML_11 XXXXX 44 75 140 159 188 14 PMA_14 74 PME_09 134 PMI_02 194 PML_12 XXXXXXXXX 1 15 PMA_15 75 PME_10 135 PMI_03 195 PML_13 XXXXXXXX 81 112 123 125 163 16 PMA_16 76 PME_11 136 PMI_04 196 PML_14 XXXXXXX 60 94 97 126 232 17 PMB_01 77 PME_12 137 PMI_05 197 PML_15 0 XXXXXXXX 105 18 PMB_02 78 PME_13 138 PMI_06 198 PML_16 XXXXXXXXXXX 62 91 165 201 19 PMB_03 79 PME_14 139 PMI_07 199 PML_17 XXXXXXXXXXX 38 43 158 20 PMB_04 80 PME_15 140 PMI_08 200 PMM_01 XXXXXXXXXXXXXX 27 39 98 117 183 222 21 PMB_05 81 PME_16 141 PMI_09 201 PMM_02 XXXXXXXXXXXXXX 28 225 22 PMB_06 82 PMF_01 142 PMI_10 202 PMM_03 XXXXXXXXXXXXXXXXXXXX 19 31 40 87 108 121 166 227 23 PMB_07 83 PMF_02 143 PMI_11 203 PMM_04 XXXXXXXXXXXXXXXXX 7 114 127 167 24 PMB_08 84 PMF_03 144 PMI_12 204 PMM_05 XXXXXXXXXXXXXXXXXX 61 77 207 223 25 PMB_09 85 PMF_04 145 PMI_13 205 PMM_06 XXXXXXXXXXXXXXXXXXXXX 2 15 33 57 59 82 122 138 182 194 26 PMB_10 86 PMF_05 146 PMI_14 206 PMM_07 XXXXXXXXXXXXXXXXXXXXXXXXX 4 8 16 23 50 76 89 104 132 146 27 PMB_11 87 PMF_06 147 PMI_15 207 PMM_08-1 XXXXXXXXXXXXXXXXXXXXXXXX 18 80 88 120 135 147 173 176 187 28 PMB_12 88 PMF_07 148 PMI_16 208 PMM_09 XXXXXXXXXXXXXXXXXXXXXXXXXXXXX 9 41 48 85 128 178 186 189 197 29 PMB_13 89 PMF_08 149 PMJ_01 209 PMM_10 XXXXXXXXXXXXXXXXXXXXXXXXXXX 26 34 49 54 56 106 107 170 174 30 PMB_14 90 PMF_09 150 PMJ_02 210 PMM_11 XXXXXXXXXXXXXXXXXXXXX 11 12 17 22 109 110 148 190 203 31 PMB_15 91 PMF_10 151 PMJ_03 211 PMM_12 XXXXXXXXXXXXXXXXXXXXXXXXXXXX 42 64 68 78 83 113 151 153 191 32 PMB_16 92 PMF_11 152 PMJ_04 212 PMM_13 XXXXXXXXXXXXXXXXXXXXXXXXXXXXX 25 51 90 111 143 169 192 226 229 33 PMC_01 93 PMF_12 153 PMJ_05 213 PMM_14 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXX 21 46 72 92 93 102 133 149 185 34 PMC_02 94 PMF_13 154 PMJ_06 214 PMM_15 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX 13 14 24 74 99 168 171 177 202 35 PMC_03 95 PMF_14 155 PMJ_07 215 PMM_16 XXXXXXXXXXXXXXXXXXXXXXXXXX 3 66 118 142 172 212 219 36 PMC_04 96 PMF_15 156 PMJ_08 216 PMM_17 XXXXXXXXXXXXXXXXXXXXXXXXXXXX 67 70 86 131 181 206 221 37 PMC_05 97 PMF_16 157 PMJ_09 217 PMN_01-2 XXXXXXXXXXXXXXXXXXXX 36 55 73 101 103 115 145 152 154 38 PMC_06 98 PMF_17 158 PMJ_10 218 PMN_02 XXXXXXXXXXXXXXXX 10 35 69 155 184 205 215 39 PMC_07 99 PMG_01 159 PMJ_11 219 PMN_03 XXXXXXXXXXXXXXXXXXXX 6 84 100 150 195 220 40 PMC_08 100 PMG_02 160 PMJ_12 220 PMN_04 XXXXXXXXXXX 20 217 41 PMC_09 101 PMG_03 161 PMJ_13 221 PMN_05 XXXXXXXXX 58 42 PMC_10 102 PMG_04 162 PMJ_14 222 PMN_06 XXXXXXXX 52 53 116 43 PMC_11 103 PMG_05 163 PMJ_15 223 PMN_07 XXXXX 5 65 44 PMC_12 104 PMG_06 164 PMJ_16 224 PMN_08 XXXX 193 204 45 PMC_13 105 PMG_07 165 PMJ_17 225 PMN_09 XX 46 PMC_14 106 PMG_08 166 PMK_01 226 PMN_10 XX 71 200 47 PMC_15 107 PMG_09 167 PMK_02 227 PMN_11-3 X 216 48 PMC_16 108 PMG_10 168 PMK_03 228 PMN_12 X 49 PMC_17 109 PMG_11 169 PMK_04 229 PMN_13 X 139 50 PMD_01 110 PMG_12 170 PMK_05 230 PMN_14 119 51 PMD_02 111 PMG_13 171 PMK_06 231 PMN_15 37 52 PMD_03 112 PMG_14 172 PMK_07 232 PMN_16 134 53 PMD_04 113 PMG_15 173 PMK_08 233 PMN_17 54 PMD_05 114 PMG_16 174 PMK_09 55 PMD_06 115 PMG_17 175 PMK_10 56 PMD_07 116 PMH_01 176 PMK_11 57 PMD_08 117 PMH_02 177 PMK_12-4 58 PMD_09 118 PMH_03 178 PMK_13 59 PMD_10 119 PMH_04 179 PMK_14 60 PMD_11 120 PMH_05 180 PMK_15 ========================================================================================================================================= Each 'X' represents 32.7 cases 9

Gráfica de distribución de la correlación Ptbis de los reactivos de Matemáticas 0.75 0.50 Discriminación (Ptbis) 0.25 0.00-0.25 Región de reactivos con discriminación deficiente Gráfica de distribución del ajuste al modelo de Rasch (Infit) de los reactivos de Matemáticas 1.80 Ajuste al modelo de Rasch(Infit) 1.50 1.20 Región de desajuste 0.90 Región de desajuste 0.60 10

Gráfica de distribución de la proporción de respuestas correctas de los reactivos de Matemáticas 100.00 La línea señala el promedio de los porcentajes de respuesta correcta Porcentaje de respuestas correctas 80.00 60.00 40.00 20.00 0.00 11

Gráficos de Ciencias naturales Mapa de Wright de la prueba de Ciencias naturales Logits Alumnos Preguntas -------------------------------------------------------------------------------------------------- 1 PNA_01 61 PND_07 2 PNA_02 62 PND_08 3 PNA_03 63 PND_09 4 PNA_04 64 PND_10 5 PNA_05 65 PND_11 6 PNA_06 66 PND_12 7 PNA_07 67 PND_13 8 PNA_08 68 PND_14 3 X 9 PNA_09 69 PND_15 X 10 PNA_10 70 PND_16 X 11 PNA_11 71 PND_17 XX 12 PNA_12 72 PND_18 13 PNA_13 XXX 14 PNA_14 XXXXXXX 15 PNA_15 XXXXXXX 16 PNA_16 XXXXXXX 33 17 PNA_17 XXXXXXXX 18 PNA_18 XXXXXXXXXX 56 19 PNB_01 2 XXXXXXXXXXXXXX 15 20 PNB_02 XXXXXXXXXXXXXXXX 21 PNB_03 XXXXXXXXXXXXXXXX 3 13 39 53 22 PNB_04 XXXXXXXXXXXXXXXXXXXXXXXXXX 23 PNB_05 XXXXXXXXXXXXXXXXXXXXXXX 16 72 24 PNB_06 XXXXXXXXXXXXXXXXXXXXXXXXXX 19 31 47 25 PNB_07 XXXXXXXXXXXXXXXXXXXXXXXXXX 1 12 55 26 PNB_08 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX 29 63 27 PNB_09 XXXXXXXXXXXXXXXXXXXXXXXXXXXXX 24 48 58 69 28 PNB_10 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX 65 29 PNB_11 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX 17 38 50 30 PNB_12 1 XXXXXXXXXXXXXXXXXXXXXXXX 8 25 37 42 57 59 31 PNB_13 XXXXXXXXXXXXXXXXXXXXXXXXXXXXX 14 62 32 PNB_14 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXX 35 67 70 33 PNB_15 XXXXXXXXXXXXXXXXXXXXXXXXXXX 7 26 30 34 52 60 34 PNB_16 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX 4 20 45 35 PNB_17 XXXXXXXXXXXXXXXXXXXXXXXX 9 32 36 PNB_18 XXXXXXXXXXXXXXXXXXXXXXXXXX 27 37 PNC_01 XXXXXXXXXXXXXXXXXXX 10 11 38 PNC_02 XXXXXXXXXXXXXXX 18 39 PNC_03 XXXXXXXXXXXXXXXXXXX 23 40 PNC_04 XXXXXXXXXXXXX 2 28 43 46 64 41 PNC_05 0 XXXXXXXXXXX 5 22 40 51 42 PNC_06 XXXXXXXXXX 36 68 43 PNC_07 XXXXXXXX 41 44 PNC_08 XXXXX 49 54 45 PNC_09 XXX 6 61 71 46 PNC_10 XXX 47 PNC_11 XXX 48 PNC_12 X 49 PNC_13 XX 44 66 50 PNC_14 21 51 PNC_15 52 PNC_16-1 X 53 PNC_17 54 PNC_18 55 PND_01 56 PND_02 57 PND_03 58 PND_04 59 PND_05 60 PND_06 ================================================================================================= Cada 'X' representa 24.9 casos 12

Gráfica de distribución de la correlación Ptbis de los reactivos de Ciencias naturales 0.60 0.50 Discriminación (Ptbis) 0.40 0.30 0.20 0.10 Región de reactivos con discrimación deficiente 0.00-0.10 Gráfica de distribución del ajuste al modelo de Rasch (Infit) de los reactivos de Ciencias naturales 1.40 Región de desajuste Ajuste al modelo de Rasch(Infit) 1.20 1.00 0.80 Región de desajuste 0.60 13

Gráfica de distribución de la proporción de respuestas correctas de los reactivos de Ciencias naturales 100 Porcentaje de respuestas correctas 80 60 40 20 0 La línea señala el promedio de los porcentajes de respuesta correcta 14

Gráficos de Educación cívica Mapa de Wright de la prueba de Educación cívica Logits Alumnos Preguntas --------------------------------------------------------------------------------------------------- 1 PCA_01 2 PCA_02 3 PCA_03 4 PCA_04 2 5 PCA_05 6 PCA_06 7 PCA_07 X 8 PCA_08 X 9 PCA_09 XX 10 PCA_10 XX 5 11 PCA_11 XX 12 PCA_12 13 PCA_13 XXX 14 PCA_14 1 XXXXXXXX 15 PCA_15 XXXXXXX 16 PCA_16 XXXXXX 17 PCA_17 XXXXXXXX 18 PCA_18 XXXXXXXXX 39 19 PCB_01 XXXXXXXXXXXX 20 PCB_02 XXXXXXXXXXXXXX 11 29 41 44 21 PCB_03 XXXXXXXXXXXXXXX 22 PCB_04 XXXXXXXXXXXXXXXXXXXXX 32 23 PCB_05 XXXXXXXXXXXXXXXXX 35 24 PCB_06 0 XXXXXXXXXXXXXXXXXX 1 2 21 23 36 47 25 PCB_07 XXXXXXXXXXXXXXXXXXXXXX 19 52 26 PCB_08 XXXXXXXXXXXXXXXXXXXXXXXXXXX 8 46 27 PCB_09 XXXXXXXXXXXXXXXXXXXXXXX 6 7 26 45 28 PCB_10 XXXXXXXXXXXXXXXXXXXXXXXXXXXX 29 PCB_11 XXXXXXXXXXXXXXXXXXXXXXXXXXXXX 20 48 51 30 PCB_12 XXXXXXXXXXXXXXXXXXXX 15 27 31 49 31 PCB_13 XXXXXXXXXXXXXXXXXXXXXXXXXXXX 3 13 14 43 32 PCB_14 XXXXXXXXXXXXXXXXXXXXXXXXXXXXX 9 12 30 42 33 PCB_15-1 XXXXXXXXXXXXXXXXXXXXXXXXXXXX 10 17 22 24 38 40 50 34 PCB_16 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX 16 28 34 37 53 56 35 PCB_17 XXXXXXXXXXXXXXXXXXXXXXXXXX 33 36 PCB_18 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXX 54 55 37 PCB_19 XXXXXXXXXXXXXXXXXXXXXX 38 PCC_01 XXXXXXXXXXXXXXXXXX 39 PCC_02 XXXXXXXXXXXXXXXXXXXXX 40 PCC_03 XXXXXXXXXXX 41 PCC_04 XXXXXXXXXX 42 PCC_05 XXXXXXXX 43 PCC_06-2 XXXXX 4 18 44 PCC_07 XXX 45 PCC_08 XX 25 46 PCC_09 XX 47 PCC_10 X 48 PCC_11 49 PCC_12 50 PCC_13 51 PCC_14 52 PCC_15 53 PCC_16-3 54 PCC_17 55 PCC_18 56 PCC_19 =================================================================================================== Cada 'X' representa 20.9 casos 15

Gráfica de distribución de la correlación Ptbis de los reactivos de Educación cívica 0.60 0.50 Discriminación (Ptbis) 0.40 0.30 0.20 0.10 Región de reactivos con discriminación deficiente 0.00 Gráfica de distribución del ajuste al modelo de Rasch (Infit) de los reactivos de Educación cívica Región de desajuste 1.20 Ajuste al modelo de Rasch(Infit) 1.00 0.80 Región de desajuste 0.60 16

Gráfica de distribución de la proporción de respuestas correctas de los reactivos de Educación cívica 100 Porcentaje de respuestas correctas 80 60 40 20 0 La línea señala el promedio de los porcentajes de respuesta correcta 17

s que se sugiere eliminar del análisis Con (ptbis<0.15) Asignatura Ptbis Infit Dificultad RC Español PEA_08 0.04 1.02 0.61 2 Español PEA_09 0.14 1.04 0.38 2 Español PEE_07 0.06 1.08 1.14 1 Español PEE_08 0.14 1.11-0.27 2 Español PEF_10 0.14 1.05-0.07 1 Español PEL_07 0.12 1.31 0.60 3 Español PEL_08 0.04 1.07 0.61 3 Español PEM_01 0.12 0.98-2.09 1 Español PEM_11 0.06 1.21-0.24 2 Matemáticas PMA_01-0.14 1.27 0.32 1 Matemáticas PMA_11 0.15 1.14-1.28 3 Matemáticas PMB_11 0.02 1.23-0.26 2 Matemáticas PMB_13-0.15 1.05 1.44 1 Matemáticas PMB_14-0.25 1.07 1.41 4 Matemáticas PMB_15 0.02 1.27-0.52 3 Matemáticas PMB_16-0.16 1.08 1.15 2 Matemáticas PMC_11-0.11 1.30-0.19 1 Matemáticas PMC_12-0.17 1.17 0.37 1 Matemáticas PMC_13-0.12 0.79 2.53 4 Matemáticas PMC_15 0.04 1.26 1.53 4 Matemáticas PMD_13-0.04 1.30-0.05 3 Matemáticas PMD_14-0.11 1.13 0.54 4 Matemáticas PME_14-0.16 1.13 1.85 4 Matemáticas PME_16-0.04 1.19 0.24 3 Matemáticas PMF_14-0.07 1.19 0.46 1 Matemáticas PMF_15-0.08 1.08 2.79 4 Matemáticas PMG_14-0.19 1.38 0.25 3 Matemáticas PMG_16 0.14 1.20-0.61 1 Matemáticas PMH_08-0.02 1.23 0.20 3 Matemáticas PMH_09-0.26 1.26 0.57 2 Matemáticas PMH_14-0.07 1.23 0.57 1 Matemáticas PMH_15-0.06 1.17 3.07 4 Matemáticas PMI_04-0.04 1.84 1.52 4 Matemáticas PMI_05-0.10 1.13 0.98 3 Matemáticas PMI_12 0.02 1.00 1.06 1 Matemáticas PMJ_08-0.12 1.17 1.07 1 Matemáticas PMJ_09-0.03 1.14 0.48 3 Matemáticas PMJ_10-0.12 1.25-0.20 1 Matemáticas PMJ_11-0.06 1.07 0.37 2 Matemáticas PMJ_13 0.11 1.24 0.83 4 Matemáticas PMJ_14-0.08 1.02 1.48 3 Matemáticas PMJ_15 0.00 1.21 0.16 4 Matemáticas PMJ_16-0.07 1.09 0.50 3 Matemáticas PMK_11-0.06 1.26-1.03 1 Matemáticas PMK_14-0.08 0.86 1.81 2 Matemáticas PMK_15-0.06 1.33 1.08 1 Matemáticas PML_14-0.23 1.17 0.51 1 18

Asignatura Ptbis Infit Dificultad RC Matemáticas PML_16-0.15 0.89 2.43 4 Matemáticas PML_17-0.21 1.28 0.96 2 Matemáticas PMM_11 0.12 1.08 1.22 1 Matemáticas PMM_14-0.12 1.10 1.73 4 Matemáticas PMM_15-0.02 1.27 0.59 2 Matemáticas PMN_12-0.18 1.33 1.74 1 Matemáticas PMN_15-0.10 1.26 1.04 3 Matemáticas PMN_16-0.16 1.34 0.14 4 Ciencias Naturales PNA_13 0.10 1.15 1.87 2 Ciencias Naturales PNA_15 0.11 1.18 2.06 2 Ciencias Naturales* PNB_01 0.28 1.07 1.55 1 Ciencias Naturales PND_01-0.01 1.24 1.52 1 Ciencias Naturales PND_05 0.12 1.11 1.06 4 Ciencias Naturales PND_18 0.09 1.15 1.66 4 Educación cívica PCA_05 0.12 1.10 1.41 4 Educación cívica PCC_02 0.04 1.22 0.60 3 * que tiene ptbis>0.15 pero que se sugiere eliminar por problemas de opciones de respuesta. Confiabilidad de la prueba Estadísticos Español Matemáticas Ciencias Educación naturales cívica Cantidad de reactivos 158 233 72 56 Cantidad alumnos muestreados (n) 19090 18859 15984 12050 Confiabilidad (EAP/PV RELIABILITY) 0.800 0.874 0.858 0.897 19

Observaciones generales Español - La distribución de dificultades de los reactivos coincide, en general, con la distribución de la población objetivo. Este comportamiento maximiza la cantidad de información que se puede obtener de un instrumento. En otras palabras, se minimiza el error de medición asociado. En caso de mejorar la prueba a futuro, es recomendable elaborar reactivos más difíciles para alcanzar a medir con mayor precisión a la población con mayor habilidad. - Hay 8 reactivos que por su comportamiento no es recomendable incluirlos en la asignación de puntajes. Los especialistas responsables deben verificar si adolecen de deficiencias en su construcción. En dos de ellos, su comportamiento sugiere que la clave de opción correcta fue especificada de manera errónea (PEL_08,PE M_11). De estar técnicamente correctos (algunos de ellos), podrán ser incluidos dentro del reporte (no del escalamiento de puntajes) con la finalidad de complementar la información ofrecida al público. Matemáticas - La prueba incluye cerca de 22 reactivos por arriba del nivel de habilidad de los alumnos evaluados. - De los 233 reactivos que conforman la prueba, 46 (20%) de ellos tienen deficiencias marcadas (ptbis<0.15) por lo que no se recomienda su uso para realizar la estimación de puntajes. En la gran mayoría de los casos, el comportamiento estadístico sugiere que la respuesta correcta fue mal especificada. - Dado lo anterior, es indispensable que los responsables de la prueba verifiquen las respuestas correctas para que el análisis se vuelva a correr. Ciencias naturales - Observando el mapa de Wright, se puede afirmar que a la prueba se hacen falta reactivos más difíciles para alcanzar a medir con mayor precisión a la población más aventajada, es decir, hay un ligero problema de techo. - Hay seis reactivos que adolecen de deficiencias tales que se sugiere excluirlos del escalamiento de resultados. Los especialistas deben verificar que la opción marcada como correcta en verdad lo sea. Educación cívica - El mapa de reactivos sugiere que faltan reactivos tanto fáciles como difíciles en la prueba. Si bien esta organización aumenta la confiabilidad de la prueba (de manera no tan deseable), mide a inadecuadamente a las poblaciones cuyo nivel de habilidad se encuentran en los extremos de la escala. - De las cuatro pruebas analizadas, es la que menos reactivos con deficiencias presenta, pues solamente se sugiere excluir dos para la estimación de puntajes. En uno de dichos reactivos, su comportamiento estadístico parece indicar que la respuesta correcta fue erróneamente asignada. 20

Anexos Los siguientes anexos corresponden al análisis psicométrico de los reactivos. Anexo 1. Excale 06 2009, Español. (páginas 22-179) Anexo 2. Excale 06 2009, Matemáticas. (páginas 180-412) Anexo 3. Excale 06 2009, Ciencias naturales. (páginas 413-484) Anexo 4. Excale 06 2009, Educación cívica. (páginas 485-540) El orden de los reactivos corresponde al orden en las pruebas. 21