SECRETARÍA DE EDUCACIÓN ENERO 2011
C O N T E N I D O 1. INFORMACIÓN GENERAL DE PISA 2. TAMAÑO DE LA MUESTRA: MEXICO Y ESTADO DE MEXICO. 3. PRESENTACIÓN E INTERPRETACIÓN DE LOS RESULTADOS 4. RESULTADOS DEL ESTADO DE MÉXICO EN PISA 2009
1. INFORMACIÓN GENERAL DE PISA
Programa para la Evaluación Internacional de Estudiantes (PISA) PROPÓSITO. Determinar la medida en que los estudiantes de 15 años, a punto de concluir su educación obligatoria, adquirieron conocimientos y habilidades relevantes para participar activa y plenamente en la sociedad moderna. PISA se centra en medir la competencia (literacy), es decir, la capacidad de extrapolar lo aprendido a lo largo de la vida y aplicarlo en situaciones del mundo real. Así como la capacidad de analizar, razonar y comunicar con eficacia al plantear, interpretar y resolver problemas en una amplia variedad de situaciones. La información derivada de esta prueba ayuda a identificar fortalezas y debilidades del Sistema Educativo Nacional y permite detectar qué factores asociados se asocian con el éxito educativo.. POBLACIÓN OBJETIVO: estudiantes de entre 15 años tres meses y 16 años dos meses al momento de la aplicación, sin importar el grado o tipo de institución que estén cursando o a punto de incorporarse al mercado laboral. En México cubre principalmente la educación media superior, en bachillerato y sus modalidades de formación técnica, pero también hay estudiantes en secundarias generales, técnicas y telesecundarias.
Programa para la Evaluación Internacional de Estudiantes (PISA) PERIODICIDAD. Se realiza cada tres años, las áreas evaluadas o dominios son: Lectura, Matemáticas y Ciencias. En cada aplicación se profundiza un área en particular, en 2000 fue Lectura; en 2003 Matemáticas; en 2006 Ciencias; y en 2009 se repite el ciclo con Lectura, lo que permitirá comparar con los resultados obtenidos en el año 2000. En el área principal se dispone de resultados para la escala global y subescalas. En las otras, solo se reporta la escala global.
Programa para la Evaluación Internacional de Estudiantes (PISA) CARACTERÍSTICAS DE LA APLICACIÓN: PISA aplica pruebas que tienen diferentes tipos de reactivos, entre los que predomina los de respuesta abierta construida. Asimismo, los estudiantes responden un cuestionario sobre algunas características individuales, familiares y escolares. Por su parte, los directores escolares responden un cuestionario sobre el contexto de la escuela, su organización, funcionamiento y recursos disponibles. La evaluación se realizó el 24 de marzo de 2009. EN 2009, PISA tuvo dos modalidades: PISA Clásico : estudiantes de 15 años tres meses a 16 años dos meses, sin importar el grado educativo en que se encuentren, y PISA Grado 12: estudiantes del último grado de educación media superior, sin importar la edad. Los resultados que se dan a conocer corresponden a PISA Clásico, los de PISA Grado 12 se difundirá en 2011.
2.- TAMAÑO DE LA MUESTRA: MÉXICO Y ESTADO DE MÉXICO
MUESTRA MÉXICO Y ESTADO DE MÉXICO En el Estado de México PISA 2009 se aplicó a 1,245 estudiantes de 50 planteles, es decir, el índice de cobertura de alumnos fue del 84.0% en el 100% de las escuelas programadas. MUESTRA PROGRA- MADAS ESCUELAS EVALUADAS % APLIC. PROGRA- MADOS ALUMNOS EVALUADOS % APLIC. México 1,558 1,535 98.5% 45,121 38,285 84.9% Edo de Méx. 50 50 100% 1,482 1,245 84.0% Fuente: Informe de aplicaciones 2009, INEE. La elevada deserción de alumnos, principalmente en Educación Media Superior, implicó que algunas pruebas se quedaran sin contestar. Los instrumentos venían personalizados, no se admitían reemplazos.
MUESTRA PISA 2009 ESTADO DE MÉXICO PISA Clásico Escuelas Alumnos Programado Aplicado Programado Aplicado 50 50 1,482 1,245 PISA Grado 12 Escuelas Alumnos Programado Aplicado Programado Aplicado 23 23 786 690 1 escuela con traslape (PISA Clásico y Grado 12)
3.- PRESENTACIÓN E INTERPRETACIÓN DE LOS RESULTADOS
Cómo se presentan los resultados? A través: del promedio de las puntuaciones (medias de desempeño), y del porcentaje de estudiantes que se ubica en los distintos niveles de desempeño de la escala global y subescalas. Las escalas de PISA van de 200 a 800 puntos con una media teórica de 500 puntos y una desviación estándar de 100 puntos. En cada escala se definen niveles de desempeño o competencia, en función de lo que los alumnos pueden hacer. El significado de los niveles de desempeño es diferente para cada escala y subescala ya que son diferentes habilidades. En unas escalas se establecen seis niveles y en otras siete (como es ahora la escala de Lectura)
Bajos Medios Altos Significado genérico de los niveles de desempeño en Lectura, 2009
Qué mide PISA 2009? LECTURA Capacidad de un individuo para comprender, emplear, reflexionar e interesarse en textos escritos con el fin de lograr metas, desarrollar conocimientos y su potencial personal, y participar en la sociedad. Escala global/subescalas: Subescalas 1) Acceder y recuperar la información Implica habilidades asociadas a buscar, seleccionar y reunir información. 2) Integrar e interpretar Este proceso se refiere al procesamiento de lo que se lee para darle un sentido propio. 3) Reflexionar y evaluar Implica aprovechar el conocimiento, las ideas o valores que están más allá del texto con el propósito de relacionar la información dada dentro de éste con los propios marcos de referencia del lector, ya sea conceptual o basados en su experiencia.
Qué mide PISA 2009? MATEMÁTICAS Capacidad para analizar, razonar y comunicar de forma eficaz, así como de plantear, resolver e interpretar problemas en situaciones variadas utilizando conocimientos matemáticos. Capacidad de relación con las matemáticas para resolver problemas de la vida diaria. Escala global CIENCIAS Capacidad a para identificar temas, adquirir nuevos conocimientos, explicar fenómenos científicos y obtener conclusiones basándose en evidencias acerca de problemas relacionados con la ciencia, con el fin de comprender y tomar decisiones relativas al mundo natural y a los cambios producidos por la actividad humana. Escala global
Consideraciones técnicas Los países y entidades pueden ordenarse según la puntuación promedio obtenida por los estudiantes, pero siempre hay un margen de error que se debe tener en cuenta al interpretar dichos ordenamientos, para identificar si la diferencia entre dos medias es o no estadísticamente significativa. Limitaciones de los ordenamientos: Los ordenamientos simples de los promedios (listas de posiciones o rankings) son indicadores insuficientes de la calidad educativa porque sólo permiten juicios relativos. Suelen ser atractivos, pero son engañosos al ocultar variaciones y diferencias en los resultados de cada país y entidad. Medias de desempeño: La calidad de los sistemas educativos no se puede reducir a lo que representan las medias de las puntuaciones en PISA, aunque éstas sean un indicador importante.
Consideraciones técnicas (II) Porcentaje de estudiantes por nivel de desempeño. Indican mejor el grado en que un país consigue que sus jóvenes desarrollen las competencias necesarias para la vida. Ofrecen una mejor perspectiva. Los niveles de desempeño de las escalas de PISA se definen de tal manera que el Nivel 2 corresponde al mínimo necesario para que una persona pueda desenvolverse adecuadamente en la vida adulta, y que los niveles más altos son necesarios para la formación de especialistas de alto nivel. Tener proporciones considerables de estudiantes por debajo del Nivel 2 debe considerarse como motivo de preocupación, independiente del lugar que se ocupe en un ordenamiento, y también debe ser motivo de alerta el tener muy pocos alumnos en los niveles de competencia más altos. Los porcentajes de estudiantes por nivel de desempeño, ayudan a identificar estrategias diferenciadas de apoyo educativo...
Consideraciones técnicas (III) Los ordenamientos de promedios y los porcentajes de estudiantes en ciertos niveles de desempeño adquieren sentido teniendo en cuenta el contexto socioeconómico y cultural de los hogares, así como el de las escuelas.
Alcance del estudio A diferencia de los informes anteriores, en éste se privilegia el análisis por entidad federativa, dado que se cuenta con una muestra ampliada con representatividad nacional y por entidad, como se tuvo en 2003 y 2006. No se incluyen los análisis por modalidad ni por nivel educativo, debido a que este tipo de resultados es más pertinente para la opción de PISA Grado 12 en la que México también participó con una muestra nacional de escuelas y estudiantes del último grado de Educación Media Superior, que será motivo de un reporte especial que se difundirá en 2011.
4.- RESULTADOS DEL ESTADO DE MÉXICO EN PISA 2009
Medias de desempeño Resultados PISA 2009 Si bien el Estado de México obtuvo medias de desempeño por arriba del promedio nacional en las tres áreas evaluadas, éstas no son estadísticamente significativas superiores a la nacional. MEDIA DE DESEMPEÑO ÁREAS México Edo. Méx Lectura 425 440 Matemáticas 419 424 Ciencias 416 429
Resultados PISA 2009 Medias de desempeño Las medias de desempeño del Estado de México en Lectura y Ciencias son superiores a las de países de América Latina participantes en la evaluación (Uruguay, Colombia, Brasil, Argentina, Panamá y Perú) con excepción de Chile; y también es superior en Matemáticas, salvo a la media de Uruguay. LECTURA MEDIA Distrito Federal 469 Nuevo León 450 Chihuahua 449 Aguascalientes 449 Chile 449 Edo de México 440 Uruguay 426 México 425 Colombia 413 Brasil 412 Argentina 398 MATEMÁTICAS MEDIA Distrito Federal 455 Nuevo León 455 Chihuahua 445 Aguascalientes 442 Colima 440 Jalisco 436 Uruguay 427 Edo de México 424 Chile 421 México 419 Argentina 388 Brasil 386 Colombia 381 CIENCIAS MEDIA Distrito Federal 458 Chile 447 Nuevo León 443 Chihuahua 442 Aguascalientes 437 Edo de México 429 México 416 Querétaro 413 Veracruz 412 Brasil 405 Colombia 402 Argentina 401
Medias de desempeño Resultados PISA 2009 De 2006 a 2009, por medias de desempeño el Estado de México avanzó en el ranking nacional del lugar 9º al 5º en Lectura; del 14º al 7º en Matemáticas, y del 10º al 5º en Ciencias. ÁREA/DOMINIO POSICIÓN MEDIA DE DESEMPEÑO México Edo. Méx México Edo. Méx 2006 2009 2006 2009 2006 2009 2006 2009 Lectura 49 49 9 5 410 425 416 440 Matemáticas 43 51 14 7 406 419 413 424 Ciencias 48 50 10 5 410 416 418 429 Los resultados de México se comparan con los 65 países que participaron en PISA 2006 y 2009, respectivamente, Mientras que los del Estado de México se comparan con las 31 entidades del país.
Resultados PISA 2009 Porcentaje de estudiantes por nivel de desempeño Media % por niveles de desempeño 1 2-3 4-6 LECTURA Nivel 2 OCDE 493 19 53 28 24 Estado de México 440 33 59 8 32 México 425 39 54 6 33 1 = Niveles bajos 2-3 = Niveles medios 4-6= Niveles altos América Latina 408 48 45 7 28 MATEMÁTICAS OCDE 496 22 46 32 22 Estado de México 424 46 48 6 31 México 419 51 44 5 28 América Latina 393 63 32 5 21 CIENCIAS OCDE 501 18 53 29 24 Estado de México 429 40 55 4 35 México 416 48 50 3 34 América Latina 405 52 44 5 29 El nivel 2 representa la competencia mínima para desempeñarse en la sociedad contemporánea.
Resultados PISA 2009 Porcentaje de estudiantes por nivel de desempeño en la escala global de LECTURA Estado Media % 2-6 OCDE 493 81 Porcentaje de estudiantes 1 5 13 24 29 28 Distrito Federal 468 80 1 5 14 32 34 14 Aguascalientes 450 72 1 7 20 37 26 9 Edomex 440 67 3 9 21 32 27 8 MÉXICO 425 60 3 11 25 33 21 6 Promedio AL 408 52 7 15 26 28 17 7 Guerrero 374 34 8 25 33 24 9 1 Chiapas 364 33 5 21 31 23 9 1 * Ordenamiento según porcentaje niveles 2 a 6.
Resultados PISA 2009 Porcentaje de estudiantes por nivel de desempeño en la escala global de LECTURA Estado Media % 2-6 OCDE 493 81 Porcentaje de estudiantes 1 5 13 24 29 28 Distrito Federal 468 80 1 5 14 32 34 14 Aguascalientes 450 72 1 7 20 37 26 9 Edomex 440 67 3 9 21 32 27 8 MÉXICO 425 60 3 11 25 33 21 6 Promedio AL 408 52 7 15 26 28 17 7 Guerrero 374 34 8 25 33 24 9 1 Chiapas 364 33 5 21 31 23 9 1 * Ordenamiento según porcentaje niveles 2 a 6.
E Resultados PISA 2009 Porcentaje de estudiantes por nivel de desempeño en la escala global de MATEMÁTICAS Estado Media % 2-6 Porcentaje de estudiantes OCDE 496 78 8 14 22 24 32 Distrito Federal 455 68 11 21 31 26 11 Nuevo León 455 63 14 22 26 21 16 Edomex 424 54 19 27 31 17 6 MÉXICO 419 49 22 29 28 16 5 Promedio AL 393 37 35 28 21 11 5 Guerrero 378 27 45 27 19 7 1 Chiapas 368 28 39 33 21 6 1 * Ordenamiento según porcentaje niveles 2 a 6.
Resultados PISA 2009 Porcentaje de estudiantes por nivel de desempeño en la escala global de CIENCIAS País Media % 2-6 OCDE 501 82 5 13 Porcentaje de estudiantes 24 29 29 Distrito Federal 458 73 4 23 35 29 9 Chihuahua 442 66 7 26 37 24 5 Edomex 429 416 59 12 28 35 20 4 MÉXICO 416 53 15 33 34 16 3 Promedio AL 405 49 22 30 29 15 5 Guerrero 376 30 27 42 25 5 Chiapas 366 28 33 39 22 6 * Ordenamiento según porcentaje niveles 2 a 6.
Comparativo PISA 2003, 2006 y 2009 Medias de desempeño del Estado de México por área o dominio evaluado DOMINIOS 2003 2006 2009 LECTURA 403 416 440 MATEMATICAS 385 413 424 CIENCIAS 406 418 429 ESCUELAS 40 42 50 MUESTRA ALUMNOS 1,095 1,105 1,245 *En el año 2000, el tamaño de la muestra fue muy pequeña y solo tuvo representatividad nacional, por eso no se incluyen datos estatales, Nota técnica: Los datos son comparables solo en aquellos ciclos de PISA donde se hace énfasis en alguna de las áreas evaluadas: Lectura 2000 y 2009; Matemáticas 2006 y 2012; y Ciencias 2006 y 2015. Comparaciones de otros ciclos solo muestran tendencias.
Comparativo PISA 2003, 2006 y 2009 Medias y porcentajes de estudiantes por nivel de desempeño En comparación con los ciclos 2003 y 2006 de PISA, para 2009 se ha venido reduciendo sistemáticamente el porcentaje de estudiantes del Estado de México que se ubicaban en los niveles inferiores de desempeño (menor o igual a 1) e incrementado en los niveles medios y altos, en todas las áreas evaluadas. Medias de desempeño Porcentajes en los niveles bajo 1 Porcentajes en los niveles medios 2-3 Porcentajes en los niveles altos 4 2003 2009 2003 2009 2003 2009 2003 2009 LECTURA Estado de México 403 440 49.9 33.1 47.2 58.9 2.8 8.0 Nacional 400 425 52.0 40.1 43.2 54.2 4.8 5.7 MATEMÁTICAS Estado de México 385 424 67.7 46.2 30.7 48.0 1.6 5.8 Nacional 385 419 65.9 50.8 31.0 43.8 3.1 5.4 CIENCIAS 2006 2009 2006 2009 2006 2009 2006 2009 Estado de México 418 429 45.4 40.0 50.8 55.0 3.7 4.0 Nacional 410 416 50.8 48.0 45.7 50.0 3.5 3.0
PROSPECTIVA Los avances alcanzados en PISA 2009, perfilan al Estado de México en una perspectiva favorable de alcanzar las metas que se plantearon el Plan Sectorial de Educación 2007-2012, encontrándose tan solo a 3 puntos de la meta propuesta para el 2012. NOMBRE DEL INDICADOR UNIDAD DE MEDIDA SITUACIÓN EN 2006 META 2012 Calificación en el Examen PISA en las pruebas de matemáticas y comprensión de lectura. Puntaje entre 200 y 800 (800 equivale al mejor rendimiento) 392 (de acuerdo a resultados 2003) 435 Fuente: Programa Sectorial de Educación 2007-2012, SEP. México, No se determinó meta para Ciencias. COMPARATIVO RESULTADOS - META ESTADO DE MÉXICO MEDIAS DE DESEMPEÑO EN PISA
DESAFÍOS Una tercera parte de los estudiantes mexiquenses evaluados en Lectura (33%), casi la mitad en Matemáticas (46%) y el 40% en Ciencias, se ubican en los niveles inferiores en las escalas de PISA (Nivel 1 o por debajo) lo que significa que tienen competencias insuficientes para desarrollar con éxito las actividades que exige la sociedad del conocimiento. El reto es que todos los jóvenes de 15 años estén en la escuela y alcancen al menos el Nivel 2 de desempeño: Objetivo del Milenio para el 2015, que el 80% de los jóvenes al finalizar la secundaria estén al menos en el Nivel 2. También representa un formidable reto incrementar la escasa cantidad de estudiantes mexiquenses ubicados en los niveles superiores en las escalas de PISA (4 al 6): 8% en Lectura, 6% en Matemáticas, y 4% en Ciencias; inferiores al promedio de la OCDE del 30%. Los estudiantes en estos niveles tienen el potencial para realizar actividades de alto grado de complejidad cognitiva, sean científicas, gerenciales, humanísticas u otras y están llamados a convertirse en los líderes y científicos del mañana. Los resultados alcanzados en PISA 2009 aunque son alentadores en Lectura, nos exhortan a continuar fortaleciendo las acciones en la materia para alcanzar la metas propuestas para el 2012 y sobre todo, promover acciones orientadas a incrementar las competencias de los estudiantes para que estén en posibilidades de enfrentar con éxito los desafíos de la sociedad actual.
CONSIDERACIONES FINALES Retos para el Sistema Educativo Mexicano Algunos resultados de las evaluaciones muestran, por el contrario, que calidad y equidad pueden ir juntas. Así lo muestran Finlandia y Corea del Sur y, en general, los países escandinavos y de Asia Oriental. Tan notable resultado no se alcanza fácilmente; la experiencia de muchos años de esfuerzos en esos países ha mostrado también que no se pueden esperar cambios espectaculares en poco tiempo, y que los países desiguales no podrán tener resultados comparables a los de países más homogéneos si no consiguen que el nivel de las regiones y escuelas en peores condiciones se eleve substancialmente. El desempeño se debe tanto a la escuela como al entorno. Los juicios sobre la calidad educativa deben referirse a ambos criterios.
SECRETARÍA DE EDUCACIÓN INSTITUTO DE EVALUACIÓN EDUCATIVA DEL ESTADO DE MÉXICO Dirección de Evaluación y Vinculación Educativa Diagonal Alfredo del Mazo No. 198, Col. Guadalupe, Toluca, Méx. Telfs.: (01 722) 210 74 57 y 277 81 07 www.edomexico.gob.mx/evaluacioneducativa/index.htm evalua_educ@edomex.gob.mx