Chile: Sistema de Medición de la Calidad de la Educación - características y uso de los resultados de la evaluación para mejorar la calidad *

Transcripción

1 Chile: Sistema de Medición de la Calidad de la Educación - características y uso de los resultados de la evaluación para mejorar la calidad * Cristina Rodríguez Schuller ** Resumen Si se quiere comprender el uso que Chile ha dado a los resultados de las informaciones sobre nuestro sistema escolar que arroja el Sistema de Medición de Calidad de la Educación (Simce), es preciso aclarar previamente algunas características de dicho sistema, que son importantes en cualquier intento de evaluar la calidad de un sistema educativo: el contexto en que estos resultados se buscan, los usuarios a que se destina la información, el tipo de resultados que interesan, la forma de comunicar los resultados y, finalmente, el uso real que se les da, al margen de los usos originalmente programados. Complementar esta presentación planteando las interrogantes que surgen después de varios años de aplicación del Simce. El contexto Políticas educativas y medición de calidad Desde los inicios de su vida independiente, la educación fue preocupación preferente del Estado en Chile. Diversos paradigmas han orientado las discusiones e iniciativas nacionales en el ámbito educacional, en general, consolidando y tecnificando el Estado docente. Para comprender la situación actual, sin embargo, es preciso remontarse al gobierno militar que, basándose en el modelo libre-mercadista para la educación pública que postula Milton Friedman, define el rol del Estado como subsidiario frente a la educación. Esto significa que debe actuar cuando el mercado no lo haga y crear el mercado si éste no existe, esto es, proporcionar los recursos para adquirir educación y definir las reglas para que ésta pueda ofrecerse. Los recursos para la educación se otorgan mediante la subvención a la demanda, lo que implica que son las personas que demandan educación quienes definen la calidad de la educación a través de su preferencia por las opciones disponibles. En lo que respecta a la equidad, ésta se define como la igualdad de oportunidades de elección, que se busca lograr justamente mediante la subvención a quienes no pueden pagar. La política del gobierno militar en educación fue coherente con estas ideas. Entre otras medidas, se transfirieron los establecimientos educacionales a manos privadas o a las municipalidades; se estableció una forma única de distribuir los fondos fiscales (la Unidad de Subvención); se pasó a los profesores a un sistema de libre contratación y se creó un sistema de medición de calidad de la educación (1984 PER, desde 1988, Simce). Esto a fin de informar objetivamente a las familias para que pudieran decidir fundadamente sobre la educación de sus hijos y también como una forma de controlar la calidad de la educación por parte del Estado, como parte del rol subsidiario que se había dado. * La autora agradece al dr. Alan Ginsburg, director del Servicio de Planificación y Evaluación del Departamento de Educación de los EEUU y al profesor Sr. Sergio Nilo C. del Programa Mece-Media de Chile, por las valiosas ideas que han aportado a este documento. ** Del Ministerio de Educación de Chile y del Programa Mece-Media.

2 El tiempo demostró, sin embargo, que las expectativas que había creado el modelo con respecto al aumento de la calidad y de la equidad de la educación, no se habían cumplido y, de hecho, las diferencias entre distintos tipos de establecimientos se habían hecho mayores que antes. Se ha visto, entonces, la necesidad imperiosa que, desde el Ministerio de Educación, se emprendan acciones tendientes a asegurar un educación de buena calidad a todos los niños de Chile. El programa Mece (Mejoramiento de la Calidad y Equidad de la Educación) es la respuesta que se ha diseñado para ello y aborda el problema desde múltiples ángulos. La necesidad de medir la calidad de la educación adquiere, entonces, otra dimensión en este momento. Sin embargo, el régimen militar dejó establecidas algunas medidas que hacen difícil volver la gestión del ministerio a lo que fuera. Específicamente ' existe una Ley Orgánica Constitucional, promulgada un día antes del término del régimen militar, que establece un marco jurídico dentro del cual se están tratando de llevar a cabo los cambios propuestos, no obstante las diferencias en concepciones básicas. Entre sus artículos se encuentra el que dispone que Corresponde al Ministerio de Educación Pública diseñar los instrumentos que permitan el establecimiento de un sistema para la evaluación periódica, tanto de la enseñanza básica como de la media, del cumplimiento de los objetivos fundamentales y de los contenidos mínimos de esos niveles. En consecuencia, además de la necesidad de contar con indicadores válidos y confiables que nos permitan juzgar la efectividad de nuestro programa de mejoramiento, nos encontramos frente a un mandato legal que nos obliga a crear el sistema al que se refiere la ley. Existe una dilatada y valiosa experiencia en mediciones de resultados de la educación a nivel nacional, que se remonta a fines de la década del 60 que, sin duda, será de importancia en el momento en que se deba proceder a poner en práctica este mandato, tras la formulación de los referidos objetivos fundamentales y contenidos mínimos, ya entregados para la Educación General Básica y en proceso de definición para la Enseñanza Media. Los usuarios de la información Desde sus inicios y tal como lo expresáramos, los resultados del Simce estaban destinados al público, principalmente a los padres, a los directivos de las escuelas y profesores, a las autoridades centrales y regionales del ministerio y también a los integrantes del Poder Legislativo. Desde luego que los propósitos que cada uno de estos destinatarios tiene para usar las informaciones, son muy diferentes. De acuerdo con la política establecida, se supone que los padres necesitan informarse sobre la calidad de los resultados académicos obtenidos por las escuelas con el fin de decidir sobre la mejor escuela para sus hijos. Los establecimientos educacionales, por su parte, necesitan antecedentes sobre el logro de objetivos de aprendizaje específicos, en general y por niveles, para poder iniciar acciones correctivas en aquellas áreas en que se advierten deficiencias. A las autoridades ministeriales les compete juzgar la efectividad con que está operando el sistema en general y sectores específicos de él, en relación con áreas amplias del saber, para poder emprender programas de apoyo allí donde se demuestre que es necesario y, por último, los legisladores requieren de antecedentes de diversa índole que les permitan fundamentar sus iniciativas. El Simce trata de acoger todas estas necesidades de información, lo que logra de modo variable. Evidentemente, ante demandas tan heterogéneas y específicas, en la práctica es imposible que un sistema común pueda responder a todas con igual nivel de satisfacción para los usuarios, en particular cuando el énfasis de los propósitos del sistema de medición ha variado en el transcurso de los años, sin que se hayan modificado sustantivamente las características del mismo.

3 Tipos de informaciones que se recopilan (1996) El Simce recaba informaciones en todos los establecimientos del país, aplicando los instrumentos de medición a todos los alumnos (unos 220 mil en 82 básico en 1995), con las excepciones que más adelante se señalan para algunas pruebas, que sólo se aplican a muestras de alumnos. Salvo el caso de una prueba de redacción, las pruebas que miden resultados cognoscitivos son de selección múltiple. Los tipos de resultados que se evalúan son los siguientes: Resultados cognoscitivos En el ámbito cognoscitivo se mide el logro de los principales objetivos de aprendizaje, según figuran en los planes y programas oficiales para todo el país, en las áreas de castellano, matemática, historia y geografía y ciencias naturales. Para las dos segundas, la información se refiere a una muestra del 10% de los alumnos. Resultados no cognoscitivos En esta área se evalúan los siguientes aspectos: * Desarrollo personal, que incluye: autoestima (escolar, física, social y familiar); autonomía y seguridad. * Actitudes hacia el ambiente, con indicadores de protección, preocupación y conocimiento. Desarrollo de la creatividad Se refiere a las características del ambiente educativo que rodea al alumno, que pueden ser impulsoras o inhibidoras de la creatividad. El cuestionario que deben responder los profesores comprende: iniciativa y autonomía; estilo de conducción; técnicas para el desarrollo de la creatividad y estructura abierta de aprendizaje. Aceptación de la labor educacional Es un cuestionario que mide la aceptación o rechazo que los miembros de la comunidad educativa tienen del trabajo que desarrolla la escuela y se refiere a la opinión que tienen profesores, alumnos y padres y apoderados al respecto, en aspecto tales como la labor del profesor, las relaciones humanas, el compromiso de los padres, la satisfacción, entre otros. Eficiencia escolar Se refiere a la calidad de la educación, en términos de la capacidad del sistema para retener al alumno hasta que termine todos los cursos previstos y de promover a esos alumnos de un curso a otro con fluidez, sin repeticiones innecesarias. La información al respecto se obtiene de los informes que los mismos establecimientos entregan al Mineduc y se remite a las escuelas junto con los resultados del Simce, referida a: tasa de aprobación, reprobación y retiro; porcentaje promedio de retención en los últimos cinco años, y porcentaje promedio de aprobación, que corresponde al promedio de alumnos promovidos tanto en el 1er subciclo (1º a 4º años), como en el 2º subciclo (5º a 8º ).

4 La comunicación de los resultados Es un aspecto crucial para cualquier sistema de medición que pretenda que sus resultados tengan algún impacto sobre la calidad de la educación. Sin una información clara, contextualizada y ampliamente difundida, difícilmente se puede llegar a los destinatarios. Una información es clara en la medida en que incluye la menor cantidad posible de indicadores - sólo los necesarios para satisfacer los requerimientos de los usuarios en función de las preguntas que se plantean - y si éstos se expresan en una forma y lenguaje accesibles al destinatario. La contextualización adecuada de los resultados de un proceso de medición permite que los destinatarios tengan marcos de referencia significativos para interpretar la información que reciben. Así, los objetivos alcanzados en un establecimiento se pueden comparar, como lo hace el Simce, con aquellos obtenidos por establecimientos similares, o bien por el conjunto de establecimientos del país. De esta forma, los directivos de ese establecimiento podrán juzgar más apropiadamente su situación particular, sus deficiencias y fortalezas. Del mismo modo, cuando las autoridades educacionales regionales disponen de datos, no sólo con respecto a sus propios logros, sino también a los conseguidos en otras regiones, les será más fácil buscar apoyos y encontrar soluciones a los problemas detectados. La posibilidad de hacer comparaciones implica la definición de estándares (niveles, patrones, modelos). Entre los tipos de estándares más usados tenemos, por un lado, puntos de referencia, como podrían ser, por ejemplo, el rendimiento más alto alcanzado en el país, el mejor puntaje entre las escuelas municipales de una región, o dentro del grupo alumnos de padres con enseñanza básica incompleta. También podríamos mencionar estándares definidos en función de mejoras en el tiempo, de indicadores considerados relevantes, por ejemplo, retentividad y, por último, podríamos señalar estándares absolutos de desempeño. Estos podrían ejemplificarse con los porcentajes de alumnos que logran determinados niveles de aprendizaje y que se podrían calificar como competentes en determinadas habilidades. Cualquiera de estos estándares, o varios de ellos, requieren de un cuidadoso proceso de definiciones para que sean significativos para los propósitos que se buscan. Una amplia difusión, la otra condición importante para que los resultados de la evaluación tengan probabilidades de impactar el sistema, asegura la transparencia y la credibilidad de la información, a la vez que va sensibilizando a los usuarios en cuanto a sus alcances, significados y proyecciones. El Simce proporciona resultados a nivel de escuela, comuna, provincia, región y nación. La escuela es informada en términos de porcentajes de logro de objetivos de aprendizaje específicos y de otros indicadores de efectividad en la escuela misma, a los que se agregan resultados obtenidos en escuelas similares y a nivel nacional, para que cada unidad educativa pueda juzgar su situación relativa dentro de algún contexto significativo para ella. También se envía información resumida destinada a los padres y diversos documentos explicativos, destinados en especial a los profesores, directivos y personal técnico de las escuelas, publicaciones que se han mantenido a través de los años. Los principales resultados por escuela se publican en la prensa local. Los niveles comunales, provinciales, regionales y nacional, reciben informaciones con distintos niveles de desagregación, según necesidades. Estos antecedentes habitualmente reciben amplia cobertura en los medios de comunicación, que suelen destacar sobre todo las diferencias entre resultados obtenidos por distintos tipos de escuelas. Los usos de la información En la escuela Como se dijo antes, el Simce tuvo como uno de sus propósitos iniciales más importantes, el proporcionar información detallada a las escuelas sobre el grado en que sus alumnos estaban consiguiendo los objetivos previstos, con una doble finalidad: por un lado, para que los padres dispusieran de ante-

5 cedentes para seleccionar escuela a la que iban a enviar a sus hijos, y por otro, para que los directivos y profesores pudieran mejorar su acción educativa basándose en datos objetivos y provenientes de evaluaciones externas, que les destacaban deficiencias y fortalezas. El Simce tuvo desde el comienzo especial preocupación por que esto efectivamente fuera así, diseñando formatos para la entrega de resultados detallados que fueran educacionalmente útiles, expresados de modo comprensible para los docentes, diseño que se ha ido perfeccionando en el tiempo, tal como lo vimos. Los folletos técnicos que acompañan los resultados que se envían a los establecimientos ayudan a su interpretación por profesores, personal técnico y directivos. La información, en general, se proporciona en términos porcentuales, que son de fácil manejo para todos, incluyendo padres y apoderados, quienes reciben un resumen de los resultados y material para apoyar su comprensión y su uso. Qué ha ocurrido en todos estos años en que el sistema se ha venido aplicando? En la práctica, la mayoría de las escuelas extraen conclusiones pedagógicamente útiles y planifican algún tipo de acción remedial para corregir deficiencias, pero sólo algunas trabajan sistemáticamente, siguiendo programas propios bien definidos. Relacionado con esto, otro uso importante que las escuelas han hecho de los resultados del Simce se refiere a los Programas de Mejoramiento Educativo que el Ministerio de Educación ha puesto en marcha, que corresponden a iniciativas de las escuelas para mejorar la calidad de la educación que entregan, y que son financiados por el ministerio. Los resultados alcanzados permiten a las escuelas hacer diagnósticos más finos de su realidad educativa y formular sus proyectos de modo más realista. En cuanto al uso que los padres dan a los resultados del Simce, la conciencia pública hacia asuntos educacionales en general, y hacia el desempeño de los niños como indicador de la calidad de la escuela, ha ido aumentando, en gran medida porque año a año existe información amplia al respecto en los medios de comunicación, conciencia que ha sido mayor después de que el año pasado se publicaron, en la prensa local, los porcentajes de logro en castellano y matemática de todas las escuelas del país. Aunque las investigaciones al respecto son muy escasas, pareciera que cada vez más los padres se interesan por los resultados del Simce, pero que la importancia que le atribuyen para decidir sobre la escuela en que estudiarán sus hijos es variable, dependiendo de las posibilidades reales de elección que tengan los padres, o bien, de que otras características de la educación de sus hijos consideren más relevantes (por ejemplo, formación religiosa, coeducación, bilingüismo). De hecho, las familias que tienen amplia libertad de elección, eligen dentro de un conjunto de establecimientos que, de todos modos, tienen muy alto nivel de rendimiento y por lo tanto, los resultados del Simce no les hacen diferencia. Por otro lado, aquellas familias que no tienen un rango amplio de opciones, también tienden a decidir más bien en función de otras características (proximidad al hogar, datos de personas conocidas sobre la calidad de la escuela, número de alumnos por curso, tamaño del establecimiento, vacantes), más aun por no comprender todavía muy bien el significado de los resultados del Simce. En el nivel central y regional del ministerio Actualmente, el uso que dan la autoridad central y las autoridades regionales a los resultados del Simce ha pasado a tener importancia crucial para detectar deficiencias y focalizar recursos y esfuerzos destinados a superarlas. Se han puesto en marcha diversos programas para este propósito: * En el nivel central cabe destacar el llamado P-900", que es un programa que se concentra en las 900 escuelas de más alto riesgo educativo del país, según resultados del Simce (posteriormente se incrementó el número). Antes de impulsar cualquier reforma educativa referida a cambios estructurales, curriculares u otros, por demás necesarios al iniciarse el gobierno democrático, se decidió dar un apoyo masivo a las escuelas más vulnerables, consistente en perfeccionamiento de sus profesores, material educativo, bibliotecas, textos e

6 infraestructura. De este modo se trató de dar un apoyo urgente a la población de niños más desfavorecidos del país. Los resultados han comenzado a advertirse, evidentemente, faltando aún mucho camino por recorrer. * Los Programas de Mejoramiento Educativo (PME) han constituido otra iniciativa importante para impulsar el desarrollo de nuestra educación, principalmente porque en este caso, son las mismas escuelas las que proponen sus proyectos para mejorar procesos y resultados, los que son luego financiados por el Ministerio de Educación. La formulación de los proyectos recibe apoyo técnico del nivel central, a través de publicaciones destinadas a facilitarla, así como también a través de distintas actividades de perfeccionamiento al personal técnico de las regiones y de las escuelas. La detección & necesidades, primer paso para la elaboración de un PME, se basa de modo importante en los resultados que arroja el Simce para el establecimiento. * En este momento se ha legislado sobre la asignación de una subvención especial - consistente en dinero que beneficia directamente a los profesores -por desempeño de excelencia de establecimientos subvencionados de cada región, que representen hasta un 25% de la matrícula regional y que hayan sido calificados como de desempeño excelente (unos 2 mil establecimientos de todo el país en 1996). Estos se seleccionarán cada dos años y el puntaje que se asigna a cada escuela se obtiene de la aplicación de diversos factores: efectividad, superación, iniciativa, mejoramiento de las condiciones de trabajo, igualdad de oportunidades e integración de profesores, padres y apoderados. Los dos primeros, que en conjunto tienen una ponderación del 70% dentro del puntaje total, se refieren a resultados del Simce, el primero al promedio entre castellano y matemática, y el segundo, a las diferencias entre resultados promedio de aplicaciones sucesivas en el establecimiento. * En las provincias, nivel en que opera el sistema de supervisión del ministerio, las informaciones que proporciona el Simce se utilizan para apoyar pedagógicamente aquellas escuelas que necesitan asistencia técnica de los supervisores, que son profesores especialmente formados para desempeñar esa función y que normalmente mantienen un estrecho contacto directo con los establecimientos, sus autoridades y profesores. Investigación educativa Un uso aún no suficientemente explorado ha sido la investigación en torno a los resultados del Simce. Año a año, éstos se envían a las instituciones formadoras de profesores del país y están a disposición de cualquier investigador que los requiera. Sin embargo, a pesar de la riqueza de la información existente - de buena calidad técnica y recopilada a lo largo de varios años - su utilización todavía es absolutamente insuficiente en relación con la cantidad de datos disponibles. Síntesis y discusión final En síntesis, la necesidad de contar con un sistema de medición de calidad de la educación ha quedado claramente puesta de relieve, en particular cuando existe la voluntad política de llevar a cabo un proceso de reforma profundo del sistema educativo. Los resultados que tal sistema de medición proporciona son cruciales para definir un plan estratégico, identificando prioridades y luego, para monitorear el desarrollo del mismo. Entre todos los posibles usos de los resultados de un sistema de medición de calidad de la

7 educación que pudiéramos identificar, seguramente es la planificación estratégica la que más hace indispensable su implementación en un país que pretenda mejorar sistemáticamente su sistema educacional. La reforma de la educación de un país requiere no sólo de una voluntad política, sino también de consensos y del apoyo público para poder llevarse a cabo exitosamente. La evaluación permanente de la calidad de la educación, con resultados oportunos, confiables y válidos, que surjan de un sistema de medición que tenga aceptación y credibilidad pública, y que mida logros educativos reconocidamente importantes, resultados que sean comunicados ampliamente, en términos significativos para sus destinatarios, es un factor esencial para sensibilizar a la población en general y para informar adecuadamente a los usuarios. Un sistema de medición es un poderosísimo instrumento para enviar señales al sistema educativo y al público en general, sobre los resultados que se espera obtener, así como también sobre los procesos mediante los cuales se pretende llegar a esos resultados. La experiencia chilena nos ha enseñado esta lección, a la vez que nos plantea interrogantes, cuya respuesta contribuirá a hacernos avanzar hacia el mejoramiento de nuestra educación. Entre las preguntas que nos falta atender, que corresponden a inquietudes que han surgido tras casi una década de aplicación de un sistema de medición de calidad de nuestra educación, están las siguientes: * Cómo evitar que las evaluaciones externas que se usan para tomar decisiones importantes, distorsionen la enseñanza y estrechen el currículo? * Cómo evitar la separación artificial que se produce entre las evaluaciones externas y lo que ocurre en las aulas escolares? * Cómo diseñar pruebas y procedimientos de evaluación que estimulen una enseñanza y un aprendizaje de mejor calidad y al mismo tiempo, permitan conocer los estándares alcanzados en el nivel nacional? * Cómo conciliar tres principios cruciales y difícilmente conciliables en evaluación: la validez de los resultados; las posibilidades reales de aplicar ciertos procedimientos de evaluación a grandes números de alumnos, y la comparabilidad de los resultados? * Cómo proceder para que los profesores, padres y alumnos comprendan, apoyen y se sientan cómodos con los cambios? * Cómo monitorear de modo continuo los efectos no planificados que necesariamente se asocian con sistemas nacionales de evaluación, para poder detectar en qué medida se están produciendo los beneficios esperados, y a la vez, minimizar los efectos negativos? * Debería un sistema nacional de evaluación de la calidad de la educación, ubicarse dentro del Ministerio de Educación de un país?