Coordinación de Planeación y Evaluación Educativa

Transcripción

1 Coordinación de Planeación y Evaluación Educativa Dirección de Evaluación del Sistema Educativo Estatal Mayo 2005

2 LOS PROBLEMAS DE LAS EVALUACIONES ESTANDARIZADAS: DOMINIO DE CONTENIDOS Y MEDICIÓN DE HABILIDADES BÁSICAS. Desde el siglo XIX se ha considerado que existe relación entre el desarrollo de los países y la calidad de la educación que éstos ofrecen, sin embargo, es hasta mediados del siglo XX, que se intentó validar este supuesto. La segunda guerra mundial desencadenó una precipitada carrera tecnológica entre naciones y motivó a la comparación entre los sistemas educativos de diversos países y los niveles alcanzados por sus educandos. Se desarrollaron entonces los primeros intentos de evaluación de la educación en el ámbito internacional. Realizar estas evaluaciones, requirió crear parámetros o estándares compartidos, es decir, puntos de referencia comunes a partir de los cuales pudieran contrastarse aspectos de diferentes sistemas educativos. Las evaluaciones estandarizadas La evaluación es un juicio de valor que se formula como resultado de contrastar una situación real con un punto de referencia, e implica tres elementos: - La medición o el conocimiento de una realidad obtenido con la mayor objetividad y precisión. - Un parámetro, o un punto de referencia con el que se contrastará la situación detectada. - El juicio de valor que surge de contrastar la medición realizada con el parámetro previamente definido. (Martínez Rizo, 2003: 9) La evaluación de un sistema educativo no puede sustentarse en la que realiza el docente desde la escuela, porque ésta evaluación aplica un criterio de medición individual que impide comparar los resultados. Evaluar un sistema educativo requiere de evaluaciones a gran escala (o estandarizadas), es decir, de aplicar instrumentos de medición a la población estudiada de un sistema o a una muestra representativa de éste (alumnos, docentes, escuelas u otros), a fin de obtener información de una realidad y realizar el análisis e interpretación de ésta información comparándola con un parámetro previamente definido (un estándar, 2

3 una media, un mínimo o un momento anterior), a fin de formar un juicio de valor respecto de algún elemento o aspecto del sistema educativo. Las evaluaciones estandarizadas, son insumos necesarios para definir las políticas educativas ya que proporcionan elementos para conocer las debilidades y puntos fuertes del sistema y cubren la necesidad de contar con información válida y confiable respecto de la calidad del servicio. El Programa Nacional de Educación , maneja el siguiente concepto de calidad: Una educación de buena calidad es aquella que se propone objetivos de aprendizaje relevantes y actualizados, y consigue que los alumnos los alcancen en los tiempos previstos, apoyando en especial a quienes más lo necesiten. Esta concepción de la calidad implica varias dimensiones: pertinencia, relevancia, eficacia externa e interna, impacto, eficiencia y equidad (Martínez Rizo, 2003:5) Evaluar la calidad educativa, requiere de medir múltiples elementos y factores que intervienen en la prestación del servicio educativo para hacer juicios acerca de sus dimensiones. El objeto más significativo de evaluación es el aprendizaje de los alumnos el cual refleja la eficiencia del sistema educativo. Anteriormente las evaluaciones estandarizadas reducían su marco a la evaluación del dominio de contenidos o conocimiento declarativo, pero gracias al avance de la psicología educativa, en especial de las orientaciones mediacionistas o cognoscitivistas, ha tomado relevancia la evaluación de las habilidades básicas o conocimiento procedural que permite aprender a aprender. La evaluación formativa y sumativa, propias del proceso enseñanza-aprendizaje, se hacen sólo sobre aquello que se ha enseñado; la evaluación estandarizada, en tanto se aplica de manera general a una población dada, se hace teniendo como referente el programa de estudios y el nivel de avance reglamentario hasta el momento de la aplicación de la prueba; en el caso de instrumentos para valorar el logro en habilidades básicas para el aprendizaje, se requiere definir qué son, cómo funcionan y cómo se pueden medir éstas habilidades en sus distintos grados de 3

4 desarrollo. De ahí la complejidad para fundamentar y elaborar los instrumentos para las aplicaciones estandarizadas. La evaluación a gran escala del aprovechamiento escolar, precisa de una planeación cuidadosa en dos sentidos: el primero, teórico, al establecer el fundamento que dará validez a la evaluación y el segundo operativo, para el cual se hace necesario conformar una cuidadosa estrategia a fin lograr una aplicación válida y confiable y obtener información cercana a la realidad. En lo operativo, la evaluación a gran escala requiere de reglas y procedimientos precisos para la realización de sus distintas etapas: sensibilizar a quienes serán evaluados, capacitar a quienes aplicarán la evaluación, reproducir y distribuir instrumentos de manera oportuna y suficiente, realizar y supervisar la aplicación, y procesar, validar e interpretar la información obtenida. La evaluación estandarizada, además de compleja, también es costosa porque se requiere actualización constante para su diseño, por el número de personas que se requiere capacitar para aplicar una evaluación en todo el estado, por la cantidad de instrumentos que hay que reproducir y distribuir, por el personal que se necesita para validar y procesar la información obtenida. Etapas y dificultades de la evaluación estandarizada: A fin de considerar algunas dificultades que pueden encontrarse en la realización de evaluaciones estandarizadas, se delimitan a continuación, siete etapas de la evaluación y se exponen algunos aspectos que hay que atender en cada una de ellas. ETAPAS DE LA EVALUACION ESTANDARIZADA PLANEACIÓN PROCESAMIENTO DE RESULTADOS DISEÑO DE INSTRUMENTOS APLICACIÓN ANALISIS E INTERPRETACIÓN DE RESULTADOS DISEÑO DE LA APLICACIÓN DIFUSIÓN DE RESULTADOS 4

5 Planeación de la Evaluación. La definición del tipo de evaluación que se va a realizar, considera, entre otros aspectos, el para qué se quiere realizar la evaluación, cómo podríamos medir la realidad a evaluar, cuál es el tamaño de la población que se evaluará, cuáles son los recursos, técnicos y materiales de que se dispone, etc. todo esto a fin de elegir una opción que sea adecuada a nuestras posibilidades y que asegure una evaluación de calidad. El diseño de instrumentos demanda el conocimiento del currículum oficial y atiende al avance de ciencias como la epistemología, la pedagogía, la psicometría, así como el avance social y tecnológico. Implica la realización del pilotaje y validación los reactivos, a fin de asegurar que a través de ellos puede realizarse la medición que queremos y cuidar el armado de las pruebas para garantizar que están incluidos y jerarquizados todos los aspectos que deben evaluarse. El diseño de la aplicación debe preparar estrategias claras para: - Sensibilizar a las autoridades, a los aplicadores de la evaluación y a la población a evaluar, acerca de la importancia y beneficios de la evaluación para propiciar circunstancias adecuadas para la aplicación. - La reproducción de instrumentos y elaboración de paquetes de evaluación, así como para su distribución oportuna a fin que se cuente con los instrumentos completos y suficientes en cada centro de aplicación - La operación de la evaluación y la capacitación a los aplicadores, a fin de garantizar el llenado adecuado de todos los datos, evitar que se extravíen los instrumentos ya contestados y en general lograr condiciones de seguridad y confiabilidad. - Evitar que se dé a conocer el instrumento de evaluación antes de su aplicación. Durante la aplicación es importante establecer mecanismos de supervisión, a fin de vigilar que se sigan los lineamientos y procedimientos establecidos, así como resolver los problemas que se presenten. En el procesamiento de resultados se hace necesario, validar la lectura y concentración de información a fin de detectar oportunamente posibles errores e 5

6 inconsistencias que puedan ser resueltas por quienes aplicaron los instrumentos o captaron la información. Atendiendo al aspecto ético, habrá que establecer estrategias a fin de guardar la confidencialidad de las respuestas y el anonimato de los evaluados, así como, evitar la alteración de resultados. Durante el análisis e interpretación de resultados la valoración debe estar soportada en la información disponible; además, conviene tener en cuenta los aspectos del contexto, así como la que nos pueden proporcionar otras herramientas de apoyo (indicadores educativos, documento de trabajo), a fin de hacer juicios realistas. Considerar también en esta etapa, el valor de la equidad: no pueden presentar resultados iguales alumnos o escuelas de diferentes estratos pues tienen condiciones y recursos de trabajo diferentes. Los juicios de valor deben ser mesurados, no es válido hacer afirmaciones absolutas de una realidad ni pretender explicar las posibilidades y límites del sistema educativo a partir de una sola evaluación; es necesario contrastarla o complementarla con otras evaluaciones a fin de fundamentar, desde distintos ángulos, las características de la acción educativa y de su efectividad. Difusión de resultados y el uso de los mismos. Una evaluación cobrará valor cuando a partir de sus resultados, se analicen y definan mejores opciones de acción. Para ello es necesario crear una cultura de evaluación, es decir, formar a la población en la comprensión del sentido de las evaluaciones en versiones inteligibles a las diferentes audiencias, y promover que se usen para emprender acciones de mejora. La Dirección General de Evaluación Educativa, actualmente aplica seis evaluaciones estandarizadas que provienen de la Dirección General de Evaluación de Políticas de la Secretaría de Educación Pública: Evaluación del Factor Aprovechamiento Escolar del Programa de Carrera Magisterial, Olimpiada del Conocimiento Infantil, Evaluación Diagnóstica Censal, Pruebas Nacionales de Español y Matemáticas, Evaluación del Programa Escuelas de Calidad PEC (Cuantitativa) e Instrumento de Diagnóstico para Aspirantes de Nuevo Ingreso a Secundaria (IDANIS); las tres primeras evalúan el rendimiento de los alumnos, las 6

7 tres últimas evalúan la formación de habilidades básicas para el aprendizaje en los alumnos. La DGEE también trabaja en la construcción de instrumentos propios, para la realización de evaluaciones estandarizadas a través de los siguientes proyectos: Aplicación de Pruebas Estandarizadas en Secundaria y Medición de Habilidades Básicas en Educación Secundaria (IDANIS II). 7