Explicando la Efectividad Escolar para una Política de Cambio Educacional: De la Presión Externa a la Accountability Interna Ernesto San Martín 1,2,3,4,5 y Alejandro Carrasco 1,4 1 Facultad de Educación, Pontificia Universidad Católica de Chile 2 Facultad de Matemáticas, Pontificia Universidad Católica de Chile 3 Centro de Medición MIDE UC, Pontificia Universidad Católica de Chile 4 Centro de Políticas y Prácticas Educacionales CEPE-UC 5 Center for Operations Research and Econometrics, Université catholique de Louvain, Bélgica Centro de Políticas Públicas UC Marzo 22, 2013
PARTE I Contexto General de la Propuesta
Motivación Políticas para la mejora de la calidad y equidad de la educación chilena. Análisis académico: Testeo ex-ante y continuo de las políticas, especialmente aquellas con consecuencias éticas. Los resultados de este proyecto aspiran a contribuir al debate sobre las mejoras que en el mediano y largo plazo demanda la implementación del Sistema de Aseguramiento de la Calidad.
Marco conceptual de la propuesta Agencia Propuesta Modelamiento de Instrumento de Cambio Efectividad escolar Política Educacional Efectividad parcial Efectividad como valor agregado Clasificación pública y consecuencias? Presión externa Axccountability interna
Cuatro modelos de Evaluación Educacional Status model. Cohort-to-Cohort change models. Growth models. Value-added models.
PARTE II Efectividad Escolar
Efectividad como Valor Agregado Sea Y ij el puntaje del estudiante i que asiste a la escuela j, y sea T ij un vector de largo K de factores explicativos o covariables. El valor-agregado de la escuela j está dado por n j VA j = 1 E(Y ij T ij, θ j ) 1 E(Y ij T ij ). n j n j i=1 n j i=1
Efectividad como Valor Agregado Si una escuela tiene un indicador de valor agregado positivo, esto significa que dicha escuela fue capaz de llevar a los estudiantes más allá de donde hubiesen llegado de haber sido tratados por la escuela promedio. Si una escuela tiene un indicador de valor agregado negativo, esto significa que dicha escuela no fue capaz de llevar a los estudiantes más allá de donde hubiesen llegado de haber sido tratados por la escuela promedio.
Efectividad parcial Sin discutir el significado de las posibles variables dependientes Y ij que se pueden proponer, se puede hacer la siguiente distinción conceptual: 1 {Y ij E(Y ij T ij )} = n j n j i=1 } {{ } Residuo R1 j de escuela j n j = 1 {E(Y ij T ij, θ j ) E(Y ij T ij )} + 1 {Y ij E(Y ij T ij, θ j )}. n j n j i=1 i=1 }{{}}{{} Valor agregado VA j de escuela j Residuo R2 j de escuela j n j
Efectividad parcial Así, para cada escuela j, se tiene la siguiente descomposición: R1 j = VA j + R2 j, donde VA j no está correlacionado con R2 j. R2 j corresponde a todo aquello de Y ij que no puede ser explicado ni por los factores o controles, ni por el efecto escuela. R1 j corresponde al concepto de efectividad escolar que se desprende de la metodología propuesta por MINEDUC a la Agencia de Calidad. Por lo tanto, la efectividad escolar R1 j por la cual se quiere ordenar a las escuelas no sólo depende de aquello que puede atribuirse a la escuela (su valor agregado), sino además por aquello que no está bajo su control.
Efectividad parcial El concepto de valor agregado supone la diferencia entre el puntaje esperado de los estudiantes cuando están en una escuela determinada, y ese puntaje esperado cuando se supone que el estudiante está en una escuela promedio (ver Carrasco & San Martín, 2013; Manzi, San Martín & Van Bellegem, 2013). El concepto de efectividad escolar que se desprende de la metodología MINEDUC corresponde a todo aquello de los puntajes individuales que no pueden ser explicados por los puntajes esperados de los estudiantes en una escuela promedio. Así, en términos conceptuales, la escuela como entidad está parcialmente presente en el concepto de efectividad que se desprende de la metodología MINEDUC, salvo que R1 j es un promedio que se calcula a nivel de la escuela j.
PARTE III Modelamiento del Valor Agregado
El aprendizaje es acumulativo y parcialmente endógeno a la escuela/profesores Logro escolar actual es el resultado de un conjunto de inputs que depende de: Experiencias fuera de la escuela. Familia. Comunidades. Barrios. Y también de inputs pasados que provienen de: Profesores anteriores. Anteriores Pares del aula. Acciones de lideres locales, etc. Todos estos Inputs estas desigualmente distribuidos.
Distinguiendo el estatuto de las covariables Y ij θ j X ij Z ij W ij
PARTE IV De la presión externa a la accountability interna
Consecuencias sobre políticas de responsabilización En términos generales, alguna evidencia internacional indica que la presión externa produce desprofesionalización, aprendizajes mecánicos, logros de corto alcance, inautenticidad organizacional sobre propósitos educativos, entre otros. En términos específicos, no sabemos el significado empírico (prácticas) de los rangos/puntajes de indicadores de efectividad. Opacidad del significado de la clasificación y, por tanto, de las recomendaciones que comunica. Escuelas efectivas como ATES tiene un supuesto implícito: su modelo como escuela asegura cambio. Agencia debiese estudiar qué es una escuela efectiva para hacer recomendaciones al sistema
Accountability Interna El cambio es propiciado, diseñado y monitoreado por agentes locales y bajo un principio de responsabilidad colectiva y confianza interpersonal (no estructurados bajo presión externa y desconfianza sobre la capacidad de agencia a nivel escuela). Los estándares son ambiciosos y construidos colaborativamente (no impuestos externamente). La pedagogía y profesión docente conceptualizada como un sofisticado Capital Profesional, desarrollo e integración sistemática de capital social, humano y decisional (no mediante incentivos individuales, control a distancia ni como misión vocacional). El uso de datos continuo sobre aprendizajes y evidencia sobre prácticas informa la reorganización pedagógica y organizacional (no la examinación intensiva ni las modas o recetas educacionales no testeadas). (Brick & Schneider, 2002; Lupton & Thrupp, 2006; Elmore, 2010; Hargreaves & Shirley, 2009; Alexander, et al., 2010; MacBeath & Mortimore, 2005; Hargreaves & Fullan, 2012).
PARTE V Articulación de la propuesta
Productos de la Propuesta Producto 1: Trayectoria para construir una política de cambio educacional centrada en accountability interna (Agencia). Producto 2: Especificación y requisitos de implementación de un modelo de efectividad como valor agregado (EVA) para una responsabilización justa. Producto 3: Semántica de las gradientes de efectividad (EVA) para una accountability interna.
Desarrollo de la Propuesta Producto 1: Una fundamentación sobre el vínculo entre el uso EVA y políticas de cambio educacional. Producto 2: Definición estadística, modelamiento, análisis comparado con otros conceptos de efectividad y sus consecuencias así como especificación de los requisitos, restricciones y etapas de implementación a mediano y largo plazo. Producto 3: Descripción etnográfica de prácticas educacionales observadas en escuelas de mayor o menor agregación de valor para explicar el significado de puntajes y propiciar practicas de accountability interna.