La medición de la eficiencia educativa en Uruguay. Cuáles son sus determinantes?

Transcripción

1 La medición de la eficiencia educativa en Uruguay. Cuáles son sus determinantes? Daniel Santín González * Gabriela Sicilia Suárez Departamento de Economía Aplicada VI. Facultad de Ciencias Económicas y Empresariales. Universidad Complutense de Madrid. Resumen La investigación que se propone tiene como objeto identificar los factores determinantes de la eficiencia de la educación secundaria en Uruguay utilizando los datos contenidos en PISA En particular, interesa identificar aquellas variables sobre las cuales se podría influir a través del diseño de las políticas públicas, con el fin de mejorar los resultados alcanzados sin necesidad de incrementar los recursos disponibles. Para ello, se plantea realizar un análisis en dos etapas. En primer lugar, se estima la eficiencia educativa de cada uno de los centros educativos a través de un modelo DEA (Data Envelopment Analysis), y posteriormente se regresan los índices estimados sobre diversas variables asociadas a los centros y a los alumnos. Esta segunda etapa se lleva a cabo mediante dos metodologías: un modelo de regresión censurada (Tobit) convencional y diferentes modelos de regresión con bootstrap recientemente propuestos en la literatura. Los resultados del estudio cuantifican en una media de un 7,5% los comportamientos ineficientes en la producción educativa de los centros uruguayos evaluados. Este hecho, pone de manifiesto la posibilidad de incrementar la eficiencia mediante la adopción de políticas adecuadas; tanto desde el diseño de las mismas por parte de las autoridades nacionales, como desde la implementación de éstas por parte de los centros. En este sentido, según indican los resultados de la segunda etapa, el incremento de recursos educativos per se, como el aumento del número de profesores por grupo de alumnos, no tiene efectos significativos sobre la eficiencia. Por el contrario, las políticas educativas deberían focalizarse en revisar las técnicas de enseñanza-aprendizaje, los sistemas de evaluación, las políticas de repetición vigentes y sobre todo, en incentivar a los alumnos a dedicar parte de su tiempo libre fuera del centro educativo a la lectura. Palabras clave: Educación, PISA, Eficiencia productiva, DEA, bootstrap. Clasificación JEL: C15, C61, D61, I2. * Dirección postal: Campus de Somosaguas. Despacho 61, pabellón. 6º. C.P Pozuelo de Alarcón. Madrid. Tel dsantin@ccee.ucm.es. Dirección postal: Avda. del Mediterráneo 11, 8D. C.P Madrid. Tel gsicilia@gmail.com. 1

2 Santín González, D., Sicilia Suárez, G. LA MEDICIÓN DE LA EFICIENCIA EDUCATIVA EN URUGUAY. CUÁLES SON SUS DETERMINANTES? Introducción El creciente interés por el estudio de la calidad de la enseñanza responde básicamente a dos hechos: por un lado el demostrado impacto positivo que tienen los resultados académicos sobre las tasas de crecimiento económico (Barro y Lee (1993); Hanushek y Kimbo (2000)); y por otra parte, el hecho de que la educación es uno de principales rubros de gasto público en la mayoría de los países del mundo. En efecto, el Sector Público es el principal proveedor de Educación en la mayoría de los países 3, siendo el nivel de gasto en educación que realiza un gobierno y el porcentaje que este representa en términos de PIB, los indicadores más utilizados para medir la inversión que realiza un país en educación. En Uruguay, el gasto público en educación representaba en el año 2000 un 3,53% del PIB, mientras que una década más adelante ascendía a 4,5% 4. No obstante, este enorme esfuerzo en materia presupuestaria, no ha sido acompañado de reformas y políticas adecuadas que conlleven a mejores logros educativos, según demuestran los resultados del Informe PISA (Programme for International Student Assessment) de la OCDE (Organización para la Cooperación y el Desarrollo Económico) publicados recientemente 5. A su vez, si bien los resultados medios obtenidos en PISA 2009 corroboran que Uruguay se mantiene en una posición destacada dentro del contexto latinoamericano, en los últimos años se observa un estancamiento y crisis del sistema educativo. En particular, en la enseñanza secundaria, existen altas tasas de repetición y abandono escolar y bajas tasas de egreso 6. En este sentido, actualmente, la mayor preocupación de las autoridades resposables del diseño de las políticas educativas ya no radica simplemente en ampliar la cobertura del sistema, sino en mejorar la calidad de la enseñanza y los resultados académicos. Para ello, resulta evidente la necesidad de conocer las fuentes de las ineficiencias educativas para abordarlas y lograr una mejora en la gestión de los recursos. 3 En el año 2008 en Uruguay, el 82% de los alumnos de enseñanza secundaria asistían a centros públicos (Observatorio de la Educación, ANEP). 4 En el mismo período el PIB experimentó un incremento acumulado en términos reales de 37% (BCU). 5 Los resultados se muestran estables a lo largo de las tres oleadas en las que Uruguay ha participado (428 puntos en promedio en 2003, 423 en 2006 y 426 en 2009). 6 En 2006 casi un tercio de los jóvenes de 15 a 19 años en áreas urbanas desertaban del sistema, concentrándose en el ciclo de enseñanza media. Para el área rural, dicha cifra asciende a casi el 50% (UNESCO, 2009).

3 En muchos casos, el debate se centra únicamente en el incremento de los recursos destinados a la enseñanza, pero no hay evidencia empírica que demuestre que un mayor nivel de recursos se traduzca directamente en mejores resultados (Hanushek, 2003). Para analizar cómo mejorar los indicadores de rendimiento educativo existen diversos programas internacionales 7, entre ellos PISA, que proporcionan un gran volumen de información sobre alumnos y centros educativos que permite llevar adelante investigaciones más detalladas acerca de los factores que explican los rendimientos académicos 8. Existe un enfoque complementario al anterior, el cual se centra también en analizar la existencia de comportamientos ineficientes de las unidades en el proceso productivo y en explicar dichas ineficiencias a través de variables contextuales del alumno y del centro educativo (Grosskopf et. al. (1997); Afonso y St. Aubyn (2005); Mancebón (1996); Cordero et al. (2005); De Jorge y Santín (2010), Cordero et al (2011b)) 9. La importancia de este tipo de estudios en dos etapas, radica en el hecho de que la presencia de ineficiencias en un sistema educativo implicaría que existe la posibilidad de incrementar los resultados obtenidos sin necesidad de incrementar los recursos asignados, lo cual resulta ser una de las principales ambiciones de los gobiernos actuales. Este último es el enfoque adoptado en el presente estudio. Por último, vale la pena mencionar que si bien a nivel internacional existe un elevado número de estudios de eficiencia educativa en países de la OCDE, en el contexto latinoamericano son escasas las investigaciones disponibles. En particular, para el caso uruguayo hasta el momento no se conocen estudios sobre el tema. Tradicionalmente, el interés se ha centrado en la cobertura del sistema educativo, los efectos redistributivos del sistema y su impacto en la pobreza y el crecimiento, en lugar de analizar la calidad de los servicios prestados y los resultados académicos alcanzados (Llambí y Perera (2008); Llambí et al. (2009); Fernández (2009). Por tanto, el principal objetivo del presente trabajo se centra en identificar, para el caso del sistema educativo uruguayo, las fuentes de las ineficiencias en los centros de enseñanza secundaria, con el fin de 7 Algunos de estos estudios son TIMSS (Trends in International Mathematics and Science Study), IALS (International Assessment of Literacy Survey) y PIRLS (Progress in International Reading Literacy Study). 8 Una revisión de opciones metodológicas y trabajos que analizan la relación entre recursos educativos y rendimiento académico empleando datos PISA para el caso español puede encontrarse en Cordero et al. (2011a) 9 Para una revisión detallada de estudios de eficiencia educativa véase Worthington (2001) y Mancebón y Muñiz (2003). Para una revisión más detallada de modelos en dos etapas, véase Simar y Wilson (2007). 3

4 Santín González, D., Sicilia Suárez, G. LA EFICIENCIA EDUCATIVA EN URUGUAY Y SUS DETERMINANTES: UNA APLICACIÓN A PISA aportar elementos claros para el debate de cuáles podrían ser las mejores prácticas educativas para fortalecer el sistema educativo actual y de este modo, mejorar los resultados académicos. Con este propósito, utilizando datos del programa PISA 2009, se aplica un modelo semi-paramétrico en dos etapas, donde en una primera instancia se estima una frontera productiva mediante un modelo DEA, la cual define un nivel de eficiencia educativa para cada centro. Posteriormente en una segunda etapa, se explican los comportamientos ineficientes utilizando dos enfoques: la metodología convencional de modelo censurado; y por otra parte, se adopta el procedimiento bootstrap propuesto por Simar y Wilson (2007) y se comparan los resultados. El trabajo se organiza de la siguiente forma. En el apartado siguiente se presenta la metodología implementada en el estudio, presentando el modelo DEA a estimar en la primera etapa, y los modelos alternativos implementados en la segunda etapa. En el tercer apartado se describe brevemente el programa PISA, se exponen las variables seleccionadas en ambas etapas y se presenta un breve análisis descriptivo de los datos y variables. La cuarta sección está dedicada a los resultados obtenidos en el modelo. Por último, en el apartado final se exhiben las principales conclusiones del estudio y las implicaciones que éstas podrían tener en materia de política educativa. Metodología La función de producción educativa. El concepto de función de producción educativa hace referencia a la relación que existe entre outputs e inputs, dada una tecnología productiva. El enfoque teórico utilizado en el presente trabajo que relaciona los recursos con los resultados educativos está basado en la función de producción educativa propuesta por Levin (1974) y Hanushek (1979): A is = f (B is, P is, S is, I is ) Ecuación 1 4

5 Donde los subíndices i y s refieren al alumno y al centro educativo respectivamente, y A is representa el vector de outputs educativos. Por otra parte, los inputs educativos (factores imprescindibles para desarrollar la actividad educativa), se dividen en cuatro grupos: B is (características socioeconómicas del hogar del que proviene el alumno), P is (influencia de los compañeros), S is (recursos educativos del centro) y por último, I is (capacidad innata del alumno y su esfuerzo). La estimación de dicha función de producción educativa es llevada a cabo frecuentemente considerando la posible existencia de comportamientos ineficientes en los centros. En este caso, se estimaría una frontera productiva donde los centros plenamente eficientes aprovecharían al máximo sus recursos y estarían sobre la frontera, y por tanto la medida de ineficiencia sería la distancia de cada centro a la frontera construida. La ineficiencia se asocia a diversos factores: incorrecta organización y/o gestión de los centros, inadecuadas prácticas educativas que tienen lugar en el aula, métodos de evaluación inapropiados, escasa motivación e incentivos de profesores y/o alumnos, etc. Por tanto, la función de producción a estimar sería: A is = f (B is, P is, S is, I is ) - u is Ecuación 2 Donde u is representa el nivel de eficiencia. Valores nulos de u is suponen que las unidades analizadas son plenamente eficientes, es decir, dado su nivel de inputs educativos y dada la tecnología existente estos centros están maximizando y gestionando correctamente el nivel de outputs que obtienen. Valores positivos de u is señalarían que el centro es ineficiente y por tanto la cuantía de la ineficiencia indica la cantidad de output que podría ser aumentado si se eliminara la ineficiencia. En suma, en el proceso productivo intervienen tres tipos de variables: los outputs educativos, los inputs educativos, y el nivel de eficiencia de cada centro educativo. En este trabajo utilizamos para construir la frontera productiva y estimar y explicar los índices de eficiencia obtenidos un modelo de dos etapas. Primera etapa. La Medición de la eficiencia mediante el modelo DEA BCC La estimación de la eficiencia está asociada al concepto farreliano de la eficiencia técnica (Farrel (1957)), basado en la estimación de la frontera productiva. La misma se define como el máximo nivel de output que 5

6 Santín González, D., Sicilia Suárez, G. LA EFICIENCIA EDUCATIVA EN URUGUAY Y SUS DETERMINANTES: UNA APLICACIÓN A PISA se puede obtener dados los recursos y tecnología disponibles (modelo orientado al output) 10. En la práctica dicha frontera no es observable, por tanto la estimación de la misma debe realizarse en base a las mejores prácticas (yardstick competition) de la muestra analizada. Existen básicamente dos grandes grupos de técnicas para estimar dicha frontera: las técnicas paramétricas o econométricas y las no paramétricas, basadas en modelos de optimización matemática. Si bien en las últimas décadas se ha incrementado la utilización de las primeras 11, las últimas han sido las más aplicadas para medir la eficiencia técnica educativa, y en particular dentro de éstas, el Análisis Envolvente de Datos (DEA) 12. El modelo DEA ha sido utilizado ampliamente para la medición de la eficiencia en diversas áreas de gasto público desde los trabajos pioneros de Charnes, Cooper y Rhodes (1981) y Banker, Charnes y Cooper (1984) 13. El principal motivo de su extensa aplicación radica en la gran flexibilidad de la técnica que permite adaptarse a las peculiaridades de la oferta pública; fundalmentalmente al carácter multidimensional del output, a la falta de conocimiento de la tecnología de producción y de información acerca de los precios de las variables. La técnica consiste en obtener, mediante un problema de optimización lineal, una envolvente que incluya a todas las unidades eficientes, junto con sus combinaciones lineales. Por tanto, el índice de eficiencia estimado para cada unidad es una medida relativa. A continuación se presenta la formulación analítica del Modelo DEA orientado al output con rendimientos variables a escala (Modelo DEA-BCC) para cada unidad analizada: 10 También es posible estimar la frontera orientada a los inputs, donde se minimiza la cantidad de recursos dado un nivel de output y tecnología disponibles. En el presente estudio, se ha optado por el modelo orientado al output dado que en muchos casos los inputs no son controlables por los centros educativos, y a su vez, que el objetivo se centra en incrementar los resultados obtenidos actualmente. 11 Véase Jiménez (1986); Grosskopf et al. (1997); Perelman y Santín (2011). 12 Véase Worthington (2001, pp.253 y ss.) donde se expone una revisión de los trabajos que miden la eficiencia a través de técnicas frontera y donde predominan los modelos DEA. 13 El primero se conoce como Modelo CCR y el segundo como Modelo BBC por las iniciales de sus autores. 6

7 á Ecuación =1 0 =1,.., Donde, para la i-ésima unidad: >0 es la medida de eficiencia, es el vector ( 1) de outputs y es el vector ( 1) de inputs. Y por tanto, X y Y son las respectivas matrices de inputs ( ) y outputs ( ). El vector de dimensión ( 1), contiene las ponderaciones virtuales de cada unidad determinadas por la solución del problema. Cuando =1 la unidad analizada se encuenta sobre la frontera (es eficiente), mientras que en caso contrario es ineficiente: θ >1 representa la distancia que existe entre la i-ésima unidad analizada y la frontera productiva. Por lo tanto, a mayor valor del índice, θ, más alejada se encuentra la unidad de la frontera y por tanto más ineficiente es. Segunda etapa. Explicación de comportamientos ineficientes. A partir de los los índices de eficiencia estimados, θ, en una segunda etapa éstos se regresan sobre un vector =(,,, ) de variables contextuales de los centros y de los alumnos, las cuales no están directamente relacionadas con la producción educativa pero sí pueden influir sobre el proceso de aprendizaje: θ = (, ) Ecuación 4 El método de estimación más utilizado en la literatura en esta segunda etapa es el modelo de regresión censurada y en algunos casos mínimos cuadrados ordinarios (MCO) 14 ; del cual puede extraerse cuáles son los factores que explican los índices de eficiencia: θ = + Ecuación 5 14 Para ver una revisión detallada véase Simar y Wilson (2007). 7

8 Santín González, D., Sicilia Suárez, G. LA EFICIENCIA EDUCATIVA EN URUGUAY Y SUS DETERMINANTES: UNA APLICACIÓN A PISA En los últimos años se está produciendo un intenso debate acerca de cuál sería la forma más robusta de llevar a cabo el análisis de la segunda etapa. Según Simar y Wilson (2007), los índices de eficiencia que surgen en la primera etapa del modelo DEA no son independientes entre sí, y por tanto las estimaciones mediante los métodos de regresión de la Ecuación 5 estarían sesgadas. Adicionalmente, una segunda fuente de sesgo de las estimaciones se deriva del hecho de que las variables contextuales están correlacionadas con el término de error de la Ecuación 5. Para salvar dichos inconvenientes, Simar y Wilson (2007) proponen dos algoritmos 15, que incorporan la técnica de bootstrap al modelo de regresión estándar. Mediante experimientos Monte Carlo los autores examinan el desempeño de ambos algoritmos, comparando los resultados con los que se obtienen al aplicar un modelo censurado (Tobit) y una regresión truncada bajo métodos convencionales de regresión. Los resultados obtenidos cuestionan la validez de las estimaciones del modelo Tobit bajo los supuestos del estudio, y a su vez, demuestran que ambos algoritmos ajustan mejor que los modelos de regresión truncada convencional. Por último, para muestras pequeñas (para problemas con menos de 400 unidades y hasta tres outputs y tres inputs) se observa que el Agoritmo #1 se ajusta mejor que el Algoritmo #2 con doble bootstrap que se convierte en más eficiente a partir de muestras superiores a 800 unidades 16. Dado que en el presente trabajo la muestra que se analiza está compuesta por 132 centros educativos, se aplicará el algoritmo simple #1 propuesto por Simar y Wilson (2007), el cual se presenta a continuación: Algoritmo #1. 1) Estimar los índices de eficiencia =1,.., resolviendo el DEA (3). 2) Estimar mediante el método de máxima verosimilitud en una regresión truncada de sobre z i (Ecuación 5), utilizando las < observaciones donde >1. 15 Los autores proponen un Algoritmo simple #1 y un Algoritmo doble #2. La diferencia radica en que el segundo incorpora un bootstrap adicional en la primera etapa, que corrige las estimaciones de los índices de eficiencia. 16 Para un análisis más detallado de los resultados obtenidos véase Simar y Wilson (2007, pp. 45 y ss.). 8

9 3) Iterar los pasos (3.a - 3.c) veces mediante un bucle, obteniendo las estimaciones bootstrap de =,. a) Para cada =1,, extraer de una distribución normal (0, ) truncada a la izquierda en 1. b) Nuevamente, para =1,, estimar = +. c) Utilizando máxima verosimilitud estimar la regresión truncada de sobre, obteniendo las estimaciones. 4) Usar los L valores de A para construir los intervalos de confianza de β y σ ε. Recientemente, McDonald (2009) a partir del trabajo de Hoff (2007), retoma la discusión acerca de la utilización de MCO (Mínimos Cuadrados Ordinarios) y de modelos Tobit en la segunda etapa. A diferencia del estudio de Hoff (2007), el cual concluye que tanto el modelo Tobit como el modelo por MCO generan estimaciones consistentes, McDonald demuestra que sólo el primero arroja resultados válidos. A la vista de lo expuesto en los párrafos precedentes, y dado que aún no existe consenso en la literatura disponible acerca de cuáles son los métodos que arrojan estimaciones más consistentes, en el presente trabajo se ha optado por adoptar como base en la segunda etapa el Algoritmo #1 propuesto por Simar y Wilson (2007), y adicionalmente, estimar tres modelos alternativos con el fin de comparar los resultados: un modelo de regresión censurada convencional, y la técnica de bootstrap aplicada a un modelo Tobit y a un modelo MCO. Datos y variables La base de datos PISA El proyecto PISA 2009 corresponde a la cuarta edición de una iniciativa impulsada por la OCDE a finales de los años noventa, con el objetivo de evaluar a estudiantes de 15 años de edad. La evaluación se centra en tres ámbitos: comprensión lectora (lectura), matemáticas y ciencias; focalizándose en el año 2009 en lectura. La 9

10 Santín González, D., Sicilia Suárez, G. LA EFICIENCIA EDUCATIVA EN URUGUAY Y SUS DETERMINANTES: UNA APLICACIÓN A PISA evaluación no se basa en los contenidos curriculares, sino que para hacer los resultados comparables internacionalmente, se centra en medir el dominio que tiene el alumno de ciertos procesos, la comprensión de conceptos y la capacidad para desenvolverse ante distintos problemas. Adicionalmente a los resultados académicos, la base de datos PISA contiene un enorme volumen de información acerca del alumno, del hogar y de los centros educativos en los que reciben formación. A su vez, la base proporciona información individual y de los centros en forma de índices sintéticos, elaborados por expertos de la OCDE basados en la agrupación de preguntas relacionadas realizadas a los alumnos y autoridades de los centros. La ventaja de trabajar con estos índices es que han sido construidos teniendo en cuenta tanto consideraciones teóricas como estudios empíricos, y a su vez han sido ampliamente testeados a nivel internacional (OCDE 2011). El ciclo PISA 2009 es el tercero en el que participa Uruguay, y en el cual se evaluaron alumnos que asistían a 232 centros de enseñaza públicos y privados. Para los objetivos de la presente investigación esta base de datos fue depurada. Se eliminaron aquellos centros de enseñanza en los cuales solamente se impartían cursos de enseñanza secundaria de primer ciclo (1º, 2º y 3º año de secundaria) o solamente de segundo ciclo (4º, 5º y 6º año de secundaria), dado que para llevar a cabo el análisis DEA es necesario que las unidades evaluadas sean homogéneas. En suma, en el presente estudio se analizan 132 centros de enseñanza secundaria (26,7% privados y 73,5% públicos). Outputs, inputs y variables explicativas de la eficiencia. Outputs La medición empírica de la educación recibida por un individuo es muy difícil de medir, sobre todo cuando se desea analizar la calidad de la misma más allá de cuantificar los años de estudio. Sin embargo, existe consenso en la literatura acerca de considerar como outputs educativos los resultados que surjan de pruebas objetivas, ya que son difíciles de falsificar y sobre todo, son tomadas en cuenta por padres y políticos al momento de evaluar el producto educativo para la toma de decisiones. En efecto, Hanushek (1996) observa 10

11 que dos tercios de los estudios utilizan los resultados en las pruebas como medida de los outputs educativos. En el presente estudio, las variables seleccionadas como outputs del proceso educativo fueron dos: resultado de lectura y de matemáticas 17. Inputs En cuanto a los inputs del proceso educativo, se seleccionaron tres variables teniendo en cuenta la función de producción educativa presentada anteriormente (Ecuación 1), y que a su vez representan los insumos mínimos necesarios para llevar a cabo el proceso de aprendizaje (materia prima, capital físico y capital humano): ESCS (Economic, Social and Cultural Status): es un índice elaborado por los analistas del proyecto PISA que refleja el status socioeconómico del alumno, y por tanto representa la materia prima a transformar en el proceso de aprendizaje. El mismo se deriva de aplicar un Análisis de Componentes Principales Categóricos a tres variables18: status ocupacional más elevado de cualquiera de los dos padres (HISEI), nivel educativo más elevado de cualquiera de los padres medido en años de educación (PARED), y por último, un índice de posesiones en el hogar (HOMEPOS) 19. SCMATEDU (School Educational Resources): es un indicador que refleja la calidad de los recursos educativos en el centro de enseñanza, y que representa por tanto el capital físico disponible. El mismo se elabora en base a la respuesta de los directores a siete preguntas relacionadas con la escasez o ausencia de: equipo de laboratorio, materiales institucionales, ordenadores, conexión a internet, software educativo, material de biblioteca, y por último, recursos audiovisuales. A mayor valor del índice, mejor calidad de los recursos materiales del centro. PROPCERT (Proportion of fully certified teachers): es un índice que refleja la calidad de los profesores, y por tanto del capital humano del centro educativo. El mismo resulta de dividir el 17 No ha sido considerado el resultado medio en ciencias dado que aporta escasa información adicional a los resultados en lectura y matemáticas. El modelo DEA pierde capacidad de discriminación a medida que se incrementan las dimensiones del problema, y por tanto se priorizó la parsimonia del modelo seleccionando sólo dos outputs. 18 Tanto el índice ESCS como las variables que lo componen están estandarizados, con media correspondiente a los países miembros de la OCDE igual a cero y desviación estándar igual a Para mayor detalle véase OCDE (2011). 11

12 Santín González, D., Sicilia Suárez, G. LA EFICIENCIA EDUCATIVA EN URUGUAY Y SUS DETERMINANTES: UNA APLICACIÓN A PISA número total de profesores certificados (con título habilitante para la docencia) 20, por el total de profesores del centro. Esta variable es especialmente relevante para el caso de Uruguay ya que no todos los docentes cuentan con una formación homogénea para impartir las clases. Para garantizar una adecuada especificación del modelo DEA, es necesario verificar el supuesto de monotonocidad, es decir, que todos los inputs seleccionados presenten una correlación positiva y significativa con los outputs. La Tabla I presenta las correlaciones bivariadas de los outputs e inputs seleccionados donde se observa que todas ellas son estadísticamente positivas y significativas: Tabla I. Correlaciones bivariadas Outputs-Inputs. ES CS S CAMATEDU PROPCERT Maths_mean 0,826 ** 0,362 ** 0,348 ** Read_mean 0,842 ** 0,335 ** 0,353 ** ** La correlación es significativa al nivel 0,01 (bilateral). Fuente: Elaboración propia a partir de los datos de PISA Variables explicativas de la eficiencia. En cuanto a las variables explicativas de la eficiencia en la segunda etapa, se seleccionaron trece variables asociadas a los alumnos, y principalmente, al centro educativo; las cuales reflejan aspectos básicos de la gestión y organización escolar y de los procesos de enseñanza-aprendizaje llevados a cabo en las aulas: Titularidad: es uno de los focos de debate en diversos países, y no existe aún concenso acerca de su influencia sobre la eficiencia educativa. En el caso de Uruguay no existen antecendetes para contrastar con el presente trabajo, mientras que en países como España varios estudios han puesto de manifiesto la escasa influencia de la titularidad de la escuela sobre la eficiencia educativa 21. La catergoría de referencia en los modelos estimados es el centro privado. 20 Egresados del Instituto de Profesores Artigas (IPA), centro de enseñanza superior de formación docente en Uruguay. 21 Véase Perelman y Santín (2011) y Cordero et al. (2011). 12

13 METASUM: es un índice elaborado por los analistas de PISA que surge de la respuesta de los alumnos en relación a la utilidad de cinco estrategias diferentes para elaborar síntesis de textos. Las mismas han sido jerarquizadas según expertos del programa PISA de tal forma que, mayores valores del índice implican que el alumno selecciona estrategias más adecuadas, y por tanto, posee una mejor capacidad de síntesis. Es decir, el índice podría ser considerado como una aproximación de la capacidad de síntesis del alumno, y por tanto estaría asociada a los logros académicos que éste obtenga en comprensión lectora. Se espera que esta variable tenga un impacto positivo sobre la eficiencia. Curso_correcto: representa el porcentaje de alumnos evaluados en el centro que se encuentran en el curso correcto para un alumno de 15 años de edad. Esta variable es reflejo de la política de repetición del sistema educativo, y es otro de los focos de atención del debate nacional. Lectura: refleja el porcentaje de alumnos en el centro que dedican entre una y dos horas diarias a leer por placer fuera del horario lectivo. Se entiende que la lectura contribuye al proceso de aprendizaje del alumno, ya que contribuye a mejorar la ortografía, la compresión lectora y la capacidad de síntesis. Es de esperar por tanto, que la misma tenga un efecto positivo sobre la eficiencia. TEACH_stu: número de profesores por cada 100 alumnos. Muchos trabajos incluyen el tamaño del grupo como un input educativo en la primera etapa, pero, dado que aún no existe consenso acerca de cuál es el efecto real que tiene sobre el aprendizaje de los alumnos 22, se ha decidido incorporarlo como variable explicativa de la eficiencia. TCSHORT: correponde a un índice elaborado por los analistas de PISA que refleja el nivel de escacez de profesores cualificados que puede existir en el centro 23. El mismo se elabora en base a las respuestas que los directores proporcionan en cuanto a escacez de profesores de matemáticas, ciencias, lectura u otras asignaturas. A mayor valor del índice, mayor escacez de profesores. La relación esperada a priori es que a mayor escacez, menor eficiencia. 22 Para un análisis más detallado véase Hanushek (2003) y Hoxby (2000). 23 Según la OCDE se consideran profesores cualificados aquellos que poseen título profesional universitario. 13

14 Santín González, D., Sicilia Suárez, G. LA EFICIENCIA EDUCATIVA EN URUGUAY Y SUS DETERMINANTES: UNA APLICACIÓN A PISA Pruebas: es una variable dicotómica, que toma valor igual a uno cuando los alumnos son evaluados mediante pruebas, parciales o exámenes elaborados por los profesores con una frecuencia mayor a la mensual 24. Tareas: al igual que en el caso anterior, es una variable que refleja los instrumentos de evaluación y la frecuencia con que éstos se aplican. En este caso, la variable toma valor uno cuando los alumnos son evaluados con tareas domiciliarias con una frecuencia mensual. Tanto para la variable Pruebas como para Tareas se espera un efecto positivo sobre la eficiencia. Por último, se inlcuyen ciertas variables asociadas al grado de autonomía de los centros en cuanto a la distribución presupuestal y elaboración de programas académicos, políticas disciplinarias y políticas de evaluación de los alumnos. A diferencia de las variables presentadas anteriormente, en este caso no se espera a priori una relación positiva o negativa entre las variables que reflejan la autonomía y la eficiencia, dado que la evidencia empírica que surge de comparaciones internacionales, no permite extraer conclusiones genéricas para todos los sistemas educativos (OCDE 2010, Vol. IV). Presu_director: variable dicotómica que toma valor uno cuando los directores de los centros son quienes tienen la mayor responsabilidad en decidir sobre la distribución del presupuesto del centro. Presu_autoridades: variable dicotómica que toma valor uno cuando son las autoridades nacionales las mayores responsables en materia presupuestal. Curr_consejo: variable dicotómica que toma valor uno cuando el Consejo Directivo del Centro es quien tien la mayor responsabilidad en determinar el contenido de los cursos. Disc_consejo: variable dicotómica que toma valor uno cuando el Consejo Directivo del Centro es quien tiene la mayor responsabilidad en el diseño de las políticas disciplinarias para los estudiantes. 24 La categoría de referencia con la que se compara es la no utilización de pruebas para evaluar a los alumnos o bien, la utilización de las mismas con una frecuencia mensual o inferior. 14

15 Eval_autoridad: variable dicotómica que toma valor uno cuando las autoridades nacionales son quienes tiene la mayor responsabilidad en el establecimiento de las políticas de evaluación de los estudiantes. Análisis descriptivo En la Tabla II se presentan los principales estadísticos descriptivos de los outputs, inputs y variables explicativas de la eficiencia. Los resultados se presentan para todos los centros analizados, y también según titularidad. Del análisis de la tabla se desprende que existe una enorme heterogeneidad en los resultados, en especial cuando se comparan los centros públicos y privados. A priori, se puede observar que estos últimos presentan mejores resultados académicos en ambas pruebas, mayor dotación de recursos educativos y un mejor desempeño en cuanto a los factores explicativos de la eficiencia. En la mayor parte de los casos, se verifica una mayor homogeneidad entre centros privados que entre centros públicos. Por último, existen algunas discrepancias que vale la pena destacar. En primer lugar, la media de los resultados en ambas pruebas en los centros privados supera en aproximadamente 100 puntos a la observada en los centros públicos. Adicionalmente, el índice socioeconómico medio de los centros privados casi duplica al de los públicos, lo cual pone de manifiesto la desigual dotación inicial de recursos del proceso de aprendizaje que recibe cada tipo de centro. En tercer lugar, mientras que en los centros privados el 88% de los alumnos de 15 años de edad se encuentra en el curso correcto, en los centros públicos sólo el 56% lo está. Y finalmente, se observa que los centros privados disponen de mayor autonomía en tres de los cuatro elementos seleccionados (políticas de evaluación, distribución del presupuesto y políticas de disciplina). 15

16 Santín González, D., Sicilia Suárez, G. LA EFICIENCIA EDUCATIVA EN URUGUAY Y SUS DETERMINANTES: UNA APLICACIÓN A PISA Tabla II. Estadísticos descriptivos de outputs, inputs y variables explicativas de la eficiencia. Total de centros Centros privados Centros públicos Variable Descripción Mín. Máx. Media D.T. Mín. Máx. Media D.T. Mín. Máx. Media D.T. Outputs Maths_mean Resultado medio del centro en Matemáticas 268,9 554,3 424,1 58,8 393,8 554,3 489,0 40,4 268,9 507,2 400,7 45,3 Read_mean Resultado medio del centro en Lectura 266,9 560,4 421,5 63,5 369,4 560,4 494,6 39,4 266,9 505,7 395,1 48,0 Inputs ESCS Índice de status socioeconómico medio de los alumnos del centro 1,90 5,60 3,35 0,88 3,53 5,60 4,57 0,54 1,90 4,25 2,91 0,47 SCAMATEDU Índice de calidad de los recursos materiales del centro 0,001 5,32 3,51 1,04 2,42 5,32 4,23 0,86 0,00 5,32 3,25 0,98 PROPCERT Porcentaje de profesores certificados en el centro 0, ,57 0, ,65 0, ,54 0,17 Variables explicativas Titular Titularidad del centro 0 1 0,73 0, ,00 0, ,00 0,00 METASUM Índice de utilización de estrategias de síntesis 1,07 2,58 1,80 0,36 1,50 2,58 2,16 0,30 1,07 2,31 1,67 0,29 Pruebas Evaluación de los alumnos mediante pruebas de los profesores más de una vez al mes 0 1 0,14 0, ,11 0, ,14 0,35 Tareas Evaluación de los alumnos mediante tareas domiciliarias mensuales 0 1 0,17 0, ,20 0, ,15 0,36 Curso_correcto Porcentaje de alumnos que se encuentran en el curso correcto 0 1 0,65 0, ,88 0, ,56 0,25 Lectura Porcentaje de alumnos que leen por placer entre 1 y 2 horas al día fuera de clase 0 0,25 0,10 0,06 0 0,25 0,12 0,07 0 0,23 0,09 0,06 TEACH_stu Número de profesores por cada 100 alumnos 1,93 50,00 8,07 4,86 1,93 18,85 8,37 3,54 2,75 50,00 7,96 5,26 TCSHORT Índice de escacez de profesores cualificados 0,86 4,34 2,04 0,93 0,86 2,76 1,46 0,59 0,86 4,34 2,25 0,94 Curr_consejo Responsabilidad del Consejo Directivo en el contenido de los cursos 0 1 0,03 0, ,06 0, ,02 0,14 Eval_autoridades Responsabilidad de las autoridades nacionales en las políticas de evaluación 0 1 0,69 0, ,46 0, ,77 0,42 Presu_director Responsabilidad de directores en la distribución del presupuesto del Centro 0 1 0,48 0, ,31 0, ,54 0,50 Disc_consejo Responsabilidad del Consejo Directivo en las políticas de disciplina 0 1 0,30 0, ,57 0, ,21 0, ,41 0, ,00 0, ,56 0,50 Presu_autoridades Responsabilidad de las autoridades nacionales en la distribución del presupuesto Para las variables dummies, la media representa la proporción de centros en esa categoría. Fuente: Elaboración propia a partir de los datos de PISA

17 Resultados Primera etapa A continuación se presenta la distribución de los Índices de Eficiencia,, estimados a partir del modelo DEA orientado al output y con rendimientos variables a escala. Los resultados señalan que el 17% de los centros presentan un comportamiento eficiente. En promedio, los centros evaluados podrían incrementar sus resultados en un 7,5% utilizando los recursos actuales. Más aún, casi 1 de cada 10 centros podría incrementar más de un 20% sus resultados si fuera eficiente, y un 15% podría incrementarlos entre un 10% y un 20% dada la dotación inicial de inputs. Gráfico I. Distribución de Índices de Eficiencia (DEA-BBC). Centros educativos 35% 30% 25% 20% 17,4% 26,5% 31,8% Obs 132 Mean 1,075 Std. Dev. 0,075 Min 1,000 15% Max 1,309 10% 7,6% 7,6% 4,5% 4,5% 5% 0% Igual a 1 De 1 a 1.05 De 1.05 a 1.10 De 1.10 a 1.15 De 1.15 a 1.2 De 1.2 a 1.25 Mayor a 1.25 Índice de eficiencia Fuente: Elaboración propia. Si se comparan los resultados según titularidad del centro (Tabla III), puede observarse que los centros privados presentan un comportamiento medio más eficiente y más homogéneo que los centros públicos 25. Tabla III. Estadísticos descriptivos según titularidad del centro. CENTROS Obs Mean Std. Dev. Min Max Públicos 97 1,081 0,081 1,000 1,309 Privados 35 1,060 0,053 1,000 1,217 Fuente: Elaboración propia 25 Se realizó el test de comparación de medias, del cual resulta que se rechaza la igualdad para un nivel de significación del 10%. 17

18 Santín González, D., Sicilia Suárez, G. LA EFICIENCIA EDUCATIVA EN URUGUAY Y SUS DETERMINANTES: UNA APLICACIÓN A PISA Segunda etapa Una vez estimados los índices de eficiencia, se regresan los mismos sobre las variables contextuales. En la Tabla III se presentan los resultados de los modelos estimados. Del análisis comparativo se observa que existe un conjunto de variables que resultan no significativas en todas las especificaciones. Por un lado, la titularidad del centro no influye en el nivel de eficiencia del mismo; lo cual indicaría que los mejores resultados obtenidos por las escuelas privadas se asocian a una mayor dotación inicial de inputs y a un entorno socioeconómico más favorable para el aprendizaje. En segundo lugar, el hecho de que las autoridades nacionales sean las que mayor responsabilidad tienen en la distribución del presupuesto y en el diseño de las políticas de evaluación, no parece tener efectos sobre la eficiencia de los centros. En el sistema educativo uruguayo, ambas variables están estrechamente asociadas a la titularidad del centro, y por tanto es un resultado coherente con la no significación de la titularidad comentada anteriormente. Por el contrario, existe un grupo de variables asociadas a los alumnos y a las prácticas de enseñanza de los profesores que sí resultan significativas 26 y con el signo esperado en las cuatro especificaciones, lo cual aporta robustez a los resultados encontrados. En cuanto a las variables asociadas al alumno, tres son las que se identifican en este grupo. En primer lugar, el índice METASUM que es reflejo de la capacidad de síntesis del alumno, muestra un impacto positivo sobre la eficiencia. Dicha capacidad podría estar asociada a las técnicas de enseñanza adoptadas por los docentes en las aulas y por tanto, resulta ser un factor a tener en cuenta por los directores de los centros educativos (sobre todo en las etapas iniciales del proceso de aprendizaje, donde el alumno asimila las técnicas de estudio que utilizará a lo largo de su trayectoria académica). En segundo lugar, la variable que más afecta a la eficiencia de forma significativa es la lectura extracurricular. De este modo, los centros con mayor proporción de alumnos que leen entre una y dos horas diarias resultan ser más eficientes. Esta variable podría interpretarse como resultado de la motivación del alumno recibida en el hogar y su disposición hacia el aprendizaje; y de la motivación que recibe en el centro. 26 Se incluyen aquellas variables significativas a un nivel de significación de 0.10 o menor en los cuatro modelos estimados. 18

19 En este último caso, si se desea incrementar la eficiencia educativa, sería apropiado llevar a cabo acciones para incentivar a los alumnos a la lectura extracurricular. Sin embargo, hay que tener cierta precaución a la hora de interpretar este resultado, ya que las horas dedicadas a la lectura no deben sustituir a las horas necesarias para cumplir con las tareas académicas cotidianas, sino que deben ser un complemento de las mismas. En tercer lugar, presenta un efecto positivo y significativo sobre la eficiencia el porcentaje de alumnos del centro que se encuentra en el curso correcto. Este resultado, conduce a cuestionarse acerca de la conveniencia de las políticas actuales de repetición de cursos en todos los niveles del sistema educativo. Sería por tanto tal vez más adecuado, intentar en edades más tempranas, detectar a los alumnos con mayor riesgo de repetición y brindarles un apoyo adicional con el fin de evitar que efectivamente repitan el curso. En cuanto a las variables asociadas al centro educativo, el método y la frecuencia de evaluación de los alumnos parecerían influir sobre la eficiencia de forma positiva. Así, los centros donde los profesores utilizan como uno de los instrumentos de evaluación las tareas domiciliarias mensualmente, presentan una mayor eficiencia que cuando la frecuencia es menor o mayor. Por otra parte, el hecho de que sea el Consejo Directivo del centro educativo quien posee la mayor responsabilidad en determinar el contenido de los cursos muestra también un efecto negativo y significativo sobre la eficiencia. En el sistema educativo de Uruguay en la mayoría de los casos, independientemente de la titularidad del centro y del nivel educativo, son las autoridades nacionales las responsables de diseñar los programas académicos. Por tanto, el resultado hallado, indicaría que descentralizar la responsabilidad en materia curricular no parece ser una política adecuada para incrementar la eficiencia. 19

20 Santín González, D., Sicilia Suárez, G. LA EFICIENCIA EDUCATIVA EN URUGUAY Y SUS DETERMINANTES: UNA APLICACIÓN A PISA Tabla IV. Resultados de las estimaciones de los modelos aplicados en la segunda etapa. Modelo 1: Tobit convencional Modelo 2: Algoritmo #1 (Trunc) Modelo 3: Algoritmo #1 (Tobit) Modelo 4: Algoritmo #1 (MCO) Delta Coef. Std. Err. t P>t Coef. Std. Err. z P>z Coef. Std. Err. z P>z Coef. Std. Err. z P>z Titular -0,0002 0,0237-0,01 0,993 0,0028 0,0388 0,07 0,942-0,0002 0,0259-0,01 0,994 0,0034 0,0203 0,17 0,866 METAS UM -0,0537 0,0252-2,13 0,035-0,0798 0,0387-2,06 0,039-0,0537 0,0280-1,92 0,055-0,0463 0,0227-2,04 0,042 Pruebas -0,0307 0,0165-1,86 0,065-0,0409 0,0313-1,31 0,191-0,0307 0,0185-1,66 0,096-0,0288 0,0147-1,96 0,050 Tareas -0,0415 0,0157-2,65 0,009-0,0503 0,0296-1,70 0,089-0,0415 0,0169-2,45 0,014-0,0344 0,0131-2,62 0,009 Curso_correcto -0,0888 0,0347-2,56 0,012-0,1777 0,0566-3,14 0,002-0,0888 0,0383-2,32 0,020-0,0875 0,0320-2,73 0,006 Lectura -0,2745 0,1025-2,68 0,008-0,2795 0,1585-1,76 0,078-0,2745 0,1102-2,49 0,013-0,2294 0,0949-2,42 0,016 TEACH_stu -0,0020 0,0011-1,83 0,070-0,0028 0,0032-0,85 0,396-0,0020 0,0018-1,14 0,256-0,0017 0,0012-1,43 0,153 TCS HORT -0,0183 0,0086-2,14 0,034-0,0154 0,0127-1,21 0,225-0,0183 0,0091-2,02 0,043-0,0164 0,0075-2,19 0,029 Curr_consejo 0,0849 0,0281 3,02 0,003 0,0918 0,0460 1,99 0,046 0,0849 0,0351 2,42 0,016 0,0851 0,0335 2,54 0,011 Disc_consejo 0,0276 0,0149 1,86 0,066 0,0131 0,0235 0,56 0,576 0,0276 0,0162 1,71 0,088 0,0219 0,0133 1,65 0,099 Presu_director -0,0210 0,0113-1,87 0,064-0,0282 0,0200-1,41 0,158-0,0210 0,0129-1,63 0,103-0,0176 0,0103-1,71 0,087 Presu_autoridades -0,0165 0,0153-1,07 0,285-0,0384 0,0242-1,59 0,113-0,0165 0,0164-1,00 0,315-0,0159 0,0136-1,17 0,241 Eval_autoridades -0,0086 0,0165-0,52 0,602-0,0353 0,0236-1,49 0,135-0,0086 0,0181-0,48 0,633-0,0127 0,0148-0,86 0,389 Constante 1,3271 0, ,64 0,000 1,4509 0, ,62 0,000 1,3271 0, ,57 0,000 1,3073 0, ,84 0,000 0, , , , , , ,06060 Fuente: Elaboración propia a partir de los datos de PISA

21 Finalmente, existe un tercer conjunto de variables, que si bien en los cuatro modelos estimados presentan coeficientes de igual signo y magnitudes similares, su significación varía dependiendo del modelo analizado. En concreto, al estimar los coeficientes de éstas variables a través del modelo Tobit convencional, todas ellas resultan significativas; mientras que si se corrigen mediante el Algoritmo #1 propuesto por Simar y Wilson (2007) dejan de serlo. Este resultado pone de manifiesto la presencia de un sesgo significativo en los resultados cuando no se lleva a cabo ningún método bootstrap (Modelo 1). De no corregirse este sesgo, las estimaciones obtenidas podrían conducir a conclusiones erróneas a la hora de tomar medidas de política educativa. A su vez, si se comparan los resultados del modelo de Simar y Wilson (2007) (Modelo 2) con los obtenidos en los dos modelos alternativos basados en bootstrap aplicado a un modelo Tobit y a un modelo MCO (Modelo 3 y Modelo 4), la significación varía según la variable analizada. La variable TEACH_stu, profesores cada cien alumnos, resulta no significativa bajo todas las estimaciones bootstrap siendo solamente significativa en el modelo censurado convencional. Como fue mencionado en el apartado anterior, no existe evidencia concluyente en la literatura acerca del efecto del tamaño de la clase sobre la eficiencia. De este modo, políticas destinadas a incrementar el número de profesores en sí mismas no mejorarían la eficiencia del sistema educativo; lo cual adquiere gran relevancia dado que en muchos casos este es uno de los componentes centrales del debate acerca de la calidad y eficiencia de la educación uruguaya. Por el contrario, los coeficientes de las variables Pruebas, Disc_consejo y Presu_director resultan no significativos bajo el modelo de Simar y Wilson (2007), mientras que en el caso de los modelos bootstrap/tobit y bootstrap/mco son significativos al 90% de confianza, pero con un p-valor muy cercano al límite en todos los casos (lo cual pone en evidencia que tal vez éstas variables realmente no tengan efectos significativos sobre la eficiencia educativa tal y como resulta de la estimación del Algoritmo #1) Dado que el verdadero Proceso Generador de Datos es desconocido, no es posible a priori establecer qué modelo es el más adecuado. Una línea futura de investigación muy interesante sería llevar a cabo diversas simulaciones mediante experimentos Monte Carlo, para analizar qué especificación obtiene resultados más robustos. 21

22 Santín González, D., Sicilia Suárez, G. LA EFICIENCIA EDUCATIVA EN URUGUAY Y SUS DETERMINANTES: UNA APLICACIÓN A PISA Comentarios finales La presencia de ineficiencias en un sistema educativo implica que podrían incrementarse los resultados obtenidos sin necesidad de incrementar los recursos asignados al mismo, lo cual resulta ser una de las principales ambiciones de los gobiernos actuales. Uruguay no escapa a esta realidad, ya que si bien los resultados obtenidos en las prueba PISA 2009 lo ubican en una posición destacada dentro de Latinoamérica, distan mucho de la media de los países desarrollados. A su vez, en las últimas décadas las políticas educativas se han centrado en dotar de mayores recursos al sistema, pero no se han logrado mejoras significativas en los resultados académicos. Por tanto, la meta de largo plazo debería centrarse en mejorar los logros académicos y reducir las tasas de abandono, de modo de disponer en un futuro de una población con mayor y mejor nivel de estudios que garantice un crecimiento económico basado en una alta productividad del factor trabajo cualificado. Para ello, es imprescindible un sistema educativo más eficiente. El presente estudio busca medir la ineficiencia del sistema educativo uruguayo y a su vez, identificar las posibles fuentes de esta ineficiencia. Los resultados corroboran la existencia de ineficiencias en la producción educativa de los centros evaluados, los cuales podrían incrementar los resultados obtenidos en un 7,5% manteniendo la dotación de inputs actual. Este hecho pone de manifiesto que es posible incrementar la eficiencia, y por tanto los resultados educativos, si se adoptan las políticas educativas adecuadas, tanto desde el diseño de las mismas por parte de las autoridades nacionales responsables, como desde la implementación de éstas por parte de los centros. En este sentido, los resultados de la segunda etapa arrojan conclusiones interesantes desde el punto de vista de la planificación y ejecución de las políticas educativas del sistema educativo. En primer lugar, la mayor dotación de recursos per se, como es incrementar el número de profesores, no parece ser una política adecuada, ya que no muestra efectos significativos sobre la eficiencia de los centros. Tampoco resulta significativa la titularidad del centro, con lo cual es posible concluir que los mejores resultados medios obtenidos por los centros privados, responden a una mayor dotación incial de recursos (nivel socioeconómico de los alumnos, recursos educativos y profesores mejor formados), y por tanto a un entorno para el 22

23 aprendizaje más favorable. Por el contrario, si el objetivo es alcanzar un sistema más eficiente, los resultados indican que el foco de atención debería centrarse en revisar las técnicas de enseñanza, los sistemas de evaluación y las políticas de repetición; en lugar de centrar el debate y la acción en el incremento de los recursos educativos. Promover técnicas de enseñanza que mejoren la capacidad de síntesis de los alumnos, mayor apoyo en edades tempranas a los alumnos con mayor riesgo de repetición y llevar a cabo una evaluación constante a lo largo del curso académico, son algunas de las prácticas que incrementarían la eficiencia en los centros educativos. Asimismo, incentivar a los alumnos a realizar actividades que complementen el proceso de aprendizaje dentro del aula, como lo es la lectura extracurricular, contribuiría a mejorar los resultados académicos sin necedidad de inmcrementar los recursos disponibles. Referencias bibliográficas AFONSO, A.y ST. AUBYN, M. (2005). Cross-Country efficiency of secondary education provision. A semi-parametric analysis with nondiscretionary inputs. Working Paper Series Nro European Central Bank. BARRO, R. y LEE, J.W.; (1993). International Comparisons of Educational Attainment. Journal of Monetary Economics, 32(3), BANKER, R. D., CHARNES, A. y COOPER, W. W. (1984). Models for estimating technical and scale efficiencies in data envelopment analysis. Management Science, 30 (9), CALERO, J. y ESCARDÍBUL, J. O. (2007). Evaluación de servicios educativos: el rendimiento en los centros públicos y privados medido en PISA Hacienda Pública Española / Revista de Economía Pública, 183 (4), CHARNES, A., COOPER, W. W. y RHODES, E. (1981). Evaluating program and managerial efficiency: an application of data envelopment analysis to Program Follow Through. Management Science, 27, CHARNES, A., COOPER, W.W., LEWIN, A.Y. y SEIFORD, L.M. (1994). Data Envelopment Analysis: Theory, Methodology and Applications. Kluwer Academic Publishers (New York). 23