Evaluación del Programa de Rescate Lector ejecutado por AraucaníAprende.

Transcripción

1 Evaluación del Programa de Rescate Lector ejecutado por AraucaníAprende. Documento borrador. No citar. Mario Rivera Cayupi* Resumen Ejecutivo En este documento se presentan los resultados de la evaluación de implementación, resultados e impacto del Programa de Rescate Lector (en adelante PRL) ejecutado por la Fundación AraucaníAprende durante el año 2010 en las comunas de la Región de la Araucanía. El Programa permitió superar la meta predefinida tanto en la cobertura de estudiantes atendidos, como en la cantidad de palabras leídas por minuto: egresaron estudiantes sobre una meta de 2.000, que leían 101 palabras por minuto, sobre una meta de 90. Los test realizados permitieron constatar que los resultados son estadísticamente significativos, tanto por género como por etnia. Se observa, además, que los establecimientos con alumnos en el PRL aumentaron en 13 puntos el puntaje promedio en SIMCE lenguaje de 4 básico, mientras que los establecimientos sin alumnos en el PRL lo hicieron en 11 puntos. Estos datos también se observan al revisar el Programa por zona geográfica, grupo socio económico y dependencia del establecimiento. Por otro lado, el aumento del puntaje promedio SIMCE de matemáticas de 4 básico en el año 2010 para establecimientos en el PRL fue de 4 puntos, mientras que para los establecimimientos que no participaron en el PRL fue de 2 puntos. Para aislar los efectos atribuibles al Programa en el aumento del puntaje SIMCE de otras intervenciones que pudieran haberse realizado en la región durante el período de interés, se realizó un análisis de impacto estimando dobles diferencias en un marco de regresión y mediante un análisis de panel depurado con propensity score matching. Se encontraron efectos positivos y estadísticamente significativos atribuibles al PRL en los resultados de las pruebas de lenguaje y matemáticas: entre 3,5 y 4,4 puntos de aumentos en la prueba de lenguaje y entre 4,7 y 5,8 puntos en la de matemáticas, que corresponden a aumentos de entre 1,3 y 1,7% en el caso de la prueba de lenguaje y entre 1,9 y 2,4% en la de matemáticas. Palabras clave: Araucanía, Programa de Rescate Lector, evaluación, impacto. *Ingeniero Comercial, Centro de Estudios, DIPLAP. Santiago, marzo de mario.rivera@mineduc.cl

2 Índice Introducción 3 1. Antecedentes 4 2. Descripción del Programa 5 3. El grupo objetivo del Programa 6 4. Cumplimiento de metas y objetivos 7 5. Análisis de eficiencia a. Indicadores básicos 11 b. Gastos y costos relevantes 13 c. Comparabilidad del Programa con otros Programas similares Análisis de economía a. Formulación, Programación y ejecución del presupuesto 17 b. Capacidad de la gerencia para obtener recursos de otras fuentes de financiamiento 18 c. Replicabilidad del Programa Externalidades del Programa Evaluación de impacto del Programa sobre las pruebas SIMCE Conclusiones Recomendaciones Referencias 31 2

3 Introducción Este informe contiene la evaluación de implementación y resultados del Programa de Rescate Lector (en adelante PRL) ejecutado por la Fundación AraucaníAprende durante el año 2010 y enero de 2011 en 32 comunas de la región de la Araucanía y una evaluación del impacto del Programa, a nivel de establecimientos, a partir de los resultados de las pruebas SIMCE de lenguaje y matemáticas para 4 básico rendidas a fines de El marco metodológico corresponde al establecido por la Dirección de Presupuestos (DIPRES) 1 del Ministerio de Hacienda para la evaluación de Programas. Para la evaluación de implementación y resultados se efectuó una revisión y análisis de informes técnicos, administrativos y financieros y se realizaron entrevistas semi estructuradas a informantes clave del Programa 2. Se efectuó trabajo de campo en la ciudad de Temuco entre los días 17 a 19 de agosto de Para la evaluación de impacto se utilizaron los resultados de las pruebas SIMCE de lenguaje y matemáticas de 4 básico a nivel de establecimientos en 2009 y 2010 y las encuestas tomadas a los apoderados en los mismos años. 1 DIPRES, Metodología de Evaluación de Impacto, División de Control de Gestión, Santiago de Chile. 2 Se entrevistó a Silvano Nahuelhual Toledo, Director de la Escuela de Mono Paine en Temuco, uno de los establecimientos donde se ejecutó el Programa en De la Fundación AraucaníAprende se entrevistó a Carlos Dreves, Director de la Fundación y Director del Programa de Rescate Lector, a Odette Rojas, Coordinadora del Programa en 2010 y Coordinadora Provincial de Cautín Norte en 2011, a Carlos Núñez, Encargado de Administración, a un conjunto de profesores rescatistas (María Curin, Nadia Guettner, Teresa Vásquez y Óscar González). De la Secreduc fueron entrevistados Ruth Fontalba, Coordinadora Regional del Programa Rescate Lector desde fines de enero de 2011, Rudy Segura, Administrador Financiero del Departamento de Educación y las Asesoras Técnico Pedagógicas Mónica Miranda y Ana María Vega. 3

4 1. Antecedentes La región de la Araucanía ha mostrado mejoras en los resultados de las pruebas SIMCE de lenguaje y matemáticas en cuarto básico en los últimos años. En efecto, el Gráfico N 1, que muestra la evolución del puntaje SIMCE de lenguaje para alumnos de 4 básico en algunas regiones seleccionadas, indica que la región de la Araucanía, pese a haber experimentado un incremento de sus resultados educativos medidos a través del SIMCE (en 2005 ocupaba el último lugar en el país), continúa siendo una región de desempeño intermedio a nivel nacional. En el año 2010 se encontraba en el séptimo lugar entre 15 regiones, junto a la región del Biobío. Ese año el puntaje promedio mínimo regional correspondió a la región de Atacama, con 260 puntos, el máximo a la región de Los Lagos, con 275 puntos, y la región de la Araucanía se encontraba entre ambas con 270 puntos. Gráfico N 1: Evolución de puntaje SIMCE promedio de 4 básico en Lenguaje en regiones seleccionadas Los Lagos Metropolitana Araucanía Atacama Fuente: MINEDUC, resultados SIMCE varios años. Sin embargo, pese a las mejoras alcanzadas en SIMCE, las evaluaciones de lectura desarrollados en la región por la propia Fundación AraucaníAprende, mediante la aplicación de diagnósticos a los alumnos para seleccionar a los participantes, han permitido identificar y cuantificar el bajo nivel lector de los niños de primer ciclo de enseñanza básica en escuelas vulnerables de la región. Aproximadamente un 60% de los estudiantes de 4 año básico no logran las competencias de lectura mínimas y un porcentaje cercano al 10% de niños en este nivel educacional leen de forma silábica o no saben leer. Además, un 36% de los estudiantes se encuentra en el nivel inicial de lectura y esta situación no ha variado entre las mediciones de los años 2008 y Por otro lado, los niños y niñas con bajas competencias lectoras presentan, además, un efecto negativo en su autoestima, su motivación y la relación con sus pares y la escuela. Se trata de niños que intelectualmente se presentan normales, pero que se reconocen a sí mismos en una condición de desventaja respecto de sus compañeros. 4

5 Para abordar este problema la Fundación AraucaníAprende y el Ministerio de Educación convinieron en 2010 la ejecución del "Programa Piloto Rescate Lector", que tenía como objetivo mejorar el nivel lector de estudiantes de 4 año de enseñanza básica de establecimientos educacionales con una alta vulnerabilidad social de la Región de la Araucanía, los cuales deberían leer, como mínimo, 90 palabras por minuto (en adelante ppm) al egresar. La población objetivo del Programa estaba constituida por alumnos que leyeran menos de 80 ppm, de colegios con alta vulnerabilidad social (IVE - SINAE superior al 65% y con 25% o más de estudiantes en 4 año de enseñanza básica en nivel lector inicial de conformidad al SIMCE 2009). Si los establecimientos participaban del Programa lntercultural Bilingüe o estaban en zonas rurales, no se consideraba el porcentaje indicado de alumnos en 4 año de enseñanza básica. Además, y aún cuando no era un objetivo declarado del Programa en el Convenio, interesaba determinar si el PRL tendría o no un efecto positivo en los resultados de la prueba SIMCE de lenguaje rendida por los 4 básicos el año 2010, dado que justamente los niños acogidos al Programa en 2010 rendirían la prueba ese año. 2. Descripción del Programa La metodología de trabajo se iniciaba con la identificación, selección e invitación de los establecimientos a participar en el Programa. A los estudiantes de los establecimientos que aceptaban la invitación se les aplicaba un diagnóstico para determinar quiénes podían ser sujetos del Programa según el puntaje de lectura obtenido. En paralelo se establecía contacto con profesoras jubiladas 3 de las comunas donde se encontraban los establecimientos, para que asumieran el rol de profesoras rescatistas, a quienes se les ofrecieron $1.000 netos por cada palabra que los alumnos avanzaran en relación al diagnóstico inicial. Este monto se cancelaba una vez que eran medidos los logros por parte de la Fundación, bajo la supervisión de los Asesores Técnico Pedagógicos de la Secreduc. Durante la implementación del Programa Rescate Lector participaron 174 profesoras jubiladas que atendieron en promedio 5 escuelas cada una de manera secuencial (una vez concluida su labor en una escuela comenzaban la atención en otra) con un máximo de atención de dos escuelas en paralelo. Para garantizar el logro de velocidad lectora, los servicios de las rescatistas se cancelaban sólo si los niños cumplían la meta de leer más de 90 ppm, lo cual era certificado por parte del equipo evaluador dispuesto por el Ministerio. Hubo aproximadamente un 5% de casos excepcionales en que un rescatista tomó a un niño, tuvo avances importantes en relación a la meta, pero no pudo concluir el proceso por razones ajenas al trabajo del rescatista. En esos casos se le cancelaron sus servicios al profesor, aunque el niño no fue considerado como egresado del Programa. Los profesores rescatistas fueron seleccionados y capacitados para la ejecución del Programa, mientras en paralelo se generaban los materiales de trabajo. En los sectores rurales de difícil acceso o donde no se encontraron profesoras jubiladas, se contrató a profesores de las mismas escuelas. En sectores rurales cercanos a los centros urbanos de mayor tamaño (Temuco, Victoria o Padre Las Casas), se contrataron vehículos para trasladar a las profesoras jubiladas. Para la evaluación de los estudiantes, tanto diagnóstica como de egreso, se utilizaron dos instrumentos: uno desarrollado por la Fundación Nocedal 4 y la prueba de dominio 3 El 96% de los docentes que participaron en el Programa en 2010 eran mujeres, por lo cual, en lo sucesivo se habla de profesoras rescatistas o jubiladas. 4 Ver contiene los instrumentos para evaluar la velocidad lectora utilizados por los colegios de la Fundación Nocedal y contiene los fundamentos pedagógicos que justifican estas metodologías. 5

6 lector de FUNDAR 5. Éste último presenta pruebas para valorizar el Dominio Lector en alumnos de Educación Básica, parámetros referenciales por curso y las características psicométricas de los instrumentos que han sido aplicados a estudiantes chilenos. Para obtener una evaluación externa al proceso de rescate lector, durante la ejecución del Programa se contrató una psicóloga de la Universidad de la Frontera quien realizó una medición muestral de los resultados del Programa (Cf. Krauze, 2010) 6. Se realizaron, además, reuniones con la totalidad de los profesores rescatistas (en 2010 se ejecutaron dos en Cautín y dos en Malleco), con el objetivo de socializar y compartir experiencias y estrategias exitosas para mejorar la velocidad lectora de los estudiantes. Estas reuniones permitieron, además, entregar información administrativa respecto a la implementación, seguimiento y evaluación del Programa. Por otra parte, en el transcurso del año se realizaron visitas de seguimiento, grupos focales y entrevistas a los rescatistas con el fin de sistematizar la experiencia de estos, resolver dudas y apoyarles. Como resultado del proceso de acompañamiento de las rescatistas, se elaboró un informe de proceso de rescate lector. 3. El grupo objetivo del Programa En general todos los entrevistados coinciden en que se prestaron los servicios del Programa a la población predefinida en el Convenio. En efecto, en 2010 se atendieron niños de 283 establecimientos distintos de las 32 comunas de la región, los que presentan un Índice de Vulnerabilidad del Establecimiento de 85,1% promedio y comprenden una matrícula total de poco más de alumnos. De los alumnos atendidos por el Programa, eran mujeres y eran hombres y desde el punto de vista de la pertenencia o no a una etnia, 737 eran indígenas y no lo eran. El promedio simple comunal de palabras leídas por minuto al inicio del Programa era de 63 ppm y al final del Programa era de 101 ppm. La tabla siguiente resume estadísticas básicas del Programa de acuerdo a las comunas de la región. Tabla N 1: Estadísticas básicas del Programa N IVE Comuna Matrícula Estab. Promedio (%) Alumnos en PRL Alumnos indígenas Alumnos mujeres Ppm inicial Angol 6 83, Carahue 11 92, Chol Chol 5 94, Collipulli 5 79, Cunco 7 76, Curacautín 5 86, Curarrehue 4 90, Ercilla 6 92, Freire 14 80, Galvarino 8 97, Gorbea 3 79, Lautaro 19 87, Loncoche 4 81, Lonquimay 4 86, Los Sauces 2 83, Lumaco 2 85, Melipeuco 3 80, Ppm final 5 Cf. Marchant T. et al. (2004). 6 Ver más detalles en la sección 4. 6

7 Comuna N Estab. IVE Promedio (%) Matrícula Alumnos en PRL Alumnos indígenas Alumnos mujeres Ppm inicial Nueva Imperial 9 83, Padre Las Casas 35 85, Perquenco 4 85, Pitrufquén 6 70, Pucón 5 79, Purén 4 91, Renaico 5 84, Saavedra 7 92, Temuco 47 76, Teodoro Schmidt 3 89, Toltén 4 88, Traiguén 5 86, Victoria 11 87, Vilcún 14 80, Villarrica 16 84, Totales ,1 a a 101 a Fuente: Elaboración propia en base a datos del Programa y de Mineduc. a : Promedios simples Ppm final Tanto en la Fundación como en la Secreduc de la Araucanía, consideran que no hubo ni debió haber tratamiento especial por temas étnicos o de género para efectos de abordar problemas de velocidad lectora, pues siendo niños vulnerables, las características sociales y culturales de los niños y niñas, indígenas o no, serían similares. Sí se observa que la velocidad lectora es levemente inferior en los niños indígenas al inicio del Programa (ver Tabla N 3, más adelante), pero participando en el PRL rápidamente se asimilan a los niños no indígenas. Un aspecto sobre el que no hubo consenso es sobre la conveniencia de trabajar con niños de 2 básico en vez de hacerlo con niños de 4, tal como establece el nuevo Convenio. De acuerdo a la Secreduc, esto constituiría un aporte porque el impacto sería mayor, pero según las rescatistas entrevistadas, trabajar con niños de segundo básico sería más difícil porque ya no se trataría de mejorar la velocidad lectora de niños que, estando en 4 básico ya tienen nociones y experiencia en la lectura, sino de enseñar a leer. Sin embargo, las rescatistas estiman que con niños menores se demorarán mucho más que 5 semanas promedio por niño, encareciendo el servicio y tornándolo menos atractivo para ellas. 4. Cumplimiento de metas y objetivos Mediante la aplicación de un diagnóstico inicial, se efectuaron evaluaciones a estudiantes de la región, pertenecientes a establecimientos que cumplían con los requisitos del Programa 7, de los cuales leían 65 ppm ó menos en promedio. Ahora bien, en relación a la meta de estudiantes planteada, el logro del Programa fue de un 101%, lo que corresponde a estudiantes, que se alcanzó en el mes de enero de 2011, aun cuando el plazo final, de acuerdo al convenio, vencía en marzo de El promedio de lectura de los estudiantes egresados fue de 101 ppm, lo cual corresponde a 11 ppm sobre la meta propuesta inicialmente de 90. El 7 Básicamente se trata de establecimientos con alta vulnerabilidad social (IVE - SINAE superior al 65%) y con 25% o más de estudiantes en 4 año de enseñanza básica en nivel lector inicial de conformidad al SIMCE Si alguno de estos establecimientos participaba del Programa lntercultural Bilingüe o estaba en zonas rurales, no se consideró el porcentaje del 25% indicado anteriormente. 7

8 promedio general comunal de mejora en la velocidad lectora corresponde a un 53%, apreciándose incrementos significativos en comunas como Vilcún (69%), Curarrehue (71%), Ercilla (78%) y Pucón (76%). Los menores incrementos se produjeron en las comunas de Lumaco (22%), Melipeuco (34%) y Perquenco (38%), comunas que de todas maneras superaron las 94 ppm, cantidad superior a la meta del Programa. De los estudiantes acogidos al PRL durante 2010, eran mujeres y hombres. De ellos, además, 737 eran indígenas y no lo eran. El PRL registró, mediante una evaluación diagnóstica, la cantidad de palabras leídas por minuto por los alumnos antes de su ejecución. Con esa información fue posible realizar un test simple de diferencias de medias por sexo y etnia. Antes de iniciar el Programa, se observa que las mujeres leían más palabras por minuto que los hombres (Tabla N 2) y cuando se comparan indígenas versus no indígenas se encuentra que los no indígenas leían más palabras por minuto que los indígenas al inicio del Programa (Tabla N 3). En ambos casos rechazamos la hipótesis nula de que los promedios de palabras por minuto leídos por cada grupo comparado sean iguales entre sí, por lo cual las diferencias indicadas son estadísticamente significativas. Tabla N 2: test de igualdad de medias entre hombres y mujeres antes del Programa Grupo Observaciones Promedio Error estándar Desviación estándar Hombre ,90 0,476 17,08 Mujer ,78 0,484 15,67 Combinados ,19 0,342 16,52 Diferencia -2,87 0,685 Ho: Diferencia = 0 vs Ha: Diferencia 0; t = -4,1967; p-value = 0,0000 Fuente: Elaboración Propia a partir de datos del Programa. Tabla N 3: test de igualdad de medias entre indígenas y no indígenas antes del Programa Grupo Observaciones Promedio Error estándar Desviación estándar No indígena ,95 0,404 16,18 Indígena ,55 0,631 17,14 Combinados ,19 0,342 16,52 Diferencia 2,39 0,734 Ho: Diferencia = 0 vs Ha: Diferencia 0; t = 3,2574, p-value = 0,0011 Fuente: Elaboración Propia a partir de datos del Programa. De los informes revisados y de la recolección de información efectuada en terreno, se puede concluir que se entregaron los servicios planteados en el convenio y se lograron las metas establecidas en el mismo. La Tabla N 4 muestra estadísticas básicas del Programa separando a los estudiantes por género y etnia, tanto en la situación inicial como en la situación final. En todos los casos los estadísticos se estiman para los estudiantes egresados a la fecha del informe presentado por la Fundación AraucaníAprende de marzo 2011, que correspondió a alumnos. 8

9 Tabla N 4: Estadísticas básicas de los logros del Programa Sexo/etnia Estadísticas Situación inicial Situación final Cantidad de alumnos Hombre Mujer No indígena Indígena Total Promedio de palabras por minuto Mediana de palabras por minuto Desviación estándar Mínimo Máximo Cantidad de alumnos Promedio de palabras por minuto Mediana de palabras por minuto Desviación estándar Mínimo Máximo Cantidad de alumnos Promedio de palabras por minuto Mediana de palabras por minuto Desviación estándar Mínimo Máximo Cantidad de alumnos Promedio de palabras por minuto Mediana de palabras por minuto Desviación estándar Mínimo Máximo Cantidad de alumnos Promedio de palabras por minuto Mediana de palabras por minuto Desviación estándar Mínimo Máximo Fuente: Elaboración propia a partir de datos del Programa. La Tabla N 5 muestra los resultados de los test de diferencias de medias para el conjunto de estudiantes, sin distinguir por sexo o etnia, al inicio y al final del Programa. De ella se puede concluir que las medias antes y después del Programa son estadísticamente distintas, es decir, el Programa sí cumple con que los alumnos mejoran, en promedio, la capacidad de leer más palabras por minuto, al acogerse al Programa. Tabla N 5: test de igualdad de medias de todos los alumnos antes y después del Programa Ítem Observaciones Promedio Error estándar Desviación estándar Palabras por minuto inicial ,9 0,313 14,07 Palabras por minuto final ,7 0,352 15,80 Diferencia -34,76 0,402 Ho: Diferencia = 0 vs Ha: Diferencia 0; t = -86,2926; p-value = 0,0000 Fuente: Elaboración propia a partir de datos del Programa. Para cotejar los resultados de las Tablas N 2 y 3, que mostraban las diferencias por género y etnia antes del Programa, las Tablas N 6 y 7 muestran los test de diferencias de medias por género y etnia después del Programa. La Tabla N 6 muestra que los resultados en velocidad lectora entre hombres y mujeres tienen diferencias sólo con un 9

10 nivel de significancia del 10% y en el caso de los test de diferencias de medias por etnia, se diluye completamente la diferencia estadística (Tabla N 7). Es decir, tanto por género como por etnia las diferencias de velocidad lectora se volvieron casi insignificantes una vez que los alumnos egresaron del Programa. Por lo que se podría suponer que existió una disminución de las brechas por género y etnia debido a la participación de los alumnos en el Programa. Tabla N 6: test de igualdad de medias entre hombres y mujeres después del Programa Grupo Observaciones Promedio Error estándar Desviación estándar Hombre ,15 0,45 14,93 Mujer ,44 0,55 16,76 Combinados ,74 0,35 15,80 Diferencia -1,29 0,71 Ho: Diferencia = 0 vs Ha: Diferencia 0; t = -1,8304; p-value = 0,0673 Fuente: Elaboración propia a partir de datos del Programa. Tabla N 7: test de igualdad de medias entre indígenas y no indígenas después del Programa Grupo Observaciones Promedio Error estándar Desviación estándar No indígena ,55 0,40 15,15 Indígena ,19 0,70 17,25 Combinados ,74 0,35 15,80 Diferencia -0,64 0,77 Ho: Diferencia = 0 vs Ha: Diferencia 0; t = -0,833; p-value = 0,4049 Fuente: Elaboración propia a partir de datos del Programa. Para confirmar y validar los antecedentes obtenidos por el Programa, éste encargó la realización de una evaluación externa 8 ejecutada por la Universidad de la Frontera. Así, en noviembre del año 2010 se efectuó una medición a 59 estudiantes de un total de 398 egresados al 27 de septiembre de 2010 (14,8% del total de egresados). Se trabajó con un nivel de confianza del 90% y un margen de error del 10%, por lo que la muestra fue estadísticamente representativa. Se estratificó a nivel de establecimientos y se seleccionó aleatoriamente al interior de éstos. Los resultados principales evidenciaron un incremento en la fluidez lectora altamente significativo y sostenido al egreso: Medición inicial: 66 ppm. Medición egreso: 102 ppm. Medición muestreo: 100 ppm. Krause (2010) mostró, además, que aun cuando el foco del Rescate Lector estaba fundamentalmente puesto en el mejoramiento de la fluidez lectora de los estudiantes, al correlacionar esta variable con la comprensión lectora se observa una asociación estadística positiva y significativa. Esta constatación resulta positiva en la medida que el rescate lector contribuye en algún grado al mejoramiento de la comprensión lectora. Sus resultados muestran que los estudiantes evaluados en la dimensiones comprensión de lectura, producción de textos y manejo de la lengua se ubican en la categoría en desarrollo, esto significa que las fortalezas de los estudiantes eran equivalentes a sus necesidades. De acuerdo a mediciones realizadas por la Fundación, al cabo de 6 meses de avance, los resultados en velocidad lectora covariaban entre niños atendidos y no atendidos, pero la dispersión de datos era mayor en el grupo de niños rescatados a diferencia de los niños de grupos no rescatados. Es decir, en promedio los grupos covarían, pero la 8 Krause, V. (2010). Informe resultados muestreo Programa Recuperación Lectora Fundación AraucaniAprende, UFRO, Temuco. 10

11 dispersión se incrementa en el grupo de niños rescatados, lo que significa que el efecto de aprender a leer es distinto entre los distintos grupos. Después de 24 meses se empieza a ver una diferencia mayor entre los niños rescatados y no rescatados (hablamos de niños de 7 básico), donde empiezan a quedarse atrás nuevamente. Eso es consistente con los resultados del SIMCE en 8 y con los Programas remediales que ejecutan algunos liceos con sus primeros medios y en los primeros años en las universidades. Es decir, hay contextos donde sería recomendable efectuar rescates lectores cada tres o cuatro años. Sería recomendable, por tanto, evaluar la posibilidad de implementar un sistema de rescate de lectura en primero medio y/o en primer año universitario nuevamente. Respecto a la posibilidad de incorporar, en el futuro, una meta relacionada no sólo a la velocidad lectora, sino también a la comprensión lectora, en la Fundación AraucaníAprende se plantea que si bien se podría establecer una meta de velocidad y un indicador de comprensión lectora en el Programa, sería más riesgoso y más caro, porque las estrategias de las rescatistas para enseñar a leer son diversas y no es trivial incorporar innovaciones. 5. Análisis de eficiencia a. Indicadores básicos Con la información disponible en la Fundación AraucaníAprende es posible generar algunos estimadores de eficiencia del PRL, los cuales se muestran en la Tabla N 8. El PRL se aplicó en 283 establecimientos de las 32 comunas de la región. Las comunas de Temuco, Padre Las Casas, Lautaro, Freire y Vilcún, que cuentan con los establecimientos más cercanos a la capital regional, concentran al 45,5% de dichos establecimientos, mientras que las comunas de difícil acceso o más distantes de la capital regional (como Curacautín, Curarrehue, Lonquimay, Melipeuco, Lumaco, Pucón, Saavedra, Renaico y Toltén) sólo concentran al 13,7% de los establecimientos del Programa. Este fenómeno se acentúa cuando se cuantifica a los alumnos atendidos: las primeras comunas concentran el 50,2% del total de alumnos atendidos, mientras que los establecimientos de las comunas más distantes concentran al 11,9% del total de alumnos. Cuando se trata de rescatistas, encontramos que los establecimientos más cercanos fueron atendidos por el 46% del total de profesores, mientras que los establecimientos más lejanos fueron atendidos por el 12,6% de los profesores. La media simple de alumnos por establecimiento a nivel regional fue de 8,18 alumnos, siendo las comunas de Angol, Collipulli, Loncoche, Renaico y Vilcún aquellas que superaron los 10 alumnos, mientras que siete comunas presentaron, en promedio, menos de 6 alumnos por establecimiento. Al revisar la cantidad de establecimientos que cada rescatista debió atender, nos encontramos con que, en promedio, cada uno trabajó con 2 establecimientos durante el período. En Villarrica, Padre Las Casas y Perquenco, comunas de fácil acceso a la capital regional, se observa la mayor concentración de establecimientos por rescatista, mientras que en Angol, Loncoche y Traiguén se observa la menor concentración (inferior a 1), lo que indica que había, en esas comunas, una mayor cantidad de profesores rescatistas para atender a los establecimientos acogidos al Programa. Finalmente, cada rescatista debió atender, en promedio, a 19 niños durante la ejecución del Programa, observándose en las comunas de Renaico y Vilcún la mayor cantidad de niños por rescatista (60 y 42,5 respectivamente), mientras que en las comunas de Toltén y Traiguén, se observa la menor cantidad de alumnos por rescatista (menos de 5). 11

12 Tabla N 8: Indicadores básicos del Programa Comuna Establecimiento (A) Alumnos en PRL (B) Rescatistas (C) Alumnos por establ. (B/A) Establec. por rescatista (C/A) Alumnos por rescatista (B/C) Angol ,5 0,75 9,4 Carahue ,0 3,7 18,3 Chol Chol ,0 1,7 11,7 Collipulli ,4 1,0 11,4 Cunco ,0 1,8 12,3 Curacautín ,0 1,7 11,7 Curarrehue ,3 1,3 9,7 Ercilla ,3 1,2 11,2 Freire ,6 2,3 22,3 Galvarino ,5 1,6 8,8 Gorbea ,3 3,0 28,0 Lautaro ,9 1,3 16,4 Loncoche ,0 0,8 10,4 Lonquimay ,8 - - Los Sauces ,5 2,0 17,0 Lumaco ,0 2,0 16,0 Melipeuco ,7 1,5 13,0 Nueva Imperial ,3 1,8 13,2 Padre Las Casas ,9 5,0 29,6 Perquenco ,3 4,0 29,0 Pitrufquén ,8 2,0 15,7 Pucón ,0 2,5 20,0 Purén ,8 2,0 15,5 Renaico ,0 5,0 60,0 Saavedra ,3 1,2 6,2 Temuco ,9 1,0 8,5 Teodoro Schmidt ,7 1,5 11,5 Toltén ,3 1,0 4,3 Traiguén ,6 0,8 4,7 Victoria ,5 1,4 11,6 Vilcún ,1 3,5 42,5 Villarrica ,3 4,0 25,0 Totales ,18 a 2,06 a 19,07 a Fuente: Elaboración propia en base a datos del Programa. a : Promedios simples. El PRL no cuenta con registros suficientemente detallados de su ejecución financiera durante el año De hecho, desde 2011 la Fundación cuenta con un ingeniero civil industrial para llevar el registro financiero del Programa y poder rendir a la Secreduc la ejecución presupuestaria del Programa. Durante 2010 fue el propio director del proyecto quien, entre sus múltiples tareas, debía planificar, ejecutar, registrar y rendir el presupuesto mensual y anual. Sí existe una rigurosa recopilación de antecedentes que respaldan los gastos y los desembolsos realizados, los que fueron entregados a la Secreduc para su revisión y visación. La Secreduc hizo algunas observaciones de acuerdo a la normativa vigente para la rendición de cuentas de proyectos ejecutados con recursos públicos, y la Fundación efectuó las modificaciones correspondientes. La 9 En el caso de Lonquimay, los colegios del Programa fueron atendidos por profesores rescatistas de otras comunas de la región. 12

13 inexistencia de registros detallados y el hecho de que una importante cantidad de tareas fueron contratadas por objetivo (en particular las evaluaciones realizadas por alumnos egresados o en proceso de egreso), impiden construir indicadores específicos para dimensionar la eficiencia del Programa. Pese a lo anterior, del reporte financiero entregado por la Fundación se puede concluir que el 82% de los $ del Convenio se destinó a cancelar remuneraciones y honorarios, el 12% a cubrir los gastos de operación y el saldo se destinó a la compra de materiales. Del total de las remuneraciones el 45% (casi $74 mill.) se destinaron a cancelar los sueldos del personal de la Fundación y el 31% fueron destinados al pago de las rescatistas (casi $53 mill.). Los evaluadores y otros honorarios alcanzaron casi al 23% del total de las remuneraciones. Éste último ítem se explica porque durante el proceso de evaluación de los niños participaron evaluadores contratados por la Fundación y se debieron contratar, además, alumnos recién egresados, los que fueron registrados como otros honorarios. Los evaluadores no tenían contratos a honorarios, pues se trataba de profesionales externos a la Fundación a los cuales se contrató por horas y por productos específicos, en particular para la evaluación diagnóstica de los niños. Ello permitió evaluar alumnos en un mes y medio. Se debe tener presente que en la Fundación trabajan 13 personas y que actualmente ejecuta, además, otros Programas como Todos Leen en Primero, Rescate Matemático y el Baúl Lector, que se financian con otros recursos. b. Gastos y costos relevantes No se cuenta con información sistematizada que permita entender la estructura de gastos más allá del resumen en Excel que muestra los totales de manera bastante agregada (ver la Tabla N 9). La gestión financiera del 2010 es compleja de reconstruir y sólo en , en el marco del nuevo Convenio, se está trabajando más detalladamente. La estructura de gastos informada por la Fundación se construyó básicamente para efectuar la rendición y refleja los principales gastos del Programa. El transporte (Servicios de traslado) fue el ítem más difícil de gestionar debido a que la región cuenta con la red caminera más extensa del país en relación a su superficie y el Programa se ejecutó en establecimientos urbanos y rurales de prácticamente todas las comunas de la región. Las rendiciones de rescate son aquellas que no tenían relación directa con los honorarios de los profesores, sino con otros gastos tanto de los profesores como del equipo de evaluación: locomoción local, colación, fotocopias, dulces para los niños, y las rendiciones están separadas por rescatistas y el equipo de evaluaciones para labores similares. Las rendiciones del equipo se refieren a gastos similares pero del equipo de la Fundación misma. De acuerdo a la Secreduc, si bien un alto porcentaje de los gastos se destinó al funcionamiento de la Fundación (a los pagos de los honorarios de los funcionarios) y a las rescatistas, el uso de los recursos, en general, tenía que ver directamente con el proyecto, cubriendo todo lo que se preveía necesitaba el Programa; en general, los ítems presupuestarios abarcaban las distintas dimensiones por las cuales el Programa ejecutaba sus gastos relevantes. Lo anterior se sustenta, además, en la experiencia práctica de la Fundación con el PRL, que lo ejecuta hace seis años en la región, y que les ha permitido elaborar, por experiencia más que por la sistematización rigurosa de los antecedentes, un sistema de valoración de servicios específicos para cada caso. Conocen muy bien los costos de transporte para cada sector en la región, conocen los costos asociados a la (re)producción de material, etc. 13

14 Respecto a los sueldos de las rescatistas, desde hace seis años se les cancela $1.000 (netos) por cada palabra por minuto que logran leer los niños del Programa en relación al punto de partida. Si se mantiene la idea de trabajar con niños de segundo básico en vez de cuarto básico, se prevé un encarecimiento del servicio, porque las rescatistas deberán destinar más tiempo para lograr que los niños lean, salvo que se baje la meta de palabras por minuto que deben cumplir. La Fundación ejecutó todo el presupuesto disponible, debiendo cubrir, incluso, gastos que no estaban contemplados en el Convenio con el Ministerio, relacionados con los intereses de los créditos en que debió incurrir para cubrir la operación del Programa hasta que pudieron disponer de los recursos del Convenio. De acuerdo al director del Programa, se conversó con el Ministro el 31 de mayo de 2010, se firmó el Convenio en junio, pero del dinero se dispuso sólo 4 meses después. En 2011 la Fundación llegó a pedir $132 mill. en créditos bancarios contra el compromiso del Ministerio de financiar el Programa a partir en marzo. Los intereses de ese préstamo ($2,5 mill.) los cubrió la Fundación, pues el Convenio no consideraba gastos de administración ni over head institucional. A esto se debe sumar el hecho de que, por acuerdo de Convenio, si no se gastan los $400 mill. había que devolver la diferencia. De acuerdo a la opinión de la Fundación, el gasto en material de apoyo podría haberse reducido un poco y el costo de traslado de personas también. La movilización de las jubiladas originalmente era contra rendición, pero después se entendió que era mejor implementar un Convenio con un furgón o una camioneta que hiciera una ruta predeterminada, fijando una tarifa ex ante. En ese aspecto hubo un ahorro importante de recursos. La contratación de servicios externos para el traslado se aplicó a lugares donde no se podía acceder o había muy poca locomoción. Según la administración financiera del Programa, en 2010 éste fue uno de los puntos débiles de la gestión financiera, pero en la actualidad la encargada de Coordinación revisa mensualmente cada reembolso de las profesoras rescatistas, quienes tienen su hoja de ruta, suman los gastos y si un documento no puede ser rendido, de acuerdo a las normas vigentes, se elimina. Después de la experiencia de 2010, se implementó un sistema de registro o control ejecutado en línea mediante Google Docs: ellas rellenan sus planillas e ingresan los reembolsos, información que es revisada primero por las Coordinadoras y luego por el Encargado de Administración y Finanzas del Programa. Este proceso no existía el año pasado. Ahora cada cual sabe, en fechas estipuladas, las labores administrativas que les toca realizar y cuál es el proceso de revisiones. Como ya se indicó, el honorario de una profesora era de $1.000 brutos por palabra leída sobre la cantidad diagnosticada hasta el cumplimiento de la meta. Los ayudantes evaluadores (estudiantes universitarios egresados o en proceso de egreso) recibían también $1.000 por hora brutos, lo que les permitía bordear el salario mínimo para una carga de trabajo de un mes. Por otro lado, las remuneraciones de los trabajadores o profesionales de la Fundación fluctúan en un rango que va desde los $700 a $900 mil líquidos para una persona con más de 5 años de experiencia, mientras que con menos de 5 años de experiencia los sueldos alcanzan los $500 a $600 mil mensuales, salario superior al que obtendrían como educadores trabajando en un colegio con la misma experiencia. En el año un profesor rescatista generó, en promedio, entre $500 y $520 mil., trabajando con 13 niños, y teniendo un avance del orden de las 40 palabras por minuto. Hubo casos de rescatistas que en un año generaron $1,5 a $2 mill., pero la media estuvo en torno a $500 mil al año. Con los antecedentes disponibles y el registro de información existente, no es posible determinar los costos no financieros del Programa. 14

15 Tabla N 9: Rendición de cuentas 2010 (miles de pesos) Ítems presupuestarios Meses 1. Remuneraciones feb-11 ene-11 dic-10 nov-10 oct-10 sep-10 ago-10 jul-10 jun-10 may-10 abr-10 mar-10 Total Liquidaciones de sueldo equipo FFAA Honorarios rescatistas Honorarios Evaluadores Otros Honorarios Total Remuneraciones Operación Materiales de oficina Servicios de traslado Rendiciones rescate Rendiciones equipo Servicio telefónico Total Operación Materiales Fotocopias Libros Chapas Total Materiales Total anual Fuente: Fundación AraucaníAprende 15

16 En este sentido, el sistema de registro de la información financiera en 2010 fue deficiente. Fue administrado por el propio director de la Fundación, hasta que en 2011 se contrató a un ingeniero civil industrial para realizar esta tarea. Por ello el registro de la información debe mejorar, pues los ítems presupuestarios registrados son pocos y muy agregados. Por otro lado, no se aplicaron estrictamente las normas de la CGR para la rendición de cuentas. De hecho, los entrevistados no conocían la normativa de la CGR para rendición de cuentas. Según el Convenio del año 2010, la Fundación tenía que rendir cuenta por el total de gastos en marzo de 2011, pero no hubo instrucciones precisas sobre cuál era el formato de rendición de cuentas. Tampoco nadie definió los ítems, las cuentas, ni sub cuentas. Por ello, en la Fundación aplicaron criterios utilizados en las rendiciones de proyectos anteriores, de acuerdo a la lógica general de la Contraloría y el Gobierno Regional. El informe entregado en la Secreduc fue acompañado por 17 archivadores con boletas y facturas para justificar los 200 mill. Sin embargo, pasaron 3 ó 4 meses para que la Secreduc recibiera el informe y 2 meses más para la revisión. Rindieron comprobantes de gasto de curso legal: facturas, boletas, boletos, pasajes, boletas de honorarios y liquidaciones de sueldo. No usaron recibos, vales o documentos que no tuvieran valor desde la perspectiva del SII y la CGR. El PRL fue rendido de la misma forma que un proyecto anterior por $260 mill. del Gobierno Regional en 2008, pero ahora hubo cambios de los que no fueron informados, como que cada boleto debía ser firmado, lo cual, dado el avance de las rendiciones, era imposible ejecutar retroactivamente. Se acordó con la Secreduc que las personas firmaran cada hoja de rendiciones, eliminando rendiciones que no se ajustaban a las normas y procedimientos. Una visión similar se tiene desde la Secreduc. En un principio no hubo rendición de cuentas de acuerdo a las normas de la CGR, pues desde la Fundación enviaron información basada en un método práctico y no siempre ordenado; se conversó con un abogado de la Secreduc para orientar la rendición, enviando un oficio con indicaciones generales para presentarla. No se hizo entrega de un formato específico porque éste no aparece en la normativa. Además, si bien la norma sobre qué se rinde o no es una sola, la forma de presentar la información es muy variada, dependiendo del tipo de proyecto. Esto genera la necesidad de elaborar un instructivo desde el Mineduc sobre cómo rendir los recursos de los Programas financiados con recursos públicos. Pese a todo, la presentación de la información fue bien evaluada en la Secreduc, porque el contenido y la distinción por tipo de información correspondían a las características del proyecto. c. Comparabilidad del Programa con otros Programas similares Hay otras metodologías que se han utilizado en otros países para el fomento de la lectura, que usan estrategias equivalentes, pero que, a diferencia del PRL, trabajan principalmente con voluntarios, con Programas estructurados y la mayoría son aplicadas por universidades, Programas de investigación o iniciativas voluntarias de apoyo al aprendizaje escolar. El PRL decidió trabajar con profesores jubiladas, dada la experiencia que poseen en la formación y la enseñanza de la lectura, pero al mismo tiempo permitió que cada profesora aplicara su propia experiencia en los procesos de enseñanza y aprendizaje. La definición y medición de metas sencillas y concretas permitió ordenar y simplificar el trabajo de cada profesor, pero al mismo tiempo ayudó a controlarlo de manera más eficiente por parte de la Fundación. Una de las experiencias más conocidas en materia de apoyo al fomento de la capacidad lectora es el Programa SMART 10 (Start Making a Reader Today) 10 Ver 16

17 Centro de Estudios Mineduc Evaluación Programa Plan Araucanía Aprende ejecutado con voluntarios desde 1992 en Oregon (USA) y que ha permitido apoyar a estudiantes de 260 escuelas. Este modelo se basa en tutorías de 37 hrs. promedio por niño y, de acuerdo a una evaluación de impacto ejecutada por el Programa mismo, ha permitido obtener resultados favorables en relación al grupo de control en la identificación de palabras, la comprensión de palabras y textos y el mejoramiento de la velocidad lectora. Este Programa tiene un costo promedio de US$300 por niño al año (alrededor de $ en moneda nacional). El Programa de la Fundación AraucaníAprende tuvo un costo promedio de $ por niño egresado del Programa. En Chile el Servicio País en Educación ejecutó durante septiembre y noviembre de 2010 un Programa de apoyo lector mediante tutores que eran estudiantes universitarios voluntarios. Este Programa duró 3 meses y se ejecutó en 39 escuelas de las regiones Metropolitana y del Biobío, abarcando a estudiantes. La evaluación de impacto del mismo no arrojó resultados estadísticamente significativos aunque sí lo hizo en sub muestras de establecimientos 11. El tiempo promedio utilizado por el PRL fue de 5 semanas por niño (algo más de un mes) y, a diferencia del Programa del Servicio País, no se aplicó a todos los alumnos del curso, sino sólo a aquellos niños que, después de evaluados, se determinó que tenían un déficit importante en su velocidad lectora. 6. Análisis de economía a. Formulación, Programación y ejecución del presupuesto Después de seis años de ejecución del Programa se ha logrado determinar parámetros para entender y gestionar la estructura de gastos, básicamente por dos factores: por un lado la experiencia ha permitido determinar qué está correcto y qué no y, en segundo lugar, cuando se trabaja con muchos beneficiarios, las proyecciones estadísticas tienden a ser bastante certeras. Esto ha permitido determinar estándares para la producción de material, para el traslado de profesores y profesionales y para la ejecución de ciertas tareas repetitivas. El principal problema que tuvo la Fundación para ejecutar el Programa el año 2010 fue que el aporte del Ministerio (el 50% del total de los recursos) se recibió el 1 de octubre, cuando la experiencia de los años anteriores indicaba que para poder cumplir con la meta, era necesario partir la ejecución presupuestaria en marzo o abril. La Fundación debió gestionar el Programa con las donaciones y los recursos propios desde marzo hasta septiembre. El Convenio fue acordado en enero de 2010 con el Ministerio, fue afinado en mayo, se firmó en junio y recién se recibieron los recursos en octubre. El proceso administrativo, de gasto y pago, no estuvo al día en muchas cosas, porque se habían agotado los recursos. El proceso administrativo se complicó porque no se tenían los recursos suficientes; se evaluaron y diagnosticaron niños para poder llegar a los (con un 10 ó 20% de holgura). Las jubiladas eran instaladas en la medida que se iban recibiendo las donaciones de las empresas y personas, las que, además, no se recibieron simultáneamente. Las rendiciones no se efectuaron de manera rigurosa en base a normativas de la Contraloría, tal como estipulaba el Convenio, en parte porque después de su firma no hubo instrucciones específicas desde Santiago para proceder al respecto. La rendición finalmente fue un ejercicio de ensayo y error, mejorada en reuniones sostenidas entre la Fundación y la Secreduc. Hubo observaciones de ésta ante las 11 Ver más detalles en Cabezas et al. (2011). 17

18 Centro de Estudios Mineduc Evaluación Programa Plan Araucanía Aprende primeras rendiciones, las cuales fueron acogidas y permitieron finalmente obtener una rendición adecuada. Se generaron archivadores por mes y se definieron ciertos ítems o tópicos que eran extensivos para todos los meses (honorarios, sueldos, reembolsos, gastos operacionales, traslado, telefonía, etc.). Se hizo una revisión uno por uno de todos los ítems hasta que se logró la cuadratura final. En ese proceso se debieron eliminar reembolsos de gastos que no correspondía rendir, porque no tenían medios de verificación aceptables de acuerdo a la Contraloría. El aporte de los $100 mill. por parte del Ministerio fue cubierto por préstamos bancarios obtenidos por miembros del directorio de la Fundación, los que lograron conseguir tasas preferenciales, pagando cerca de $2,5 mill. en intereses. Dichos recursos debieron ser absorbidos por el Programa sin posibilidad de ser recuperados dados los términos del Convenio. La formulación del presupuesto del Programa, cuando se trabaja con niños es bastante ambigua, porque hay niños que terminan en períodos distintos. Pese a ello, la experiencia que tiene la administración del Programa permite conocer cómo se mueven las personas en el ámbito educacional: la mayor cantidad de gastos son en honorarios y su ejecución depende del tiempo requerido para evaluar y del tiempo que se demoren los profesores en egresar a los niños. En decir, en base a la experiencia anterior de seis años de trabajo, se desarrolló información administrativa y financiera que permitió determinar, por ejemplo, que antes de vacaciones baja el nivel de egresos y cuando vuelven de ellas también baja el egreso porque se pierde el hilo conductor de todo el trabajo que se había desarrollado. Estos antecedentes permitieron formular, Programar y ejecutar las actividades pese a las restricciones presupuestarias. Por ello la administración de los recursos en general fue adecuada. Desde la perspectiva de la Secreduc el procedimiento se demoró porque, si bien el proyecto se ejecutó y pagó en la región, las decisiones pasaron directamente por el nivel central. La petición de recursos se hizo cuando ya se estaba ejecutando el proyecto y aún no se había perfeccionado el contrato y su firma. Además, se requiere elaborar estándares ministeriales para la ejecución del Programa en la región, para planificar las compras y evaluarlo el año siguiente. De ese modo se puede comparar el nivel de gasto de un año a otro utilizando el Sistema de Información y Gestión Financiera del Estado (SIGFE). De hecho, la Secreduc no pudo conocer antes del inicio del Programa cómo éste formulaba, Programaba y ejecutaba su presupuesto. Ni siquiera hubo una comunicación oficial para determinar quién sería la contraparte financiera del Programa en la Secreduc. b. Capacidad de la gerencia para obtener recursos de otras fuentes de financiamiento Uno de los aspectos mejor evaluados es la capacidad de la gerencia del Programa de obtener recursos de otras fuentes de financiamiento, en particular a través de donaciones de personas, empresas e instituciones de la región. El problema es que el Programa cuenta con muchos donantes (alrededor de 40), cuyos aportes no son muy altos (en promedio $1,5 mill., llegando en algunos casos a los $10 mill.). A esos se suman los ingresos propios de la Fundación por prestar Asistencia Técnica, con lo cual logran cubrir el aporte de la Fundación al Programa. El hecho de la región sea una de las más pobres del país complica la obtención de recursos, porque obliga a la gerencia del Programa a destinar parte importante del tiempo a la obtención de las donaciones, mientras que en otras regiones, pocas empresas grandes donan cantidades sustancialmente mayores para proyectos de importancia social. El año 2010 se recibieron $87 mill. en donaciones. El resto de los $100 mill. fue aportado por la propia Fundación. 18