Informe Final Evaluación de los primeros años de Implementación del Programa de Subvención Escolar Preferencial, de la Subsecretaría de Educación Centro de Políticas Públicas Pontificia Universidad Católica de Chile Ignacio Irarrázaval Jefe de Proyecto Ricardo Paredes Asesor Metodología Cuantitativa Marjorie Murray Asesora Metodología Cualitativa Gabriel Gutiérrez Investigador Francisca Bogolasky Investigadora Cristóbal Contreras Investigador Santiago, 23 de marzo de 2012
Índice Introducción... 3 1 Descripción Ley SEP... 4 1.1 Implementación de la SEP... 5 1.2 Cifras respecto de la SEP... 6 2 Conceptualización de los conceptos y variables a medir y analizar... 7 1. Resultados de instalación... 7 2. Resultados intermedios:... 7 3. Evaluación de procesos:... 9 4. Resultados finales:... 10 5. Resultados no planificados... 10 3 Diseño Metodológico... 11 3.1 Tipo de Diseño:... 11 3.2 Metodología Cuantitativa... 12 3.3 Metodología Cualitativa... 21 4 Resultados... 29 4.1 Resultados de Instalación... 29 4.1.1 Eximición de cobros de mensualidad... 29 4.1.2 Aceptación de estudiantes sin considerar rendimiento... 30 4.1.3 Retención de estudiantes sin considerar rendimiento... 31 4.1.4 Información a la comunidad escolar acerca del proyecto educativo y reglamento... 32 4.1.5 Información a padres y apoderados acerca del convenio SEP y participación de la comunidad escolar en la elaboración del Plan de Mejoramiento... 32 4.1.6 Informe de rendición de recursos a la comunidad escolar... 33 4.1.7 Funcionamiento Consejo Escolar... 33 4.2 Resultados Intermedios... 34 4.2.1 Gestión Curricular... 34 4.2.2 Liderazgo Escolar... 46 4.2.3 Convivencia Escolar... 49 4.2.4 Gestión de Recursos... 57 4.3 Evaluación de Procesos... 62 4.3.1 Asistencia Técnica... 62 4.3.2 Utilización de recursos... 72 4.3.3 Facilitadores y dificultades de implementación SEP... 81 4.4 Resultados Finales... 85 4.4.1 Rendimiento y Aprendizajes... 85 4.4.2 Permanencia de Estudiantes... 94 4.4.5 Brechas de aprendizaje entre prioritarios y no prioritarios... 98 4.5 Resultados No Planificados... 101 5 Análisis Planes de Mejoramiento... 105 6 Conclusiones... 112 6.1 Esquema Resumen Resultados... 112 6.2 Conclusiones y Recomendaciones... 116 6.2.1 Conclusiones... 116 6.2.2 Recomendaciones... 121 Anexos... 124 2
Introducción El siguiente informe presenta los principales resultados obtenidos luego de la realización del estudio Evaluación de los primeros años del Programa de Subvención Escolar Preferencial, de la Subsecretaría de Educación, requerido por la Dirección de Presupuestos del Ministerio de Hacienda. La presente investigación da cuenta de los principales resultados y procesos que los distintos establecimientos y actores educacionales han experimentado producto de la implementación de la Subvención Escolar Preferencial en sus respectivas escuelas. Esto, en el marco de los siguientes objetivos planteados por el mandante: Objetivo General Analizar en profundidad en especial desde la perspectiva de los actores- los resultados de la SEP y sus procesos asociados, en los establecimientos que participan de esta política. Objetivos específicos Identificar y describir los resultados de instalación, intermedios, finales y no planificados, producto de la incorporación de los establecimientos en la SEP, así como las razones para el logro de estos resultados. Describir y explicar los procesos asociados a estos resultados de instalación, intermedios, finales y no planificados. Elaborar recomendaciones para el logro de los cambios deseados a través de la SEP. Expone, a su vez, los fundamentos metodológicos tanto cuantitativos como cualitativos sobre los cuales se basó de manera que fuese posible recoger las percepciones y perspectivas que los distintos actores educativos tienen acerca de su experiencia luego de puesto en marcha el programa, además de poder reconstruir el proceso que enfrenta el establecimiento como organización al tener que cumplir los requisitos impuestos por la SEP. Ahora, en consideración de los objetivos del estudio, se ha elaborado un informe que presenta en la primera sección una breve descripción de la Ley SEP, de manera de contextualizar los principales resultados que posteriormente se muestran. En la segunda, se expone la conceptualización de los conceptos y variables que se midieron durante el estudio. En la tercera, se presenta el diseño metodológico, abordando la esfera cualitativa y cuantitativa. En la cuarta, se exploran todos los resultados obtenidos. Así, se revisan los resultados de instalación, los resultados intermedios, los procesos involucrados, los resultados finales, los principales facilitadores y obstaculizadores que presenta la SEP y los resultados no planificados de la política. En la quinta sección se presenta un análisis de los planes de mejoramiento de dos comunas de la Región Metropolitana, que aborda, principalmente, cuestiones acerca del instrumento mismo y la manera en la cual éste es completado por los distintos establecimientos. Por último, se presentan las principales conclusiones y recomendaciones para el mejoramiento de la política en términos de hacer más plausibles los cambios que persigue la Ley SEP en la calidad y equidad de la educación. 3
1 Descripción Ley SEP La Ley N 20.248 de la Subvención Escolar Preferencial (SEP), promulgada el 2 de febrero del 2008, se crea teniendo como fundamento la necesidad de mejorar la calidad y equidad de la educación subvencionada del país. La novedad de esta subvención es que entrega recursos no solo por la prestación de servicio educativo, tanto a establecimientos municipales como particulares subvencionados, sino también por el establecimiento de metas de logro en términos de puntaje SIMCE, suscritas en un convenio entre el Ministerio de Educación (MINEDUC) y el sostenedor, a cumplir por la aplicación de un plan de mejora definido y gestionado en forma autónoma. 1 El propósito fundamental de la Ley es contribuir a la equidad social, promover la igualdad de oportunidades y mejorar la calidad de la educación chilena. Específicamente, la SEP busca asignar más recursos por subvención a cada uno/a de los/as estudiantes más vulnerables de cada establecimiento educacional subvencionado, contra la ejecución de proyectos de mejora educativa. Ello, bajo el reconocimiento de que los costos de la educación aumentan en la medida que el grado de vulnerabilidad socioeconómica de los/as estudiantes se hace mayor. Adicionalmente, se entregan recursos a los establecimientos que tengan una concentración de estudiantes prioritarios superior al 15%. Además, la SEP busca lograr el compromiso de la comunidad educativa 2 del establecimiento con el mejoramiento de la educación. Para ello, se firma un Convenio de Igualdad de Oportunidades y Excelencia Educativa entre el MINEDUC y el sostenedor del establecimiento, que compromete a éste último en la consecución de mejoras en el aprendizaje y en el cumplimiento de ciertas condiciones. El Convenio describe los compromisos que adquiere el sostenedor/a para con los/as estudiantes, en especial con los/as más vulnerables, de tipo institucional y pedagógico, y los compromisos de brindar información a la familia y a las autoridades ministeriales. Además, tiene la responsabilidad final por el diseño, implementación y cumplimiento de un Plan de Mejoramiento Educativo (PM) a mediano plazo. Según ello, debe velar por el progreso de la calidad educativa de los establecimientos de su dependencia, y asegurar mayores y mejores condiciones educacionales para los/as estudiantes más vulnerables y el establecimiento en general. Por su parte, el MINEDUC debe fijar los criterios de clasificación de las escuelas y de los/as alumnos/as como prioritarios/as, supervisar los Convenios suscritos con los sostenedores, entregar apoyo para la formulación de los PM, controlar el registro público de organismos de Asistencia Técnico-Educativa (ATE) que brindan asesoría a los establecimientos, aprobar los PM elaborados por las escuelas emergentes y en recuperación, revisar los mismos y hacer recomendaciones a las escuelas autónomas. Además, debe determinar los instrumentos y maneras de verificar el cumplimiento de los compromisos contraídos, establecer estándares nacionales y criterios específicos para la calificación de resultados educativos, supervisar el uso de los recursos, las acciones y el nivel de cumplimiento de las metas comprometidas, supervisar y asesorar 1 MINEDUC, Anexo 1 Resumen Ley de Subvención Escolar Preferencial, pág. 2. Extraído de http://www.planesdemejoramiento.cl/s_documentos_sep.asp 2 Como lo establece la Ley General de Educación, N 20.370, la comunidad educativa es una agrupación de personas que, inspiradas en un propósito común, integran una institución educativa. Ese objetivo común es contribuir a la formación y el logro de aprendizajes de todos los alumnos que son miembros de ésta, propendiendo a asegurar su pleno desarrollo espiritual, ético, moral, afectivo, intelectual, artístico y físico. El propósito compartido de la comunidad se expresa en la adhesión al proyecto educativo del establecimiento y a sus reglas de convivencia establecidas en el reglamento interno ( ) Está integrada por alumnos, alumnas, padres, madres y apoderados, profesionales de la educación, asistentes de la educación, equipos docentes directivos y sostenedores educacionales. 4
pedagógicamente a las escuelas emergentes y en recuperación mediante su propia asesoría técnica o mediante otras entidades ATE. Por último, debe determinar la forma y periodicidad en que los sostenedores deben informar a la comunidad escolar respecto del cumplimiento de los compromisos adquiridos y revisar la clasificación de las escuelas cada cuatro años. Para asegurar el cumplimiento de los compromisos adquiridos por parte del sostenedor, la Ley establece ciertas sanciones que permiten multar a los establecimientos quitándoles una porción de la subvención extra recibida, privar total o parcial, temporal o definitivamente de la SEP al establecimiento, revocar el reconocimiento oficial, y dictaminar la inhabilidad temporal o perpetua del sostenedor para mantener o participar de cualquier forma en la administración de establecimientos educacionales subvencionados. 1.1 Implementación de la SEP Para que los establecimientos educacionales puedan implementar la SEP, deben recorrer tres fases. En la primera, los establecimientos reciben información general acerca de los aspectos más relevantes de la Ley, es decir, objetivos, condiciones, funcionamiento y las fases para su implementación, además de la cantidad de estudiantes prioritarios con los que cuentan y si han sido clasificados como escuelas Autónomas, Emergentes o En Recuperación. 3 En la segunda fase, una vez que el sostenedor cuenta con la información acerca de la concentración de estudiantes prioritarios por escuela y de la clasificación de éstas, decide con cuál/es de ella/s va a participar, mediante la presentación de una postulación en el sitio web. Dicha postulación se realiza durante el mes de agosto de cada año, iniciándose la ejecución a inicios de cada año. Una vez aceptada la postulación, se genera el Convenio de Igualdad de Oportunidades y Excelencia Educativa que debe ser firmado por el SEREMI de Educación y el sostenedor. Luego de ello, se emite una resolución que da curso al pago de la Subvención Escolar Preferencial. La tercera fase, corresponde a la elaboración e implementación de un Plan de Mejoramiento definido por el establecimiento, que se proyecta al cumplimiento, en el plazo de cuatro años, de ciertas metas de acción. Para la construcción del Plan, la escuela y su sostenedor, cuentan con un año de plazo máximo. El Plan debe ser formulado en conjunto con la comunidad escolar, es decir, docentes, madres, padres y apoderados. Como aporte a dicho proceso, la escuela puede contratar una Asistencia Técnica Educativa, tanto para el proceso de formulación de la planificación como para la ejecución de ésta. El Plan debe dar cuenta de los compromisos adquiridos a través del Convenio de Igualdad de Oportunidades y Excelencia Educativa, al establecer metas de aprendizaje y acciones a desarrollar, indicando los recursos asociados a ellas. Debe cumplir los siguientes requisitos generales: Fijar metas de efectividad en el rendimiento académico de los estudiantes que deben lograrse en el transcurso de la ejecución del Plan (4 años), en especial de los/as alumnos/as con bajo rendimiento. Contemplar acciones desde el Primer Nivel de Transición (NT1) hasta octavo básico. Considerar acciones en las áreas de gestión curricular, liderazgo escolar, convivencia escolar y/o gestión de recursos. Involucrar a toda la comunidad escolar en su elaboración e informar especialmente a madres, padres y apoderados. Según la clasificación de la escuela, los requisitos del Plan, son distintos: Para una escuela autónoma: 3 http://www.planesdemejoramiento.cl/documentos/sep/resumen_ley_subvencion.pdf 5
o El sostenedor debe cumplir con todas las obligaciones contenidas en el Convenio, en especial, la retención de estudiantes prioritarios y el cumplimiento de los logros académicos de sus estudiantes. o El Plan definido por una escuela autónoma solo debe ser presentado al MINEDUC, y no requiere de su aprobación, solamente requiere ser recibida por el MINEDUC. Para una escuela emergente, el sostenedor, además de cumplir con las obligaciones del Convenio, debe velar porque el Plan de Mejoramiento incorpore acciones que mejoren el operar de la escuela en cuatro ámbitos claves: gestión curricular, liderazgo escolar, convivencia escolar y gestión de recursos, referidas a: o Un diagnóstico de la situación inicial del establecimiento, que incluya una evaluación de los recursos humanos, técnicos y materiales con los que cuenta. o Un conjunto de metas de resultados educativos a ser logrados durante la ejecución del Plan. o La coordinación y articulación de acciones con las instituciones y redes de servicios sociales competentes para detectar, derivar y tratar problemas psicológicos, sociales y necesidades educativas especiales de las/os alumnas/os prioritarias/os. o Actividades docentes complementarias a los procesos de enseñanza y aprendizaje de las y los alumnos prioritarios, para mejorar su rendimiento escolar. El Plan de Mejoramiento Educativo de este tipo de escuela debe ser aprobado por el Ministerio de Educación. Al término del Convenio, el Ministerio de Educación evaluará los Planes de Mejoramiento Educativo, el avance en las metas de resultados educativos y si corresponde, modificará la clasificación de las escuelas a una determinada categoría en función de los criterios que establece la Ley y su reglamento. 1.2 Cifras respecto de la SEP Hasta mayo del presente año, se habían incorporado a la SEP, 7.511 establecimientos educacionales. El total de escuelas incorporadas representa al 84% del universo de establecimientos que cumple las condiciones de elegibilidad 4. Es relevante destacar que los establecimientos municipales fueron los que se adhirieron con más frecuencia, en un primer momento, a la Ley SEP. En este sentido, durante el primer año, 2008, ingresaron 6,612 establecimientos, de los cuales el 74,5% fueron establecimientos Municipales, versus 25,5% Particulares Subvencionados. Dicha incorporación considera que más de 700 mil estudiantes prioritarios, entre NT1 y 7 básico 5, han sido identificados según los criterios definidos por la SEP. La identificación, realizada por la Junta Nacional de Auxilio Escolar y Becas (JUNAEB), define que un estudiante será clasificado como prioritario si: i. Pertenece a Chile Solidario ii. Se encuentra en el tercil más vulnerable según la Ficha de Protección Social (FPS). iii. iv. Pertenece al Tramo A del Fondo Nacional de Salud (FONASA). Su hogar tiene bajos ingresos familiares, baja escolaridad de la madre, ruralidad o pobreza comunal. 4 Fuente: Guía Ayuda MINEDUC / Subvención Escolar Preferencial, Mayo de 2011. Por elegibilidad se entiende que tendrán derecho a la subvención escolar preferencial los establecimientos educacionales regidos por el decreto con fuerza de ley Nº 2, de 1998, del Ministerio de Educación, o Ley de Subvenciones, que impartan enseñanza regular diurna, cuyo sostenedor haya suscrito el Convenio de Igualdad de Oportunidades y Excelencia Educativa (http://www.leychile.cl/navegar?idnorma=269001&buscar=ley+20248) 5 La incorporación de los octavos básicos se realizará a partir del año 2012 6
2 Conceptualización de los conceptos y variables a medir y analizar 6 A continuación, se definen los conceptos, dimensiones, sub-dimensiones y variables que se utilizarán para recoger información primaria y secundaria, mediante los diversos instrumentos cuantitativos y cualitativos. Debido a que el objetivo del estudio dice relación con realizar un análisis de los resultados y los procesos asociados a la implementación de la SEP en el establecimiento, los principales conceptos asociados a la medición, son los siguientes: 1. Resultados de instalación: Según la clasificación propuesta por DIPRES 7 (2005), estos corresponden a los primeros resultados que un programa debe generar, es decir, al efecto más inmediato que tiene la producción de sus componentes sobre la población beneficiaria ( ) La calidad de los bienes y servicios entregados por el programa también puede considerarse como un resultado a nivel de producto 8 o instalación. Para los propósitos de este estudio, los resultados de instalación, específicamente, corresponden al cumplimiento de los compromisos adquiridos por el sostenedor mediante la firma del Convenio de Igualdad de Oportunidades y Excelencia Educativa, y a las Consecuencias del Proceso de Instalación. a. En primer lugar, los resultados de instalación con respecto al cumplimiento de los compromisos adquiridos por parte del Sostenedor, corresponden a: 1. La eximición de los estudiantes prioritarios de cobros que condicionen su postulación, ingreso o permanencia en el establecimiento. 2. La aceptación de alumnos que postulen entre NT1 y 6 básico sin considerar rendimiento académico pasado o potencial. 3. La retención de estudiantes de estos niveles sin que su rendimiento afecte su permanencia en el establecimiento. 4. Informar a los postulantes acerca del proyecto educativo y su reglamento. 5. Entregar información a los padres y apoderados del establecimiento sobre convenio SEP. 6. Presentar, anualmente, a la comunidad un informe sobre los recursos SEP percibidos y rinde cuenta por su uso. 7. Acreditar el funcionamiento efectivo del Consejo Escolar. Éste corresponde a una instancia de participación inter-estamental conformada por, al menos, representantes del sostenedor, directivos, docentes, estudiantes y apoderados. 2. Resultados intermedios: También definidos por DIPRES, corresponden a los cambios obtenidos en un determinado espacio de tiempo- en el comportamiento o actitud de los beneficiarios, una vez que reciben los bienes y servicios provistos por el programa 9. De acuerdo a esta clasificación, los resultados intermedios que debiesen producirse a causa de la intervención de la Subvención Escolar Preferencial, se dan en cuatro ámbitos: 1. La gestión curricular, que corresponde a un área de la gestión escolar referida al fortalecimiento del proyecto educativo, al mejoramiento de las prácticas pedagógicas, apoyo a los alumnos con necesidades educativas especiales, 6 La operacionalización de las diferentes dimensiones de estudio puede encontrarse en los anexos 7 DIPRES (2005), Ministerio de Hacienda. Metodología Evaluación de Impacto. 8 Ibíd. 9 Ibíd. 7
mejoramiento de los sistemas de evaluación de los alumnos, modificación del tamaño de cursos o contar con profesores ayudantes, apoyos a alumnos rezagados en sus aprendizajes y desarrollo personal, giras y visitas a lugares funcionales al cumplimiento de los objetivos educativos 10, entre otras. Comprende: a. El cambio en la práctica de organización curricular, que da cuenta de las capacidades del establecimiento para producir: i. Cambios en la práctica de calendarización anual, es decir, cambio en la definición y comunicación de un calendario que organice las actividades del año escolar. ii. Cambios en la práctica de confección de un plan de estudios, es iii. decir, la existencia y calidad de uno. Cambios en la práctica de la planificación anual y fijación de un horario escolar, es decir, la existencia y calidad de una planificación anual de los procesos de aprendizaje de los alumnos. b. Cambio en la planificación de la enseñanza, que da cuenta de las capacidades institucionales para desarrollar: i. Cambios en el proceso de planificación de clases, que mide la existencia y calidad de una planificación de las clases por los mismos docentes, y la disposición de espacios y tiempo para que puedan realizarse estas planificaciones; ii. iii. Cambios en el proceso de planificación de las evaluaciones, que mide la calidad de las evaluaciones y el monitoreo que se realice de los aprendizajes de los estudiantes; Cambios en los métodos de enseñanza y recursos pedagógicos, que miden la metodología y estrategias utilizadas por los docentes para enseñar, de acuerdo a la realidad del establecimiento y la efectividad de éstas. c. Cambio en las acciones docente en el aula, que dan cuenta de las capacidades del establecimiento para generar: i. Cambios en la capacidad de generar un ambiente adecuado para el aprendizaje, de respeto y comunicación, con límites claros, horarios estrictos o flexibles dependiendo del caso-, y un lugar limpio y con recursos materiales necesarios y adecuados; ii. iii. Cambios en la capacidad para propiciar una enseñanza que garantice el aprendizaje de todos los estudiantes; Cambios en la práctica de acompañamiento a la labor docente por parte de la dirección-, al observar, monitorear y retroalimentarla acerca de su desempeño en clases. d. Cambio en el desarrollo de una evaluación de la implementación curricular, que da cuenta de las capacidades del establecimiento para realizar un análisis de sus resultados y definir estrategias remediales. 2. El liderazgo escolar, definido como los cambios en la labor de los directores y equipos de gestión hacia un foco en lo académico y en los aprendizajes esperados y la generación de una cultura escolar de altas expectativas en lo académico 11. El liderazgo escolar, se orienta a la instalación de: 10 Ley N 20.248, de Subvención Escolar Preferencial 11 MINEDUC, Estado del Arte Núcleo Comunidad Educativa (borrador). Pág. 33 8
a. Una cultura de altas expectativas, que indica el esfuerzo de la dirección del establecimiento por plantear metas para toda la comunidad educativa, difundirlas e incentivar a la comunidad a cumplirlas y superarlas. b. Una dirección con foco en lo académico, es decir, que se esfuerza en brindar el tiempo y los espacios necesarios para realizar una adecuada planificación, crear estrategias y monitorear el trabajo enfocado en lo académico. 3. La convivencia escolar, definida como la vida en común de los integrantes de la escuela en torno a esta organización ( ). Se refiere, por un lado, a las conductas individuales y colectivas de los miembros de un centro educativo, y por otro lado, a la elaboración subjetiva individual y colectiva que los miembros hacen de esta experiencia 12. En particular, la convivencia escolar se observará a través del: a. Clima escolar, es decir, a la generación por parte del establecimiento de estrategias que hagan de éste un lugar cómodo, acogedor y, al mismo tiempo, estimulante para los estudiantes y el resto de la comunidad, incorporando la existencia de normas, actividades y espacios de interacción, además de un ambiente de tolerancia, respeto, solidaridad, ciudadanía y vida democrática. b. Compromiso de los apoderados, es decir, la acción de la escuela por integrar a los padres y apoderados, y el esfuerzo de los mismos por involucrarse en la educación de sus hijos. 4. La gestión de recursos, se refiere al potenciamiento del uso eficiente de los recursos humanos, tecnológicos y materiales que contribuyen a mejorar los procesos educativos 13, e incluye las siguientes variables: a. Recursos directivos, es decir, si la dirección dispone del tiempo suficiente y establece planes que permitan hacer eficiente la dirección del establecimiento, a la vez que promueve una política de formación continua y poniendo a disposición asistencia técnica cuando se requiere. b. Competencias docentes, que da cuenta de si los docentes cuentan con los conocimientos relacionados con el establecimiento, los contenidos de enseñanza y el uso de tecnologías de la información y comunicación y otros materiales para realizar una clase de buena calidad. 3. Evaluación de procesos: Busca dar cuenta de la descripción y evaluación de los procesos asociados a la implementación de la SEP, en particular de: 1. Los resultados en relación a las Consecuencias del Proceso de Instalación, que corresponden a aquellas consecuencias en la sala de clases, producto del cumplimiento de los compromisos del convenio. En este sentido, las consecuencias del proceso de instalación corresponden a las consecuencias en el aula y percepciones de los actores respecto de la aceptación de todos los estudiantes sin considerar su rendimiento y de la retención de los alumnos con bajo rendimiento. 2. El desempeño de la asistencia técnica (ATE) del MINEDUC y externa, definida como un servicio de apoyo o asesoría técnica externa, específica y transitoria, que debe responder a una necesidad detectada por la comunidad educativa, enmarcado en la lógica del mejoramiento continuo y sustentabilidad 14, que busca evaluar: 12 Ibíd. 13 Ibíd. 14 Ibíd. Pág. 32 9
a. La percepción del establecimiento acerca de la necesidad de contar con asistencia técnica para cualquiera de las fases de implementación SEP; b. La percepción acerca de la disponibilidad de asistencia técnica; c. La percepción acerca de la calidad y pertinencia de la asistencia provista. En este análisis, la calidad es entendida como una asistencia capaz de trabajar de manera efectiva con los establecimientos, logrando los objetivos planteados. La pertinencia, en cambio, es entendida como la capacidad de las ATE/MINEDUC para realizar un trabajo sustentable en el tiempo, instalando capacidades y realizando un trabajo en que se refleje el conocimiento de la realidad educacional 3. La manera en la cual han sido utilizados de los recursos recibidos por SEP, es decir: a. Una caracterización y cuantificación de los tipos de gastos realizados; b. Problemas relacionados con la utilización y rendición de los recursos recibidos por SEP. 4. Facilitadores y dificultades presentadas en la implementación de la SEP a. Requisitos de la Ley SEP que fueron dificultosos de desarrollar/implementar. b. Etapas de la Ley SEP que fueron sencillas de implementar 4. Resultados finales: Como señala DIPRES, corresponden a los resultados obtenidos acorde a los propósitos o fines del programa. Su condición de final da cuenta de un mejoramiento significativo y, en algunos casos, perdurable o sustentable en el tiempo, en alguna de las condiciones o características de la población objetivo que se plantearon como esenciales en la definición del problema que dio origen al programa. Suelen expresarse como un beneficio de mediano y largo plazo obtenido por la población atendida. En particular, para este estudio los resultados finales corresponderán a la percepción de los actores relevantes respecto de la posibilidad que la SEP: 1. Mejore el rendimiento y los aprendizajes de los alumnos, especialmente de los prioritarios. Específicamente, corresponde al cumplimiento de las metas de efectividad de rendimiento académico, concordadas con el Ministerio de Educación y medidas por la prueba SIMCE, y al mejoramiento del rendimiento y aprendizaje en los subsectores claves de aprendizaje. 2. Incentivar y aumentar la permanencia de los alumnos, especialmente los prioritarios, en el establecimiento. 3. Disminuya las brechas de aprendizaje entre alumnos prioritarios y no prioritarios. Esto se medirá a través de la percepción con respecto a la posibilidad de disminución de la diferencia entre los resultados académicos de alumnos prioritarios y no prioritarios. 5. Resultados no planificados: Se refiere a resultados que no se contempló se pudiesen obtener producto de la implementación de la SEP, en términos de: 1. Un posible cambio de estrategia de los sostenedores en relación a la matrícula de estudiantes prioritarios 2. Un posible cambio en la percepción y actitud de los actores de la comunidad educativa hacia los estudiantes prioritarios respecto de los no prioritarios. 3. Si la implementación de la SEP se ha articulado con otras iniciativas de mejoramiento. 4. Producción de otros cambios no planificados en la política del establecimiento. 10
3 Diseño Metodológico 3.1 Tipo de Diseño: Mixto El estudio se desarrolló mediante un tipo de metodología mixta: Cuantitativa y Cualitativa, a través de encuestas, entrevistas en profundidad, grupos focales, revisión de documentos y revisión bases de datos secundarias. Según Hernández y Fernández (2006), el enfoque mixto es un proceso que recolecta, analiza y vincula datos cuantitativos y cualitativos en un mismo estudio o una serie de investigaciones para responder a un planteamiento del problema. El enfoque mixto plantea varias ventajas, entre las cuales se encuentran (Hernández y Fernández, 2006), lograr una perspectiva más precisa del fenómeno y el hecho que la multiplicidad de observaciones produce datos más ricos y variados. Universo Dado el objetivo principal del estudio, el cual es analizar los resultados de la implementación de la Subvención Escolar Preferencial en los establecimientos desde la perspectiva de los actores, la unidad de análisis o universo se compuso por los establecimientos educacionales chilenos de administración municipal y particular-subvencionada en que era razonable esperar resultados intermedios o finales de la política, es decir, donde se han superado ciertas barreras de implementación (asociadas principalmente a procedimientos legales y administrativos). De esta forma, se definió como elegibles a aquellos establecimientos que cumplían las siguientes características: - Mantenían vigente (a mayo de 2011) el convenio de Igualdad de oportunidades y Excelencia Educativa suscrito con MINEDUC en el marco de la política. - Contaban, a mayo de 2011, con un Plan de Mejoramiento aprobado (en el caso de los establecimientos educativos calificados como Emergentes ). - Habían presentado un Plan de Mejoramiento a MINEDUC (en el caso de los establecimientos educativos calificados como Autónomos ). - Contaban a Mayo de 2011 con, al menos, un año de ejecución efectiva de plan de mejora SEP 15. - Comenzaron la ejecución de recursos SEP para financiar las acciones consideradas en su Plan de Mejoramiento. Es decir, se excluyó a los establecimientos que sólo hubieran ejecutado recursos SEP para elaboración de diagnósticos institucionales. - No habían redestinado parte de sus recursos SEP a la construcción o reparación de infraestructura por efecto del terremoto de Febrero de 2010. - Estaban localizados en las regiones Metropolitana y del Biobío. Marco Muestral El marco muestral del presente estudio consideró sólo aquellos establecimientos sobre los cuales se podría esperar resultados intermedios o finales asociados a la política. Así, el marco muestral 15 Dado que la información disponible en MINEDUC presentaba inconsistencias entre los datos de fecha de firma de convenio, presentación de planes de mejoramiento y aprobación de planes de mejoramiento, se optó por incluir como parte de este estudio sólo aquellos establecimientos que, según los registros, firmaron convenios durante el año 2008. De esta forma, se garantiza que tengan al menos un año de implementación de la política. 11
está contenido en la base de datos entregadas por DIPRES como parte de esta evaluación: maestro_escuelas_sep.xls, y contiene 1979 establecimientos. 3.2 Metodología Cuantitativa Unidad de Observación Las unidades de observación primarias, para la aplicación de la metodología cuantitativa, correspondieron a tres actores de la comunidad escolar asociada a cada establecimiento del universo del estudio, es decir, a: - Directores/Jefes de UTP - Docentes Por otra parte, también se utilizó información extraída de unidades de observación de carácter secundario, tales como: - Base de Datos de rendimiento, asistencia y matrícula - Base de Datos de Rendiciones de recursos SEP - Bases de Antecedentes de diagnósticos (Dominio de Comprensión Lectora) - Bases de Datos de Resumen de Planes de Mejoramiento (Reportes de acciones por área y Reportes de Monitoreo) - Bases de antecedentes generales sistema SEP (Clasificación establecimiento, fechas firmas convenios, etc.) Tipo de Muestreo Se desarrolló un muestreo probabilístico con asignación proporcional a estratos. El procedimiento de generación de estratos supuso la conformación de subgrupos homogéneos en función a los criterios que orientan la investigación. Cada uno de estos estratos equivalía, en este caso, a una tipología de establecimiento educativo. Así, las variables elegidas para la definición de los estratos correspondieron a factores que daban cuenta de diferentes niveles de complejidad en un establecimiento educativo, por lo que la política (SEP) podría estar afectándolos o ser percibida de diferente manera entre los establecimientos de los distintos estratos. Así, se consideraron las siguientes variables: - Clasificación SEP: Clasificación recibida por los establecimientos que forman parte de la política en virtud a sus resultados (fundamentalmente académicos). Estos pueden ser Autónomos o Emergentes 16. - Ciclos de enseñanza: Clasificación elaborada en base a los antecedentes de matrícula publicados por MINEDUC, año 2010. Se clasificó a aquellos establecimientos que incluyen los tres ciclos de enseñanza (párvulos, básica y media) como de alta complejidad. Aquellos que incluyen una combinación de algunos de los ciclos o solo un ciclo fueron catalogados como de baja complejidad. - Concentración de alumnos prioritarios: Medida que clasifica a los establecimientos en dos categorías: Baja concentración o Alta concentración. Todos aquellos establecimientos que presentan una concentración de alumnos prioritarios menor al 65,87% de su matrícula han sido definidos como de Baja concentración, mientras que los que presentan este indicador sobre tal cifra han sido 16 Hasta el momento no hay establecimientos educacionales que hayan sido clasificados como En Recuperación. 12
considerados de Alta concentración. La cifra elegida, corresponde a la mediana para esta variable en los establecimientos contenidos en el marco muestral. Región: Regiones incluidas en el estudio, es decir, del Biobío y Metropolitana. - Tipo de Dependencia: Clasificación que define el tipo de sostenedor con que cuenta cada establecimiento. Para el presente estudio se ha decidido utilizar tres categorías: Corporación Municipal, Dirección de Administración y Educación Municipal (DAEM) y Particular-Subvencionado. De acuerdo a las variables descritas, se originaron 40 estratos, en los cuales se distribuyeron los 1979 establecimientos que conforman el marco muestral. El detalle de esta clasificación se aprecia en la siguiente tabla: Tabla N 1 Distribución de frecuencias para establecimientos en la población objetivo Clasificación SEP de Establecimiento Concentración Autónomo Alta Baja Total Autónomo Emergente Alta Baja Alumnos Niveles de Alta Baja Alta Baja Alta Baja Alta Baja Total Emergente Total General Enseñanza BIO-BIO 7 61 22 82 172 24 659 22 168 873 1045 DAEM 2 54 6 57 119 15 586 7 131 739 858 PS 5 7 16 25 53 9 73 15 37 134 187 Región 1 14 44 98 157 20 203 117 437 777 934 Metropolitana Corporación 1 9 5 44 59 8 92 35 151 286 345 Municipal DAEM 0 4 3 25 32 8 66 15 107 196 228 PS 0 1 36 29 66 4 45 67 179 295 361 Total General 8 75 66 180 329 44 862 139 605 1650 1979 Esto, en términos porcentuales se expresa como: Tabla N 2 Distribución de porcentajes para establecimientos en la población objetivo Clasificación SEP de Establecimiento Autónomo Total Emergente Alta Baja Autónomo Alta Baja Total Emergente Total General Concentración Alumnos Niveles de Alta Baja Alta Baja Alta Baja Alta Baja Enseñanza BIO-BIO 0,4 3,1 1,1 4,1 8,7 1,2 33,3 1,1 8,5 44,1 52,8 DAEM 0,1 2,7 0,3 2,9 6 0,8 29,6 0,4 6,6 37,3 43.4 PS 0,3 0,4 0,8 1,3 2,7 0,5 3,7 0,8 1,9 6,8 9,4 Región 0,1 0,7 2,2 5 7,9 1 10,3 5,9 22,1 39,3 47,2 Metropolitana Corporación 0,1 0,5 0,3 2,2 3 0,4 4,6 1,8 7,6 14,5 17,4 Municipal DAEM 0 0,2 0,2 1,3 1,6 0,4 3,3 0,8 5,4 9,9 11,5 PS 0 0,1 1,8 1,5 3,3 0,2 2,3 3,4 9 14,9 18,2 Total General 0,4 3,8 3,3 9,1 16,6 2,2 43,6 7 30,6 83,4 100 13
Se consideraron adicionalmente algunas variables para el ordenamiento de la base de datos, de modo de dar cuenta de otras características que pudieran resultar relevantes: - Zona Geográfica: Corresponde a la clasificación de los establecimientos en función de su localización. Para esto, se utilizan las categorías Urbano y Rural. - Nivel de Gastos SEP: Corresponde al nivel de rendición de los recursos entregados por el programa que han realizado los establecimientos durante los años 2008 y 2009, expresados en un porcentaje de rendición respecto del total de recursos entregados. Selección de la muestra Para la elección de las unidades (establecimientos educacionales), se utilizó un procedimiento aleatorio sistemático. Este mecanismo, se basa en la definición de un intervalo de selección a partir del coeficiente de elevación (N/n). Adicionalmente, se define un número de arranque (necesariamente inferior al coeficiente de elevación) que es seleccionado aleatoriamente. El procedimiento descrito se utilizó para la selección de establecimientos de cada uno de los estratos. Para este proceso, se usó el software estadístico STATA. Esta información, está sistematizada en los do files para que sea posteriormente replicada. Tamaño de la Muestra Como se ha mencionado, la muestra para las encuestas que se aplicó en la fase cuantitativa se construyó en función de los 1979 establecimientos educacionales que implementan la política, incluidos en el marco muestral. De ellos, se eligió la muestra bajo un procedimiento sistemático. Así, en cada uno de los establecimientos que resultó seleccionado se entrevistó a un miembro del equipo directivo (director/a o jefe/a de la Unidad Técnico-Pedagógica UTP-) y a un profesor. Dado que no existen antecedentes de encuestas similares, se optó por un diseño conservador. De esta forma, se decidió mantener un error máximo admisible relativamente bajo (5%). Así, se garantizó que las inferencias realizadas a partir de los resultados sean sólidas y lo suficientemente confiables como para considerarlas en eventuales ajustes en la política. El nivel de confianza se estableció en un 95%. Finalmente, dado que no se contaba con una encuesta similar que permitiera una mejor estimación, se optó por asumir un supuesto de varianza máxima (50%). Si bien esta decisión provoca un aumento en el número de casos seleccionados en la muestra, en un escenario de incertidumbre esto es preferible a equivocar el nivel de varianza esperado. En consideración a los parámetros mencionados, la muestra quedó establecida por 322 casos (establecimientos educativos). La composición de la muestra se distribuyó de la siguiente manera: 14
Tabla N 3 Muestra de indagación cuantitativa 17 Clasificación SEP de Establecimiento Autónomo Total Emergente Alta Baja Autónomo Alta Baja Total Emergente Concentración Alumnos Niveles de Alta Baja Alta Baja Alta Baja Alta Baja Enseñanza BIO-BIO 1 10 4 13 28 5 106 4 26 141 169 DAEM 0 9 1 9 19 3 94 1 20 118 137 PS 1 1 3 4 9 2 12 3 6 23 32 Región 0 3 8 16 27 3 33 20 70 126 153 Metropolitana Corporación 0 2 1 7 10 1 15 6 25 47 57 Municipal DAEM 0 1 1 4 6 1 11 3 17 32 38 PS 0 0 6 5 11 1 7 11 28 47 58 Total General 1 13 12 29 55 8 139 24 96 267 322 Total General La muestra seleccionada, por lo tanto, es representativa del total de establecimientos que cumplen las características definidas para participar de este estudio en las regiones Metropolitana y del Biobío (pero no de cada uno de los estratos descritos). De acuerdo a esto, se aplicó un total de 644 encuestas, correspondiendo 322 a miembros de equipos directivos y 322 a profesores. Selección Actores Cabe mencionar que, de acuerdo a los objetivos del estudio, se estimó pertinente recolectar datos provenientes tanto de integrantes del equipo directivo (director/a o jefe/a de UTP) como de profesores que estuvieran trabajando en el establecimiento desde antes que se comenzara a implementar la Subvención Escolar Preferencial. Esto, ya que resultaba necesario que fueran capaces de establecer comparaciones respecto de la situación del establecimiento antes y después de la adhesión a esta política. A la vez, se esperaba que ellos pudieran dimensionar los efectos de la implementación de la SEP sobre la comunidad escolar. Por dicho motivo, se definió que en los casos en que un director ocupara ese cargo con posterioridad al año 2007, se reemplazaría el establecimiento. En la elección de integrantes de equipo directivo al cual aplicar la encuesta, se priorizó el contacto formal con el director del establecimiento educativo seleccionado. Sin embargo, en aquellos casos en que el director del establecimiento declaró explícitamente que quien mejor conocía la aplicación de la política en el establecimiento educativo era otro integrante del equipo directivo, se optó por encuestar y entrevistar a dicha persona. En la elección de docentes, en tanto, se definió una segunda etapa de aleatorización, de modo de evitar sesgos asociados a determinadas características correlacionadas a los diferentes tipos de profesores y/o educadores. Así, para la selección de profesores se consideró: - Tiempo de permanencia en el establecimiento: Sólo eran elegibles docentes que hubieran estado trabajando en el establecimiento desde, al menos, un año antes de la 17 Dado el uso de decimales en el cálculo de la proporción de la muestra que se debe asignar a cada estrato, se ha debido proceder a ciertos ajustes para que la muestra final corresponde a 322 casos. 15
firma del Convenio de Igualdad de Oportunidades (es decir, el año 2007). Esto garantizaba que el encuestado tuviera suficientes antecedentes para dar cuenta de los eventuales cambios que había experimentado el establecimiento a partir de la implementación de SEP. - Ciclo de Enseñanza: Sólo eran elegibles profesores/educadores que se desempeñaban entre los niveles NT1 y Sexto Básico - Subsector/Nivel en el que enseñan: De modo de garantizar que los profesores/educadores encuestados tuvieran suficiente información acerca de los efectos de la implementación de la política, se priorizó a aquellos que enseñaban en las áreas que usualmente están más relacionados a planes de mejoramiento en términos académicos. De esta forma, se seleccionó sólo a profesores jefes/educadores en los cursos inferiores (desde NT1 a Cuarto Básico). En los cursos quinto y sexto, se seleccionó a quienes enseñaban las asignaturas de cuatro subsectores: Matemáticas, Lenguaje, Comprensión del Medio Natural y Comprensión del Medio social. Para la selección de profesores se procedió a conformar un nuevo marco, en base a los 322 establecimientos seleccionados inicialmente. De acuerdo a los diferentes niveles de enseñanza que cada establecimiento presentaba, se eligió aleatoriamente el/la profesor/a a encuestar. Procedimiento de Reemplazo Entre los establecimientos considerados en la muestra, se estableció que podrían ser remplazados aquellos casos en que: - Existieran errores en los datos de contacto contenidos en el marco y no se lograra obtener información correcta del establecimiento. - Se completará 10 intentos de contacto telefónico sin obtener respuesta (distribuido en una semana), ya sea por números ocupados como imposibilidad de contactar al director del establecimiento. - En aquellos casos en que los entrevistados no se encontraran en el establecimiento en la fecha acordada para la aplicación de la encuesta. - En aquellas ocasiones en que se debió reemplazar un establecimiento, se seleccionó al siguiente establecimiento que correspondiera bajo el procedimiento sistemático en el marco muestral correspondiente al estrato. De esta forma, el procedimiento podía repetirse cuantas veces fuera necesario hasta agotar las posibilidades que ofrecía el marco muestral. La selección del nuevo establecimiento estaba sujeta al patrón coeficiente de elevación que se definió para cada estrato, contando desde el caso que se deseaba reemplazar. Asimismo, se estableció como criterio de reemplazo de los docentes de cada uno de los establecimientos seleccionados a partir del marco muestral, en los casos en que: - El docente seleccionado se encontrara ausente del establecimiento en el periodo de aplicación de terreno de este estudio (pre y post natal, licencia médica, otros). - En aquellas ocasiones en que se debió reemplazar un docente, se seleccionó un nuevo docente en base a una planilla de asignaciones previamente diseñada. Los procesos de selección de casos (establecimientos y docentes) y su reemplazo se describen con mayor detalle en la sección de anexos de este informe. 16
Instrumentos de Recolección de Datos 1. Encuesta La encuesta constituye una estrategia de investigación basada en las declaraciones verbales de una población concreta. Corresponde a la aplicación de un procedimiento estandarizado para recabar información (oral o escrita) de una muestra amplia de sujetos. Sus resultados mejoran cuando en su realización han intervenido otras estrategias, ya sea en fases precedentes o en fases posteriores a su desarrollo 18. La indagación cuantitativa considera la recolección de datos provenientes de dos de las unidades de observación contempladas, es decir, directores o jefes/as de UTP y docentes. La selección de ellas, obedece a la importancia que revisten como los actores que en mayor medida han debido gestionar tanto los establecimientos durante los primeros años de implementación de la Subvención Escolar Preferencial como los aspectos particulares del programa, respectivamente. Mientras el director tiene la mirada sobre los procesos de cambio y es quién cotidianamente ha visto los efectos de la nueva política sobre la comunidad escolar, los docentes son quienes experimentan más directamente las intervenciones que impone el programa mediante sus distintas líneas de trabajo. Se esperaba que las encuestas desarrolladas pudiesen captar información relevante acerca de las percepciones de los actores respecto de algunas de las dimensiones de la política. Para estos efectos, se diseñaron cuestionarios que mezclaban preguntas cerradas y abiertas que fueron aplicados de manera presencial. a. Pre-Test La aplicación del pre-test de los instrumentos cuantitativos se realizó entre los días martes 26 julio y lunes 1 de agosto de 2011. Como se estableció en el documento de Propuesta Metodológica, se decidió pre-testear los instrumentos con una muestra de 10 establecimientos de la Región Metropolitana. En cada uno de estos establecimientos se aplicaron dos instrumentos: Cuestionario Director y Cuestionario Docente. De esta manera, se consideró en este proceso un total de 20 cuestionarios. La aplicación del Pre-Test fue relevante para descubrir elementos que aparecían como complejos en los instrumentos. El tema más recurrente fue su extensión, que se consideró demasiado larga. Luego de la aplicación del Pre-Test, se hicieron los cambios pertinentes a los instrumentos 19. b. Aplicación Encuestas El proceso de levantamiento de datos se realizó entre el jueves 11 de agosto y el jueves 6 de octubre. La duración de esta fase fue superior a la originalmente propuesta, por cuanto existió una serie de dificultades no previstas inicialmente que retrasaron algunas de las aplicaciones. Dado que estos problemas escapaban al control del equipo investigador, se optó por extender en tres semanas el periodo de recolección de datos con el fin de alcanzar la muestra comprometida. La aplicación de cada uno de los cuestionarios se realizó de manera presencial, y tuvo una duración estimada de 50 minutos. 18 Ibíd. Pág. 239-240 19 La descripción general de este proceso puede verse en el Anexo, sección Pre-Test. El detalle de la aplicación y resultados del pre-test está disponible en el segundo Informe generado como este proceso de Evaluación: Informe de Avance SEP 17
Para la aplicación de los instrumentos se contó con el trabajo de una serie de encuestadores de Ekhos consultores 20. Esta empresa trabaja conjuntamente con el Centro de Políticas Públicas UC en el levantamiento de datos de diversos estudios. Así se contaba con capacidad logística adicional. La participación de esta institución estuvo permanentemente supervisada por un profesional del Centro de Políticas Públicas UC. Como parte de la aplicación de encuestas se contó con 15 encuestadores. Todos ellos contaban con experiencia previa en aplicación de instrumentos tales como encuestas de opinión y formularios de registro. Cada uno de ellos fue capacitado por los profesionales del Centro de Políticas Públicas. En este espacio se entregó información acerca de la Ley de Subvención Escolar Preferencial, su estado de implementación, focalización, objetivos y metodología. Asimismo, en el espacio de capacitación se revisó cada uno de los instrumentos que se aplicaría y se ensayó su utilización. Es importante destacar que se incluyó un número relativamente bajo de aplicadores en consideración a mantener el menor nivel de variabilidad posible en la aplicación de los instrumentos. Así, cada aplicador realizó, en promedio, 43 encuestas. c. Proceso Aplicación El estudio, finalmente, consideró la realización de 650 encuestas a Directores y Docentes de 325 establecimientos, de acuerdo al siguiente detalle 21 : Tabla N 4 Establecimientos N Región Metropolitana 152 Región del Bío-Bío 173 TOTAL 325 Tal como se estableció en el Diseño Metodológico, se construyeron 40 estratos. Estos, referían a diferentes categorizaciones de establecimientos, en conformidad a una serie de características que podía ser importante controlar para explicar los resultados de SEP. Así, se realizó una asignación proporcional a estratos. Es importante señalar que algunos estratos debieron modificarse, puesto que una vez desarrollados los contactos, no existían suficientes establecimientos que cumplieran los todos los requisitos de inclusión y aceptaran participar del estudio como en el diseño original. Así, tres de los estratos definidos tuvieron un establecimiento menos de lo originalmente planificado y otros tres sumaron un establecimiento adicional. Este ajuste, sin embargo, no afecta de ninguna manera la representatividad de la muestra y tiene un efecto muy limitado sobre la proporcionalidad de los estratos. Para efectos de la estructuración del terreno, se siguieron las directrices establecidas en el diseño metodológico respecto de procedimientos de remplazo: - Selección de reemplazos con sujeción estricta al orden entregado por cada estrato, y - Realización de 10 llamados antes de pasar el caso a reemplazo - Cumplimiento de criterios de participación en los proyectos SEP 22 20 Ekhos es una consultora de comunicación y estudios de opinión nacida en el año 2000. A partir de ese momento su trabajo se ha caracterizado por su profesionalismo e innovación en metodologías de medición de opinión pública. 21 Se encuestó a 325 establecimientos, pues una vez que se había concluido con los 322 casos, hubo 3 establecimientos pendientes que aceptaron participar. Se decidió aplicar las encuestas de todas formas. Sin embargo, luego del ajuste de entrevistas, la cifra se estableció en 322 casos. 22 Los Directores deben tener una antigüedad mayor a 4 años (antes del 2007) o haber sido antes Jefe de UTP o profesor y haber participado en el proyecto SEP 18
- En caso que el Director no cumpla con los requisitos, el establecimiento fue descartado. - La selección del profesor a encuestar, era definida de acuerdo a los procedimientos descritos en el Diseño Metodológico. Así, en los casos en que el profesor presentaba alguno de los criterios de exclusión definido (antigüedad, licencia, etc.) se reemplazaba bajo procedimiento aleatorio sistemático Cabe señalar que al actuar la encuesta de Directores como filtro para la encuesta de docentes, no se realizó ninguna encuesta a docente sin haber antes encuestado al Director del establecimiento. Se contactó 1.136 establecimientos para un total de 4.670 llamados realizados. La planificación original del terreno suponía la siguiente gradualidad: Tabla N 5 Fecha Agosto Septiembre 8-12 15-19 22-26 29-02 05-09 12-16 Total Agendados 38 74 110 110 38 370 Realizados 33 64 96 96 33 322 Reagendados 10 19 28 28 10 95 Llamados 133 259 385 385 133 1295 (*): Considera realización de encuestas por establecimiento (322 establecimientos). Conforme el desarrollo del trabajo de terreno se amplió la duración de la etapa de terreno, siendo su resultado final: Tabla N 6 Fecha Agosto Septiembre Oct. Sin Total 8-12 15-19 22-26 29-02 05-09 12-16 20-23 26-30 3-6 registro Docentes 2 13 42 33 42 28 50 71 34 10 325 Directores 2 17 35 39 41 29 47 70 36 9 325 (*): Considera realización de encuestas por tipo de encuestado (Directores y Docentes). De los 322 establecimientos originalmente definidos como muestra existió una tasa de reemplazo importante en función de los criterios descrito en el Diseño Metodológico. De los 322 establecimientos originalmente asignados, sólo se incluyó en el estudio a 39 establecimientos en el estudio, es decir, se procedió a utilizar 283 establecimientos de remplazo. Las razones para tan baja cifra se explican en la siguiente tabla: Tabla N 7 RAZÓN DE REMPLAZO N No contesta teléfono/buzón de Voz 180 Director no cumple con antigüedad Mínima 39 Escuela Unidocente 16 Problemas de acceso (Clima y ruralidad extrema) 12 Director con Licencia Médica 11 Director no accede a desarrollar el estudio 11 Director suspende entrevista y no se logra reagendamiento 8 Datos de establecimiento no corresponden 3 Establecimiento cerrados o en toma 2 Establecimiento en séptima región 1 TOTAL 283 19
Es importante señalar que en todos los casos en que el fono de contacto no contestaba, sonaba reiteradamente ocupado o derivaba a buzón de voz, se intentó obtener el contacto mediante otras fuentes administrativas. Con todo, el remplazo por esta razón, no supone un problema mayor, puesto que el procedimiento establecido fue de carácter sistemático, es decir, se conservó el principio de igual probabilidad de elección de cada uno de los casos. Se realizó una supervisión telefónica al 10% de la muestra efectiva (36 casos), los cuales fueron seleccionados mediante un proceso aleatorio, no detectándose diferencias significativas en las respuestas; asimismo, no se detectaron casos en los cuales no se había realizado la encuesta. Para efectos de la digitación de las bases de datos, se utilizó la plataforma GANDHIA/CATI, la cual permite minimizar el error de ingreso, al poder el digitador leer las preguntas. Asimismo, se procedió a la codificación de las respuestas abiertas de forma de facilitar su ingreso y análisis. Para efectos de la revisión de base de datos, se realizaron las siguientes acciones: - Revisión completa de las preguntas abiertas. - Selección aleatoria de 20 encuestas, en procesos sucesivos de 10 cada vez, no detectándose diferencias significativas en las respuestas. - Revisión de frecuencias para detectar casos anómalos se revisó la encuesta en físico para comparar con los datos ingresados y/o se realizaba llamada de corroboración de respuestas. - Revisión cruzada de bases de datos: terminado el proceso de revisión por parte de los profesionales, se procedió a intercambiar las bases de datos para efectuar una última revisión de cada base. 2. Uso de fuentes documentales y estadísticas El uso de fuentes documentales y estadísticas constituye una estrategia básica de investigación, ya que, tanto antes del diseño de la investigación como durante el proceso de recopilación de información, permite realizar una indagación exhaustiva sobre el tema concreto del estudio y el área de conocimiento específica donde ésta se ubica. En particular, el uso de fuentes documentales y estadísticas considera la revisión de fuentes secundarias, especialmente bases de datos y registros que consignan información asociada a resultados de los establecimientos y de los procesos de implementación de la Subvención Escolar Preferencial. Como parte de esta investigación, se recolectó y procesó información cuantitativa a partir de las fuentes secundarias disponibles. Esta información se utilizó, principalmente, para dos fines. El primero de ellos es contextualizar el avance de implementación de la política. El segundo, en tanto, es contrastar algunas de las informaciones que entreguen los diferentes actores tanto en la recolección con instrumentos cuantitativos como cualitativos. Plan de Análisis El plan de análisis de los resultados, consideró ocho etapas, de las cuales se aplicaron las que eran necesarias. Los procedimientos se aplicaron mayoritariamente en STATA 10.0, siendo algunos también aplicados en SPSS. 1. Caracterización de la muestra a. Análisis de frecuencias y cruces de variables sociodemográficas. 2. Frecuencias de todas las variables a. Análisis de frecuencias absolutas y relativas (porcentajes) b. Análisis de frecuencias univariadas (detección de errores, valores fuera de rango) y bivariadas. 20