Indicadores para la generación de conocimiento acerca de la evaluación de la calidad de las instituciones educativas

Transcripción

1 Indicadores para la generación de conocimiento acerca de la evaluación de la calidad de las instituciones educativas Por Antonio Millán Arellano Nov 25 de 2006 Resumen El uso de indicadores es cada día más frecuente en el seguimiento de programas y proyectos que están comprendidos en el marco de una planeación estratégica. Este seguimiento está relacionado con el compromiso de dar cuentas sobre la efectividad de las acciones que una organización esté llevando a cabo. Seguimiento de programas y proyectos, efectividad de acciones y rendición de cuentas no son temas que se discutan con frecuencia en educación. Por ello, no es extraño que el tema de indicadores no se haya analizado con mayor profundidad dentro del medio educativo. Sin embargo, en los tiempos actuales en donde la escasez de recursos y la rendición de cuentas son temas de importancia creciente, es necesario dedicarle un poco de atención porque los recursos se están condicionando a resultados, y el marco legal está cambiando para exigir una mayor transparencia en la gestión educativa. El marco de la calidad educativa es un estupendo espacio para hablar de la importancia del uso de indicadores para determinar si las acciones que se están llevando a cabo están mejorando la calidad educativa o no. La importancia de que los indicadores nos permitan determinar si existe mejora en la calidad educativa, desde mi punto de vista, es que nos quita presión respecto a quién tiene el modelo ideal de calidad en educación y nos posiciona en el debate de si las estrategias pedagógicas, administrativas, disciplinarias, etc. están mejorando la calidad de la educación, o no, basado en el modelo de calidad educativa que tenga la institución. Esta ponencia estará enfocada no sólo a proporcionar un conocimiento de los indicadores, su generación metodológica y taxonómica, sino a señalar cómo los indicadores deberán de generar conocimiento en un contexto determinado o su valor será muy limitado. También se analizará el valor de un conjunto de indicadores en el contexto de

2 un sistema de información que permita generar conocimiento valioso para evaluar la calidad de una institución educativa. Introducción Existe abundante literatura sobre indicadores en el ámbito de la administración, sobre todo con modelos que han tenido mucho éxito en grandes empresas, tal es el caso del modelo Balance Scorecard que genera tableros típicamente llamados de control. Inclusive algunos gobiernos, Latinoamericanos, como el de Colombia, han tratado de implementar dicho modelo con resultados todavía desconocidos. Sin embargo, en la educación el tema de indicadores se ha abordado muy poco, probablemente, debido a la poca transparencia que estamos acostumbrados a demandar los ciudadanos, alumnos, padres, docentes, etc. de la administración de nuestras instituciones educativas o quizá a la falta de conocimiento de los entes a los que los educadores y administradores de la educación les deben responsabilidad y no se sabe qué derechos tienen así como tampoco qué cuentas se deben exigir. Estoy convencido de que los modelos de calidad, correctamente implementados en las instituciones educativas, demandarán en forma natural, como parte de su concepción misma, información que podría ser generada por indicadores sólidamente desarrollados que ayuden a crear conocimiento acerca de la misma institución. Este conocimiento podría ser el punto de partida para establecer planes de mejora en los distintos ámbitos de las partes responsables: Administración educativa, personal docente, alumnos, padres, autoridades educativas del sector público, programas académicos, etc. Qué es un indicador? Un indicador es un instrumento de medición de algo que me interesa saber en qué estado se encuentra. Por ejemplo, cuando quiero conocer la temperatura del cuerpo utilizo un instrumento llamado termómetro el cuál después de un par de minutos me proporciona un dato: La temperatura del

3 cuerpo. Ese dato que arroja el instrumento es una relación de un conjunto de variables que se combinan de forma ordenada desde una perspectiva científica basada en principios de la física. El material seleccionado para hacer el termómetro se estandariza para que bajo ciertas condiciones de temperatura dadas le correspondan ciertas características y a partir de ellas se pueda decir que cuando las características se presenten en dicho material una vez sometido a cierto calor le corresponda una temperatura determinada. Sin embargo, nuestro tema no es de Física, sino de indicadores en el ámbito de la educación, pero la analogía nos puede ser útil para comprender un concepto ordinario que con frecuencia es malinterpretado. En el contexto del presente artículo un indicador es una relación matemática de variables correspondientes a un contexto o dominio dado y asociado a un tema de interés cuyo resultado es una medición, un dato. Así por ejemplo, supongamos que nos interesa saber algo sobre el tema de deserción escolar universitaria. Un posible dato de interés sería qué proporción de los jóvenes que ingresan en el ciclo X a la universidad M continúan estudiando en la misma al final del ciclo X. O posiblemente nos interesara saber cuántos de esos jóvenes que iniciaron en el ciclo X inician en el ciclo X+1. O también sería probable que nos interesara saber cuántos de los jóvenes que iniciaron en el ciclo X terminan su carrera en los años en que haya estado programada, típicamente sería en el ciclo X+4. En fin, podríamos pensar en más datos que pensemos estarían relacionados con el tema deserción escolar universitaria, pero es suficiente con estos para el presente propósito. Ahora vamos a identificar las variables que surgieron en la situación planteada en el párrafo anterior. Vamos a llamar a1 al total de alumnos que ingresaron en el ciclo X. a2 al número de estudiantes que aún continuaban estudiando al final del ciclo X. a3 a los alumnos del grupo A1 que se inscribieron al inicio del ciclo X+1 y finalmente a4 a los estudiantes del grupo A1 que terminaron su carrera después de cuatro años. De esta manera la proporción de estudiantes que terminaron el ciclo X estaría dada por IND1=a2/a1, la proporción de estudiantes que inician el ciclo X+1 estaría

4 dada por IND2=a3/a1. Finalmente, para conocer la proporción de los que terminaron su carrera bastaría la relación IND3=a4/a1. A cada una de esta relación matemática de variables le llamaríamos indicador. Y obsérvese que los tres indicadores generados (IND1, IND2, IND3) están formados por la relación de dos variables que a su vez tienen importancia con el tema deserción escolar universitaria. Cada uno de los tres indicadores arroja información diferente acerca del fenómeno deserción escolar universitaria. Entre los tres me permite tener un conocimiento mayor acerca de la deserción escolar universitaria. Cómo se genera un indicador? Como vimos en el tema anterior, el proceso de generación de un indicador es sencillo. Lo más importante es generar la relación de variables pertinentes para obtener la información deseada así como la generación de conocimiento. Sin pretender poseer el único proceso para generar un indicador se presenta el siguiente orden de ideas para su elaboración: 1. Primero identificamos el dominio o tema de relevancia estratégica para el interesado. (Identificación del Dominio) 2. Segundo, pensamos en qué datos nos interesaría conocer acerca de ese tema o dominio. (Datos de relevancia) 3. Tercero, identificamos las variables que intervienen en dicho dominio y que tendrían relación con los datos de interés que hayamos generado. (Variables del Dominio) 4. Cuarto, se hacen las relaciones matemáticas apropiadas para presentar los datos en función de las variables conocidas del fenómeno. (Relación matemática) Qué propósito tiene la generación y uso de indicadores? La generación de indicadores puede tener múltiples propósitos. Aquí se agrupan los que el autor considera más relevantes: (a) Seguimiento al grado en que se han logrado ciertos objetivos de los que se han generado

5 indicadores, (b) generación de conocimiento de cierto fenómeno o dominio dado y (c) evaluación de programas. Cuando se trata de dar seguimiento a ciertos objetivos considerados estratégicos por su importancia en la institución se identifican por lo menos un indicador que permita ir midiendo las variables involucradas y que permitan ir generando el dato correspondiente al indicador. Dependiendo de los datos que arroje el indicador se podrán tomar decisiones acerca de los ajustes que se pudieran hacer. Generación de Conocimiento Uno de los objetivos más importantes en la generación de indicadores y el análisis de los datos que arrojan es la generación de conocimiento acerca del tema sobre el cuál están relacionados. Deserción Universitaria (A3) Escenarios 1 48% 2 40% 38% 3 32% 26% N=2500? t= Gráfica 1.- Deserción Universitaria

6 En la gráfica se puede observar los datos a través de 21 años (1985 hasta 2006) del indicador Deserción Universitaria. Adicionalmente, posibilidades o escenarios de su comportamiento para los siguientes dos años. Los escenarios que se proyectan son uno en el que la tendencia creciente de la deserción universitaria continúa alcanzando un máximo histórico de 48% para el Otro posible escenario, el número 2, es aquel en el que a partir de algunas acciones que tome la administración universitaria, la tendencia se detiene por un tiempo y después regresa a su tendencia creciente hasta alcanzar un 40% en el El tercer escenario es aquél en el que la administración hace un plan para reducir la deserción universitaria y después de un tiempo logra invertir el cambio creciente e inicia un descenso logrando llegar a un 32 % en el Todo el conjunto de datos que nos proporciona la serie del indicador Deserción Universitaria y su análisis puede generar un conjunto de ideas, relaciones, propuestas para una mayor comprensión del fenómeno Deserción universitaria. Esta relación de ideas y explicaciones acerca de la tendencia que muestra la serie del indicador y otros datos que pudieran estar asociados a los cambios de su tendencia o su período creciente o decreciente conforma el conocimiento sobre la deserción universitaria y éste es uno de los propósitos más importantes de la generación y uso de indicadores. Sistemas de Información para generar conocimiento Finalmente, para que el conocimiento que se genera con el uso de indicadores tenga un sustento más robusto se debe pensar en una forma más coherente e integral de organizarlos dando origen a un sistema de información. Recordemos que un tema sobre el cuál nos interese conocerlo más a fondo, a través de indicadores, deberá de contener todo un conjunto de indicadores relacionados con el tema fundamental, con el objetivo estratégico, con el proceso básico, etc.