Diseño Metodológico Todos comprometidos con la excelencia de los Procesos de Autoevaluación de Programas EIA
Diseño Metodológico de los Procesos de Autoevaluación de Programas EIA Dirección de Autoevaluación y Acreditación Adriana Granda Atehortúa
Consejo Superior Presidente Luís Guillermo Gómez Atehortúa Vicepresidenta Margarita María Trujillo Mejía Vocales Ignacio Arango Álvarez Juan Camilo Arango Londoño Víctor Manuel Aristizábal Gil Gustavo Adolfo Botero Arango Pedro Botero Cock Miguel Fernando Jaramillo Isaza Germán Jaramillo Olano Representantes profesorales Jaime Alberto Arroyave Baena (Principal) Rafael Galindo Monsalve (Suplente) Representantes estudiantiles Valentina Prieto Ocampo (Principal) Jonathan Quintero Cataño (Suplente) Rector Carlos Felipe Londoño Álvarez Secretaria General Olga Lucía Ocampo Toro Decano Académico Carlos Rodríguez Lalinde Directora Financiera María Consuelo García Londoño Directora de Planeación Paula Madrid Barbotto Directora de Investigación Nathalia Vélez López de Mesa Director de Extensión Rubén Darío Hernández Pérez Directora de Autoevaluación y Acreditación Adriana Granda Atehortúa
Contenido Pág. Diseño Metodológico de los Procesos de Autoevaluación de Programas EIA 5 Metodología para los Procesos de Autoevaluación de los programas 7 Conceptualización de los Procesos de Autoevaluación 11 El Modelo 12 Ponderación de factores y características 13 Escala de valoración 16 Audiencias 16 Instrumentos de recolección de la información 16 Nivel de cumplimiento de los factores 18 E s c u e l a d e I n g e n i e r í a d e A n t i o q u i a Cronograma de trabajo 20
Diseño Metodológico de los Procesos de Autoevaluación de Programas EIA Con el propósito de consolidar los procesos de autoevaluación de programas, la EIA establece una metodología de trabajo enmarcada en la política de calidad y en la misión, el proyecto educativo institucional y los proyectos educativos de los programas. Para los procesos de autoevaluación con miras en la acreditación y renovación de la misma se asumen los lineamientos establecidos por el Consejo Nacional de Acreditación. La EIA tiene un grupo central de autoevaluación que dirige y apoya los procesos de autoevaluación de los programas. Este grupo a su vez es apoyado por el director de Unidad Académica y los directores de Programa, que tienen como función impulsar los procesos en tareas específicas como la definición de la ponderación de factores y características, análisis de la escala de valoración, la revisión de instrumentos de recolección de información, recolección de información documental y estadística, difusión de la información y finalmente la evaluación del logro alcanzado por los programas. 5 E s c u e l a d e I n g e n i e r í a d e A n t i o q u i a
Metodología para los Procesos de Autoevaluación de los programas Los procesos de autoevaluación de programas son ejercicios permanentes de revisión de las dinámicas académicas, investigativas, de extensión y proyección, administrativas y de internacionalización que responden a la filosofía institucional en la medida en que se inspiran en la ideología de calidad establecida por los fundadores. Son procesos que tiene como propósito mejorar y abrir espacios para la discusión, elaboración y puesta en marcha de planes de mejoramiento y de mantenimiento; buscan identificar fortalezas y debilidades para determinar la distancia que hay entre lo que el programa es y lo que espera ser, de acuerdo con las tendencias de las disciplinas, con referentes nacionales e internacionales de la educación superior y, por supuesto, de la misión y visión, el Proyecto Institucional, el plan de desarrollo, los objetivos de la educación superior y los proyectos educativos de los programas. La Institución entiende los procesos de autoevaluación como ejercicios democráticos en los que es importante la participación de cada uno de los integrantes de comunidad EIA. Para ello se apoya en estrategias que buscan una apropiación no sólo de los procesos, sino que cada uno sienta suyo el logro del objetivo. 7 E s c u e l a d e I n g e n i e r í a d e A n t i o q u i a
Metodología de los Procesos de Autoevaluación Con el propósito anterior, la dirección de autoevaluación asume el eslogan Siempre comprometidos con la excelencia, una frase que identifica la EIA, siempre comprometida con la calidad, con la región, con el país; comprometida con su identidad: con el Ser, con el Saber y con el Servir; comprometida con los estudiantes, con los profesores y con los egresados, con el conocimiento, con la investigación y por supuesto con la educación. Siempre no es más que el compromiso con una educación de calidad en todo y en cualquier tiempo. Un tiempo indefinido, sin límites; en todas las acciones. Comprometidos como una obligación contraída consigo mismo, con su esencia. Un convenio inspirado en la honestidad, en la responsabilidad, en la transparencia y en la asunción de ser cada vez mejores. 8 Y la excelencia entendida como la dignidad y certeza que se tiene de hacer las cosas con sentido ético, con responsabilidad, justicia y eficiencia para lograr lo excelso: lo alto, lo elevado, lo supremo. De igual manera, los procesos de autoevaluación EIA asumen la frase El compromiso también es tuyo que como lo indica, busca involucrar a todos integrantes de la comunidad académica y administrativa de los programas, que se sientan no sólo partícipes sino dueños del logro de los objetivos propuestos. El compromiso también es tuyo para analizar la eficiencia, eficacia, transparencia, la justicia y responsabilidad con la que se hacen las cosas; compromiso para autorreconocerse y proyectarse. Con la anterior filosofía, la metodología que se asume para los procesos de autoevaluación de los programas es:
El grupo central de autoevaluación convoca. Está conformado por personas de diferentes dependencias de la EIA y se reúne quincenalmente para discutir diversos aspectos acerca de las dinámicas de los programas, especialmente de aquellos que están en proceso de renovación de la acreditación y renovación de registros. Se asumen los modelos de autoevaluación y renovación de programas propuestos por el Consejo Nacional de Acreditación. Se elaboran cronogramas de trabajo para cada programa con su respectivo plan operativo. Se establece la ponderación respectiva para la autoevaluación del programa. Se analiza la escala de valoración para el proceso de autoevaluación del programa respectivo. La difusión es asumida por la oficina de comunicaciones con la coordinación de la dirección de autoevaluación y acreditación. Con el propósito de lograr la apropiación de los procesos se establecen estrategias de difusión tales como el diseño de afiches, envío de correos electrónicos y boletines; información permanente en carteleras, escritura de textos en medios institucionales, presentación de informes de avances al comité asesor del programa, a los estudiantes y a los profesores, además del comité rectoral. 9 E s c u e l a d e I n g e n i e r í a d e A n t i o q u i a Se hacen reuniones con el grupo primario del programa.
Metodología de los Procesos de Autoevaluación La recolección de la información se hace de diversas maneras: aplicación de encuestas, realización de entrevistas, revisión de información documental y estadísticas. Las encuestas son aplicadas a: profesores, estudiantes y personal administrativo, egresados y empleadores. Se hacen revisiones y actualizaciones de los documentos que dan soporte a las dinámicas de los programas. Para determinar el valor alcazado por el programa se asumen escalas de valoración. La información se sistematiza en la oficina de planeación. 10 Finalmente se estructuran planes de mejoramiento y de mantenimiento que se articulan al plan de mejoramiento institucional. La autoevaluación en consecuencia, asume factores asociados a la identidad del programa, a su misión, al proyecto educativo y a las políticas y normas que orientan el trabajo de la comunidad. Asume lo asociado a la investigación, a los procesos académicos, al bienestar institucional y a la extensión, la internacionalización, entre otros factores. Es decir, es un proceso que se configura alrededor de las funciones sustantivas de la educación superior, expresadas en la Ley 30 de 1992. La estructura académico-administrativa de la Institución considera la autoevaluación como un espacio que analiza la gestión en los diversos procesos de los programas con el propósito de consolidar prácticas y establecer mecanismos de mejoramiento.
La autoevaluación es un espacio crítico que busca visualizar lo que se tiene en función de lo que se quiere tener; es un ejercicio riguroso que tiene como característica la imparcialidad, la transparencia, la independencia y la responsabilidad. En otras palabras, los procesos de autoevaluación de programas en la EIA son maneras de dar respuesta a las dinámicas de la globalización en la cual el imperativo es la pertinencia, la calidad y la internacionalización (como lo propone el Acuerdo de Bolonia), y enfrentar así los retos de la educación para el siglo XXI como son los de adaptarse a las demandas del empleo, situarse en un contexto de gran competitividad donde se exige calidad y capacidad de cambio, optimizar la gestión, incorporar tecnologías de la información tanto en la administración como en la docencia, constituirse en motor de desarrollo regional en los contextos social, económico y cultural y reubicarse en un escenario globalizado el cual implica potenciar la interdisciplinariedad, el dominio de lenguas extranjeras, la movilidad de docentes y estudiantes y la innovación, entre otros aspectos. 11 El ejercicio planificado de autoevaluación permite mantener actualizada la información de los programas, asegurando no sólo la información como tal, sino alimentando constantemente el plan de mejoramiento institucional. Conceptualización de los Procesos de Autoevaluación E s c u e l a d e I n g e n i e r í a d e A n t i o q u i a A partir de la Ley 30 de 1992 el Estado colombiano crea el sistema nacional de acreditación para promover que las Instituciones hagan público los nive-
Metodología de los Procesos de Autoevaluación les de calidad con los que operan, la transparencia, idoneidad, responsabilidad, pertinencia y universalidad, pero ante todo el compromiso que tienen con su esencia, con su razón de ser, su misión y su proyecto institucional. Uno de los fundamentos de estos procesos es que la calidad deber ser reconocida por la sociedad y la acreditación es una estrategia para visibilizarla. Son tareas que requieren compromiso, transparencia, un alto grado de objetividad y capacidad de autocrítica. La EIA entiende estos procesos como investigaciones cualitativas de corte aplicado en los que se levanta información que dé cuenta del estado actual de los programas y permita generar con los resultados acciones de mejoramiento y mantenimiento. Busca que sean procesos sistemáticos, responsables y serios que propicien la comprensión de los programas. 12 El Modelo El Modelo que asume la EIA para los procesos de autoevaluación es el planteado por el Consejo Nacional de Acreditación, en el que se presentan 8 áreas que conforman el sistema: misión y proyecto institucional, estudiantes, profesores, procesos académicos, bienestar institucional, organización, administración y gestión, egresados y articulación con el medio y recursos físicos y financieros. De igual manera, el modelo propone 10 criterios que sirven de pautas orientadoras de la calidad: universalidad, integridad, equidad, idoneidad, responsabilidad, coherencia, transparencia, pertinencia, eficacia y eficiencia.
Lo que se espera es que los programas revisen sus procesos desde una perspectiva integradora, que permita vislumbrar el funcionamiento del sistema y las relaciones que se establecen entre las diferentes áreas. Así lo asume la EIA y para desarrollarlo establece grupos de trabajo para cada uno de los factores. Ponderación de factores y características El Modelo propuesto por el Consejo Nacional de Acreditación, define la ponderación como una asignación de valores a los factores y a las características con el propósito de establecer la importancia relativa y la manera como incide cada uno de ellos en la calidad del programa. La ponderación apunta a reconocer la importancia relativa de los elementos que se sintetizan pero no puede convertir lo cualitativo en una operación de cantidades. La ponderación es un mecanismo de diferenciación de especificidades y es además una guía de lectura de las interpretaciones que se hacen de la información recogida 1. La ponderación es entendida como una manera de evidenciar la especificidad del programa y el modo como se orienta, teniendo en cuenta la misión, el proyecto institucional y el proyecto educativo del programa. La dinámica para la ponderación de factores en la EIA es así: Primero se le propone al grupo de apoyo al proceso un ejercicio que consiste en hacer una ponderación individual asignando, según su criterio, experiencia, conocimiento del programa y tendencias de la disciplina, un valor. La pregunta que guía este ejercicio es 13 E s c u e l a d e I n g e n i e r í a d e A n t i o q u i a 1 CNA. Lineamientos para la acreditación de programas. 2006. Página 53.
Metodología de los Procesos de Autoevaluación Qué es lo más importante para que un programa sea de calidad? Cuáles son los fundamentales? En esta primera instancia se parte de la percepción y conocimiento individual. La escala que se asume es de 0 a 100 puntos, los cuales deben ser repartidos entre los 8 factores. Es necesario que esa valoración esté argumentada desde la misión, el proyecto institucional, y el proyecto educativo del programa por supuesto desde las características que conforman cada factor. Segundo se divide el grupo de apoyo en dos. El ejercicio consiste en discutir la valoración individual y llegar a acuerdos de cuáles serían los factores más relevantes para la calidad del programa. Tercero se trata de llegar a un consenso con el grupo de apoyo que son académicos que por su trayectoria conocen la disciplina, la historia y dinámica del programa. 14 Los argumentos deben dejar como resultado la valoración de factores. Factores 1. Misión y Proyecto Institucional 2. Estudiantes 3. Profesores 4. Procesos Académicos 5. Bienestar Institucional 6. Organización, Administración y Gestión 7. Egresados y Articulación con el medio 8. Recursos Físicos y Financieros Valor asignado Para asignar las valoraciones a cada factor, los integrantes del grupo hacen un análisis teniendo en cuenta argumentos, conceptos, y teorías de la educación
superior. Es claro que no es posible eliminar la subjetividad en este ejercicio, pero sí ejercer un control a través de referentes institucionales, elementos teóricos propios de la disciplina y tendencias de la profesión. Los integrantes ejercen ese control mediante la contrastación de opiniones argumentadas y tomando como referentes el proyecto institucional, el plan de desarrollo y el proyecto educativo del programa. Finalmente se reúne el grupo completo de autoevaluación y se trabaja para lograr el consenso general. En este ejercicio siempre se acude al lema Ser, Saber y Servir, y se retoman aspectos de la definición que la Institución ha asumido para cada una de ellas. En el Ser el respeto, la honestidad, la responsabilidad y la integridad. En el Saber la búsqueda permanente de la excelencia académica, el rigor, la disciplina, la constancia y la tenacidad y en el Servir la búsqueda del bienestar colectivo. De igual manera, para sustentar la ponderación se acude a los pilares institucionales como la intención de preparar académicamente un ingeniero más integrado a las necesidades del campo profesional; la búsqueda de la excelencia académica; la necesidad de limitar el número máximo de estudiantes; la institucionalización del respeto al profesor en todos los casos y la obligación por parte de éstos de honrar la cátedra mental y físicamente y por supuesto los aportes a los desarrollos de las disciplinas que se hacen desde los programas. Con estas reflexiones se llega a acuerdos que dan los argumentos para sustentar la ponderación de cada uno de los factores. 15 E s c u e l a d e I n g e n i e r í a d e A n t i o q u i a El mismo procedimiento se asume para la ponderación de características pero esta vez partiendo del valor asignado al factor.
Metodología de los Procesos de Autoevaluación Escala de valoración La escala de intervalos que se asume para los procesos de autoevaluación de programas y que tienen como fin determinar el valor alcanzado por el programa, es construida por el grupo central de autoevaluación con el apoyo del grupo de autoevaluación del programa. Allí siempre se acude a la filosofía institucional como es la de trabajar con calidad buscando siempre la excelencia académica. Audiencias 16 Las audiencias que participan en los procesos de autoevaluación de programas son: Estudiantes: muestra Profesores: se espera que participen todos Egresados: muestra Empleadores: muestra Personal administrativo: se espera que participen todos Instrumentos de recolección de la información Se determinan los instrumentos de recolección de información tales como encuestas, entrevistas, grupos focales, pautas de análisis documental y análisis de estadísticas. Las audiencias
Audiencias Estudiantes Profesores Personal administrativo Egresados Empleadores La entrevista en profundidad se realiza al personal directivo y administrativo así: Al Rector, a la Secretaria General, al director de unidad académica, a los directores de planeación, financiera, investigación, curricular, bienestar, egresados y al decano académico. Para la recolección de la información documental se establecen unas categorías así: Información verificable: el propósito es determinar la existencia de los documentos que dan soporte a las dinámicas del programa. Para evaluar esta información se utiliza una escala nominal: sí o no y su nivel de uso y actualización. Si existe se le asigna un valor concertado en el grupo de autoevaluación. Si no existe se le asigna cero. Estadísticas institucionales y del programa: verificación de estadísticas. Información de apreciación: soportada en las entrevistas y encuestas. Para evaluar esta información se utiliza una escala ordinal de alto, medio, bajo, no sabe o no responde. 17 E s c u e l a d e I n g e n i e r í a d e A n t i o q u i a Se asume también la escala de intervalos que es definida por el equipo de autoevaluación de cada programa.
Metodología de los Procesos de Autoevaluación Escala Numérica 0-30 31-55 56-75 76-90 91-100 Escala Ordinal No se cumple Cumplimiento insatisfactorio Cumplimiento aceptable Cumplimiento alto Cumplimiento muy alto Nivel de cumplimiento de los factores La evaluación es un proceso que va más allá de una simple medición. Implica además de descripciones cuantitativas y cualitativas, argumentos y formulación de juicios de valor basados en la interpretación de los resultados. 18 Es un proceso que permite revisar lo que se hace y contrastarlo con los objetivos o propósitos planteados en los programas. Revisión que implica la participación de las audiencias que inciden en la calidad del programa: estudiantes, profesores, egresados, administrativos y empleadores. Una de las estrategias para determinar la valoración alcanzada por los factores es la emisión de juicios de valor que responde a un ejercicio crítico y analítico de la información. Esa valoración del nivel alcanzado por los factores se hace con base en reflexiones, discusiones y análisis tendientes a comprender los resultados del proceso de autoevaluación, es decir, se hace un recorrido por cada uno de los indicadores y se determina la existencia o no de la información y la apreciación que expresaron los encuestados en torno a las dinámicas del programa. Es por eso que se necesita una lectura juiciosa de la realidad en que opera el programa lo cual implica una actitud racio-
nal, además del conocimiento de la información surgida en el proceso. La emisión de juicios aboga la capacidad de comprensión y de análisis auto-crítico de los hechos que definen la institución y el programa evaluado. Para la autoevaluación se manejan tres tipos de información, así: Información existente: documentos verificables. Apreciación de las audiencias encuestadas: estudiantes, profesores, personal administrativo, egresados y empleadores. Información estadística. La valoración de la información se hace así: Para la información documental se utiliza una escala nominal: Sí o No. Dependiendo del análisis que se hace del documento, se asigna un valor. Si no existe se valora con cero. 19 La información de apreciación que se expresa en porcentajes se valora de acuerdo con una escala, que puede ser así: Si se tiene una apreciación favorable entre 80% y 100% se le asigna el 100% del valor del indicador. Si la apreciación está entre 60% y 79% y es favorable se le asigna el 75% del valor del indicador. Si la apreciación está entre 59% y 40% y es favorable se le asigna el 50% del valor. Si la apreciación está entre 39% y 20% se le asigna el 25% del valor del indicador. Si la apreciación es menor de 19% se le asigna 0 (cero). E s c u e l a d e I n g e n i e r í a d e A n t i o q u i a Para la emisión de juicios de valor se convoca el grupo central de autoevaluación, el grupo de auto-
Metodología de los Procesos de Autoevaluación evaluación del programa y otros actores de los procesos educativos. La información estadística se valora de manera cualitativa de acuerdo con el Proyecto Institucional y el proyecto del programa. Para calcular el nivel de cumplimiento de cada uno de los factores se suma los valores alcanzados en cada característica, el cual resulta de sumar los valores logrados por los indicadores. Cronograma de trabajo 20 Para el desarrollo de los procesos de autoevaluación de programas se diseña un cronograma de trabajo así: ESCUELA DE INGENIERÍA DE ANTIOQUIA Programa INGENIERÍA Autoevaluación con fines de renovación de la acreditación CRONOGRAMA DE ACTIVIDADES
CRONOGRAMA DE ACTIVIDADES 2010 Actividades Enero Febrero Marzo Abril Mayo Junio Julio Agosto Sept. Oct. Nov. Dic. Semanas 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 1.Planeación y organización del proceso 2. Revisión y actualización del PEP 3. Divulgación del PEP 6. Revisión de Ponderación de Factores 7. Ponderación de características 5.Reuniones con profesores 21 E s c u e l a d e I n g e n i e r í a d e A n t i o q u i a
Metodología de los Procesos de Autoevaluación 22 CRONOGRAMA DE ACTIVIDADES 2010 Actividades Enero Febrero Marzo Abril Mayo Junio Julio Agosto Sept. Oct. Nov. Dic. Semanas 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 4. Reuniones con estudiantes 8. Revisión de indicadores y fuentes 9. Revisión de instrumentos de recolección de información 10. Prueba piloto de los instrumentos y validación 11. Descripción de procedimientos para aplicación de instrumentos 12. Aplicación de encuesta a egresados
CRONOGRAMA DE ACTIVIDADES 2010 Actividades Enero Febrero Marzo Abril Mayo Junio Julio Agosto Sept. Oct. Nov. Dic. Semanas 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 13. Aplicación de encuesta a estudiantes 14.Aplicación de encuesta a profesores 15.Entrevista al personal administrativo 16. Digitación y procesamiento de la información 17. Análisis e interpretación de resultados 23 E s c u e l a d e I n g e n i e r í a d e A n t i o q u i a
Metodología de los Procesos de Autoevaluación 24 CRONOGRAMA DE ACTIVIDADES 2011 Actividades Enero Febrero Marzo Abril Mayo Junio Julio Semanas 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 18. Informes parciales a la comunidad 19. Plan de mejoramiento 20. Elaboración del informe 21. Presentación del informe al Rector 22.Envío del informe al CNA Diseño y diagramación Comunicaciones 2010