Evaluación de programas de educación a distancia

Transcripción

1 Evaluación de programas de educación a distancia (Evaluation of distance education programs) JAUME SARRAMONA Universidad Autónoma de Barcelona, España RESUMEN: Entre las características específicas de la educación a distancia destaca la necesidad de evaluación, como parte fundamental de la planificación previa y del necesario control de procesos y resultados. Esta evaluación ha de abarcar desde el diagnóstico previo hasta la planificación, el proceso aplicativo y los resultados, sean éstos previstos o no. Esto por lo que se refiere a los materiales didácticos y al proceso estricto de enseñanza-aprendizaje, pero además hay que añadir la evaluación de la actividad desarrollada por los docentes tutores y por el conjunto de la institución educativa. Evaluación - diagnóstico - resultados previstos - resultados no previstos - evaluación institucional. ABSTRACT: Among the specific characteristics of the education at distance highlights the evaluation necessity, like fundamental part of the previous planning and of the necessary control of processes and results. This evaluation must embrace from the previous diagnosis until the planning, the process and the results, be these foreseen or not. This regarding the didactic materials and to the strict process of teachinglearning, but it is also necessary to add the evaluation of the activity developed by the educational tutors and for the group of the educational institution. Evaluation diagnosis - foreseen results - unforeseen results - institutional evaluation. LA ESPECIFICIDAD DE LA EDUCACIÓN A DISTANCIA El calificativo de educación a distancia referido a una modalidad educativa resulta cada vez más difícil de aplicar. Hasta hace relativamente poco tiempo se podía definir la educación a distancia como aquella modalidad educativa donde la comunicación entre educador y educando quedaba diferidas en el tiempo, en el espacio o en ambas dimensiones a la vez, con lo cual se salvaba la distancia física existente entre ambos. Pero el empleo progresivo de las nuevas tecnologías de la comunicación hacen muchas veces inadecuado el término «a distancia», cuando permiten la comunicación

2 prácticamente en tiempo real y pueden crear entornos virtuales de aprendizaje que rompen la distancia física indicada. Por todo ello se abre camino el término «autoformación» o «autoinstrucción» para designar el proceso educativo donde el sujeto educando toma la iniciativa y se erige en responsable del ritmo y control de sus aprendizajes (Sarramona,1999). Así se expresaba el Libro Blanco de la Comisión Europea (1995) al respecto: «El sujeto deberá poder tener acceso permanente a una gama de bienes educativos y formativos bien identificados, complementarios para el logro de un saber general, de modo que pueda adquirirlos por sí mismo al margen de todo sistema formal». La autoformación es una metodología posible y podemos afirmar que deseable de ser empleada en todo sistema didáctico, sea formal o no formal, presencial o a distancia. Todas las previsiones indican que la educación a distancia, entendida básicamente como una metodología autoformativa, tendrá un desarrollo creciente en el futuro, aprovechándose de las posibilidades de los nuevos medios de comunicación, pero también porque la demandada formación permanente o continua a lo largo de la vida no puede ni precisa ser materializada mediante estrategias de escolarización permanente, de ahí que se constate una progresiva introducción de la educación a distancia en el mundo laboral, en el campo del ocio, etc., al mismo tiempo que ya se ha instalado en las mismas instituciones docentes convencionales, en especial en la Universidad 1. No se trata ahora de analizar todas las características propias de la educación a distancia pasada y presente, porque suelen convivir características de ambas en la mayoría de los programas hoy existentes2, pero sí conviene tener presentes algunas fundamentales que luego justifiquen su estructura y evaluación.en cualquier caso, adviértase que no se hace aquí referencia a una posible versión de la educación a distancia que signifique simplemente la transmisión a unos sujetos alejados de una situación didáctica que se desarrolla al modo convencional o presencial, sea esta transmisión por videoconferencia, conferencia audiográfica, reuniones de grupo realizadas por red informática, etc. (Tiffin y Rajasingham, 1997). La perspectiva aquí tomada es que el programa en cuestión posibilite al sujeto aprender de acuerdo con sus decisiones personales de lugar, momento, ritmo, nivel de profundización, etc.; si no de modo total, al menos en gran medida. Las características a destacar de la educación a distanca serían: Exige una planificación rigurosa, puesto que las actividades docentes y discentes han de estar diseñadas con anterioridad al momento de ser realizadas. Los materiales didácticos se erigen en los únicos soportes de los contenidos que son precisos para alcanzar los objetivos didácticos propuestos. Tales materiales han de contener la totalidad de los contenidos señalados o, cuando menos, las instrucciones precisas para su localización exacta por parte del sujeto que aprende. El programa de educación a distancia ha de garantizar su adaptabilidad a las diferencias ersonales de los sujetos que lo siguen, permitiendo una personalización del proceso.

3 El sujeto que aprende por la modalidad a distancia ha de tener la posibilidad de comunicación permanente con un docente cualificado, que pueda resolver sus dudas y demandas vinculadas al programa. El programa de educación a distancia ha de incluir la posibilidad de autoevaluación por parte del sujeto que aprende, así como la heteroevaluación por parte de la institución que lo aplica. Dado que la educación a distancia ha sido concebida especialmente paralos sujetos adultos, sus programas deben estar adaptados a las características de las personas adultas, tanto en lo que se refiere al lenguaje, como a la contextualización, tipo de actividades, etc. Otras exigencias que podrían demandarse serán ya comunes a todo tipo de programas educativos, en especial las que hacen referencia a la naturaleza de los aprendizajes a lograr, a la apertura de las ideas, a la posibilidad de participación de los implicados, etc. Como se ha dicho reiteradamente, «educación» es lo sustantivo y «a distancia» sólo la forma de hacerla factible. LA EVALUACIÓN EN LA EDUCACIÓN A DISTANCIA Ya se ha indicado que la evaluación constituye uno de los elementos imprescindibles de todo programa educativo, y si es a distancia, con mayor motivo, dado que las consecuencias de posibles disfunciones tienen un efecto multiplicativo mayor y el sistema no suele contar con la agilidad de cambio propio de la docencia presencial, donde la improvisación, muchas veces excesiva, permite introducir modificaciones de manera inmediata. Por otro lado, a pesar de la experiencia ya acumulada, la educación a distancia suele tener en la consecución de sus resultados un punto de duda permanente. Y es que los innumerables estudios realizados para comparar la eficacia de la educación a distancia en relación con la educación presencial no permiten llegar a conclusiones generales, puesto que siempre se trata de estudios de carácter idiográfico que comparan programas concretos con variables específicas a considerar (Sarramona, 1993a). La evaluación de los programas de educación a distancia se inserta en el contexto de la investigación evaluativa, entendida como aquel conjunto de procesos sistemáticos de recogida y análisis de información fiable y válida para tomar decisiones sobre un programa educativo (De la Orden, 1991: 304). Y tratándose de programas de educación a distancia, donde ha sido precisa una planificación previa de carácter riguroso, la metodología de evaluación deberá ser igualmente rigurosa. Tal rigor se garantiza cuando se tienen en cuenta los principios básicos de la planificación tecnológica que, si bien puede ser discutible para otras modalidades educativas, resulta la más adecuada para los programas de educación a distancia, sin que ello suponga en modo alguno la vinculación a modelos didácticos de carácter mecanicista. El modelo aquí propuesto para la evaluación de los programas de educación a distancia se vincula con el denominado «contexto-entrada-proceso-producto(cepp), diseñado por Stufflebeam (1987), que contempla tanto la planificación como la aplicación y los

4 resultados, a fin de poder tomar decisiones en cada uno de estos ámbitos, tal como se presenta en el esquema de la figura 1. La evaluación de programas de educación a distancia deberá abarcar inicialmente la evaluación del diagnóstico, que constituye un paso previo a la planificación didáctica del material y de las actividades, luego vendría la planificación estricta, la evaluación del proceso y la evaluación de los resultados. Esta estructura básica es aplicable de modo general a todos los programas de educación no formal, tal como ya mostramos en otro lugar (Sarramona, Colom, Vázquez, 1998). A continuación se analizan cada una de estas fases. EVALUACIÓN DEL DIAGNÓSTICO La evaluación del diagnóstico constituye la garantía de que el programa de educación a distancia se adaptará a las necesidades, características y contexto que envuelve a sus destinatarios. El diagnóstico de necesidades se presenta como un paso ya clásico en la evaluación previa o de diagnóstico de todo programa, en especial cuando se trata de dar respuesta a necesidades muy específicas, de tipo laboral, por ejemplo (Colom, Sarramona y Vázquez, 1994). La metodología empleada puede ser muy diversa, de acuerdo con la naturaleza de esas mismas necesidades, desde la observación directa hasta la explicitación de las demandas por parte de los destinatarios o personas responsables. Tampoco se pueden olvidar los análisis situacionales de realidades sociales o laborales que indican vacíos de formación, tal puede ser el caso de atender problemas sanitarios o de preparar para una nueva situación económica de mercado unificado. Otras necesidades derivarán de la misma estructura lógico-epistemológica de los aprendizajes ya identificados, por cuando exigirán identificar otros de previos para su correcta adquisición. Una síntesis de estas fuentes de identificación de necesidades se presenta en el gráfico de la figura 2.

5

6 Como se puede advertir, las demandas de los destinatarios son una de las fuentes de identificación de necesidades, pero no la única. Los destinatarios directos no siempre son conscientes de sus propias necesidades formativas y no siempre las saben explicitar, pero sin duda es una fuente insoslayable en el proceso de identificación de necesidades. En el cuadro 1 se muestran los objetivos y metodología de un trabajo de identificación de necesidades de formación de las pequeñas y medianas empresas españolas, realizado por encargo del CEDEFOP de la Unión Europea, como paso previo a la posible oferta posterior de programas a distancia dirigido a los mandos intermedios de este tipo de empresas. Las necesidades de formación se concretan en metas y objetivos formativos que servirán de base para la planificación. Pero antes de esta concreción es preciso tener presentes las variables definitorias del contexto en el que se va a desarrollar el programa. En algunos casos ese contexto será todo un territorio o una comunidad determinada; así ocurre con muchos programas de educación a distancia que se dirigen a grupos amplios de destinatarios. En otros casos se puede tratar de grupos más reducidos o específicos, localizados en un organismo o empresa Los objetivos de este estudio son los siguientes:

7 En el caso de contextos amplios, la evaluación del diagnóstico también deberá tener en cuenta un mayor número de variables, hasta el punto de demandar metodologías de carácter sintético, próximas a los modelos ecológicos de análisis de la realidad. En el caso de contextos institucionales, donde se ofertan programas específicos de reciclaje o de especialización, la metodología podrá ser más analítica, identificando solamente las variables que afectan directamente a los programas. En principio cabría pensar que cuanta más información se posea sobre el contexto mejor preparado se estará para actuar sobre él, puesto que la realidad siempre es compleja y las variables existentes interactúan entre sí. No obstante,en la práctica se tiende a reducir el número de variables a considerar para hacer manejable el proceso, aunque ciertas informaciones complementarias puedan tener utilidad en algún momento del proceso aplicativo (Sarramona, 1998). El problema reside en la identificación de cuáles son las variables contextuales realmente relevantes para el programa que nos ocupe, lo cual justifica que esta tarea esté en manos de técnicos cualificados y conocedores del contexto en cuestión. En dos grupos se pueden dividir las variables a considerar, las que podríamos agrupar entorno de la realidad «objetiva», que harían referencia al entorno y a las condiciones materiales que lo envuelven; y las que se corresponderían con la realidad «subjetiva», más directamente vinculadas con los sujetos destinatarios del programa (figura 3). Entre las primeras estarían los recursos del programa, las exigencias temporales, los equipamientos institucionales y de los destinatarios, etc. La realidad subjetiva abarcaría las expectativas, prejuicios, nivel de formación previa, etc. de los destinatarios. Otra consideración a tener en cuenta en toda evaluación de contexto es que se trata de una realidad variable, de modo que si en un primer momento se tiene una «fotografía» de esa realidad, justificada por la necesidad de tener una información que permita tomar decisiones, habrá que tener presentes las variables que pueden producir cambios en la situación y estar atento a ellas. Del conjunto de variables consideradas como generales de todo análisis de contexto adviértase que se ha añadido una referente a los posibles prejuicios hacia el programa, o quizás sería más preciso decir de la metodología del programa. Ello se justifica porque la educación a distancia aún debe superar mucho desconocimiento sobre sus posibilidades reales, y para muchas personas que sólo poseen la experiencia del

8 aprendizaje en situación presencial puede ser un motivo de rechazo. Conocer tal situación permitirá realizar acciones para romper las reticencias iniciales, si existen. Hay que señalar, no obstante, que los hábitos generalizados en el uso de las nuevas tecnologías informáticas ha hecho disminuir mucho los prejuicios hacia su empleo en programas formativos. En la relación de variables cobrarán especial importancia las que se refieren a los hábitos de estudio personal y a los conocimientos previos necesarios para poder cursar el programa en cuestión. Estos requisitos suelen ser determinantes para el éxito de los programas a distancia, por lo tanto o se ponen como exigencias para cursarlos o bien los propios programas ofrecen la posibilidad de adquirirlos. Muchos programas de educación a distancia incorporan recomendaciones sobre cómo debe acometerse el estudio en solitario. Igualmente se pueden confeccionar programas previos de nivelación y contenidos complementarios para aquellos sujetos que en un momento dado no los dominan y les resultan necesarios para proseguir el estudio. EVALUACIÓN DE LA PLANIFICACIÓN La evaluación de la planificación de un programa a distancia, como la de cualquier otro programa, se puede considerar como la evaluación del «input» (Stufflebeam, 1987). Consiste en la determinación de cada uno de los elementos que constituyen el programa en cuestión, así como sus mutuas relaciones. En la figura 1 ya se indicaba cuáles son estos elementos fundamentales: contenidos, estrategias metodológicas, recursos didácticos, criterios de evaluación, gestión temporal, etc., en definitiva,aquellos que son propios de todo proceso didáctico y que posibilitan la autoformación. Esta fase de la evaluación involucra a distintos tipos de expertos. Es habitual recurrir al juicio de expertos externos a la misma institución responsable de elaborar el programa como garantía de corrección de los contenidos. Otro tanto puede ocurrir respecto a la dimensión estrictamente pedagógica, aunque tales expertos es más habitual que los posea la institución responsable, en especial si se dedica específicamente a la educación a distancia. Hay que señalar que la adaptación de un material informativo para la educación a distancia con todos los principios pedagógicos que ésta requiere, de acuerdo con las vigentes teorías del aprendizaje, constituye una tarea siempre difícil, dada la falta de especialistas en el tema. A menudo se confunde un material para la autoformación con un simple material informativo, lo cual luego es fuente de fracaso de los programas. Un esquema de los pasos principales a seguir en la evaluación de la planificación del material de un programa de educación a distancia es el mostrado en la figura 4.

9 En la revisión de la estructura pedagógica se verificará la presencia e idoneidad de elementos como los siguientes: Claridad y adecuación del lenguaje empleado según el medio de comunicación utilizado y las características de los destinatarios. Incorporación de orientaciones metacognitivas, que faciliten un aprendizaje significativo y desarrollen el hábito de aprender. Incorporación de incentivos motivadores, que rompan el aislamiento propio del sistema y favorezcan la continuidad en el aprendizaje. Posibilidad de personalización de los aprendizajes. Fomento de la transferencia, para que los aprendizajes logrados en el programa sean útiles para situaciones diversas. Posibilidad de la autoevaluación. Creación de canales bidireccionales para realizar consultas. Previsión para proporcionar ayudas a los destinatarios que las precisen. Incorporación de instrumentos para la evaluación de resultados. La institución responsable del programa velará para que los autores cumplan con los requisitos fijados respecto a extensión, presentación, referencias, etc. de los materiales didácticos, a fin de que estén adaptados al modelo pedagógico sustentado y para facilitar su edición. A tal efecto, es habitual que las instituciones de educación a distancia dispongan de «manuales de autor» donde se especifican los requisitos didácticos y formales que éstos deberán tener en cuenta. También será preocupación institucional el tener conocimiento de otros materiales análogos, tanto por posibles motivos de competencia en el mercado cuanto para facilitar la incorporación de innovaciones a los propios.

10 La aplicación del programa a un grupo experimental deberá constituir la prueba definitiva de su validez. Esta aplicación deberá proporcionar información directa en elementos del programa tales como (Sarramona, 1993b): Comprensión de los contenidos. Claridad de las instrucciones para realizar las actividades didácticas: Pertinencia de la ilustración. Idoneidad de los ejemplos propuestos. Naturaleza de las actitudes despertadas hacia el programa. Rendimientos obtenidos La síntesis de todo el proceso de evaluación de la planificación permitirá introducir las modificaciones que convengan sobre el borrador del programa. EVALUACIÓN DEL PROCESO APLICATIVO La evaluación del proceso de aplicación del programa se justifica por la posibilidad de tomar decisiones respecto a los posibles ajustes a realizar para que cumpla sus propósitos; es así que la evaluación del proceso es una evaluación orientada a la decisión (Borich, 1990). Ello implica la existencia de una planificación abierta a la posibilidad de cambios, la introducción de elementos evaluativos durante la aplicación del programa y una actitud correctiva en los responsables del mismo. Los elementos objeto de evaluación durante la aplicación del programa son, entre otros, los siguientes: Cumplimiento de las fases aplicativas previstas en el programa. Ajuste temporal a las previsiones establecidas. Consecución de los logros previstos de carácter intermedio. Mantenimiento de los destinatarios en el programa (deserciones). Idoneidad de los materiales didácticos en cuanto a sus objetivos y estructura. Actitudes despertadas hacia el programa y hacia la institución responsable. Nivel de utilización de los canales comunicativos establecidos entre los destinatarios y la institución y de aquéllos entre sí. Adecuación de las respuestas dadas a las peticiones de consulta o a las dificultades surgidas... En definitiva, la evaluación del proceso deberá velar por el cumplimiento de lo previsto en la planificación así como la valoración de las respuestas dadas a las situaciones no previstas.

11 Las técnicas de evaluación aplicadas a esta fase pueden ser muy diversas, de acuerdo con la naturaleza de los objetos de la evaluación. Las más comunes son: a) Seguimiento longitudinal de todo el grupo destinatario del programa o de una muestra representativa del mismo. En el grupo estudiado se pueden advertir de manera explícita algunos de los elementos objeto de evaluación: mantenimiento en el programa, nivel de utilización de los canales de comunicación, número de consultas formuladas, nivel de realización de las actividades, etc. Esta metodología proporciona una visión secuencial y dinámica de todo el proceso. b) Estudio de casos concretos, mediante la técnica de la observación directa o la entrevista, sin olvidar la misma implicación participativa de los sujetos. Tal metodología es de cariz básicamente cualitativo y debe concluir con la redacción del correspondiente informe. c) Análisis de documentos y mensajes emitidos por los destinatarios durante la aplicación del programa. El estudio del contenido de tales mensajes proporciona información sobre las actitudes despertadas, el nivel de comprensión de los materiales, etc. d) Consultas periódicas mediante entrevistas y cuestionarios. Realizadas en ciertos momentos de desarrollo del programa proporcionan informaciones sobre elementos diversos del mismo. e) Autoevaluación de los mismos participantes, que pueden hacerla llegar a la institución de manera voluntaria. En la figura 5 se esquematiza el proceso seguido en la toma de decisiones de la evaluación del proceso aplicativo. La evaluación del proceso se vincula con la habitualmente denominada «evaluación formativa» o evaluación de desarrollo, que según Chadwick y Rivera (1991: 45) consiste en «mejorar la entidad que se está evaluando, la cual se ajusta de forma continua, a través de la información suministrada, para poder llegar a la óptima de operar y así tener éxito». No se trata de oponer esta evaluación a la evaluación sumativa o de productos, por cuanto ambas forman un continuo con relaciones mutuas.

12 EVALUACIÓN DE LOS RESULTADOS La evaluación de los resultados ha sido muchas veces la única fase contemplada en la evaluación de programas, bajo el supuesto de que lo fundamental es la constatación de los logros alcanzados en función de los objetivos previstos en la planificación, pero ya se ha advertido la importancia de las otras fases de la evaluación, precisamente para logran los resultados esperados en ésta. Ciertamente en la evaluación de resultados se pretende constatar el logro de los objetivos previstos en la planificación, pero ésta es la resultante de la fase de diagnóstico previo de necesidades y del análisis del contexto. Por otra parte, durante el proceso de aplicación del programa también se pueden establecer objetivos no previstos inicialmente y, llegado el momento de verificar los resultados, hay que tener presente que siempre se producen logros no previstos, de carácter positivo o negativo, que habrá que considerar. La vinculación entre resultados y objetivos previos se enmarca en la evaluación basada en criterios, que no resulta meramente cuantitativa, sino que permite establecer el grado de dominio del objetivo en cuestión (Gronlund, 1981). En principio no son los más comunes los programas a distancia que contemplan la evaluación en función de la norma, que significaría juzgar a los sujetos en razón de los logros del conjunto o de otro grupo de referencia, aunque no se excluye esta posibilidad, que puede aparecer en programas de idiomas o de ejecución de habilidades. EVALUACIÓN DE RESULTADOS PREVISTOS

13 La evaluación de los resultados previstos requiere la aplicación de instrumentos apropiados al tipo de objetivos didácticos determinados, para lo cual se cuenta con la pléyade de pruebas de evaluación sobradamente conocidas (cuadro 2). El único condicionante importante en esta selección vendrá determinado por el hecho de que esta evaluación sea presencial o a distancia. En caso de ser a distancia se deberá tener presente la posibilidad de consulta del material del programa en el momento mismo de la evaluación, así como la posibilidad de contar con la ayuda de terceros. La primera cuestión es perfectamente obviable mediante la aplicación preferente de pruebas de carácter aplicativo y de posicionamiento personal. El segundo problema requerirá de verificaciones externas, por otro lado imprescindibles cuando se trata de la impartición de acreditaciones oficiales. En todo caso, la observación directa de los logros siempre que sea posible, sea a cargo de personal de la propia institución organizadora del programa, sea a cargo de personas colaboradoras, será la mejor metodología de evaluación de los resultados obtenidos.

14 Cuando se posee información respecto a la conducta de entrada de los destinatarios, la evaluación de los resultados se podrá formular en términos «gananciales», según el clásico esquema de «pretest-postest». Esta perspectiva resulta adecuada en programas denominados «de mejora», como puede ser el caso de programas sobre cómo organizar reuniones, como optimizar el tiempo, etc. EVALUACIÓN DE RESULTADOS INDIRECTOS

15 Así denominaremos a los resultados provocados sobre los beneficiarios indirectos del programa, aquellos que no son los seguidores del mismo pero que se verán afectados por la actuación de éstos. Mucho ejemplos se podrían citar: programas dirigidos a padres para que actúen educativamente sobre sus hijos, programas de formación de empleados que tienen contacto directo con el público, programas de sensibilidad ciudadana dirigidos a quienes conducen vehículos que producen contaminación o ruido, programas de promoción de la acción sindical, dirigido a cuadros sindicales para que logren un aumento del nivel de afiliación al sindicato, etc. En última instancia, se podría considerar que son estos efectos «indirectos» los auténticos objetivos prioritarios de los programas. Los casos de formación profesional son de los más claros, por cuanto la mejora de la calidad de la producción o el aumento de las ventas son los logros justificativos de la formación, sin excluir por ello los beneficios que tal formación pueda significar para las personas que la reciben. La evaluación de estos resultados tiene como principal dificultad el hecho de producirse fuera de las situaciones estrictas de formación, y entonces hay que recurrir al principio de transferencia e incluso al concepto de resultados a medio plazo. Sin duda habrá que esperar diversos momentos para poder valorar adecuadamente cada uno de los logros pretendidos. Un modelo de evaluación inmediata y mediata, directa e indirecta, de los resultados de los programas de formación en la empresa se puede advertir en la figura 6, inspirado en el propuesto por Le Boterf, si bien también se podría tomar algún otro más simple y difundido, como el de Kirkpatrick (2000).

16 La situación es distinta cuando el mismo programa de formación incluye la aplicación a contextos naturales, con lo cual la verificación de resultados, que en otras situaciones serían de los calificados como "indirectos", aquí aparecen como objeto directo de evaluación. Se trata de los programas vinculados a la práctica, de "formación en la acción" o similares. Un ejemplo próximo a nuestra realidad serían los programas de formación permanente del profesorado, cuando éstos demandan una puesta en práctica de la formación con los propios alumnos de los profesores participantes o con los colegas del centro (cuadro 3).

17 EVALUACIÓN DE RESULTADOS NO PREVISTOS Todo programa provoca efectos no previstos, deseables o no, que será preciso identificar para tener información cumplida sobre su total grado de eficacia. Los efectos no previstos pueden estar vinculados a los objetivos previos del programa, conocimientos, habilidades, actitudes, etc., o bien actuar sobre ámbitos más o menos próximos. Entre los efectos que en principio pueden estar un tanto alejados de los objetivos explicitados en el programa se podrían citar: demandas o rechazos de futuros programas, satisfacción o insatisfacción personal por las experiencias personales vividas durante el estudio del programa, nuevas expectativas respecto proyectos personales futuros, etc. Ante esta perspectiva de la evaluación siempre puede asaltar la duda de si la aparición de efectos no previstos es debida a la potencialidad "desbordante" del programa, que supera todas las previsiones de resultados, o bien se debe a una planificación incompleta o inadecuada del mismo. Porque el hecho de que en los programas se produzcan efectos no previstos no indica forzosamente que se trate de efectos «no previsibles». La respuesta al interrogante no es simple, y no resultará ajena a la concepción que se tenga de la planificación y de la tecnología de la educación en general. Una línea de reflexión la proporciona la distinción ya apuntada entre resultados no previstos de cariz deseable y no deseable positivos y negativos, si se prefiere porque los segundos siempre pueden vincularse en mayor o menor grado con una planificación inadecuada. Tal sería el caso de no haber tenido en cuenta ciertas variables de clara incidencia sobre el programa, y que tampoco se han llegado a considerar durante el proceso de aplicación. En el caso que nos ocupa, del mismo modo que se indican los prejuicios hacia la metodología a distancia como variable de contexto a considerar, ahora se puede advertir entre los resultados «no previstos» o, si se prefiere, «colaterales», la eliminación o ratificación de tales prejuicios, así como otros efectos que suelen aparecer vinculados con la aplicación de metodología a distancia: desarrollo de la iniciativa personal, adquisición de hábitos de autoaprendizaje, mejora del autoconcepto, espíritu de superación, etc. (Sarramona, 1993a). Las técnicas más adecuadas para medir estos efectos no previstos son las observaciones directas, los debates colectivos, la aplicación de cuestionarios, las entrevistas abiertas,... Se requiere un mayor tacto para identificar este tipo de resultados, de modo que la observación atenta del proceso aplicativo del programa ya proporcionará indicaciones de los ámbitos donde pueden surgir. Las técnicas evaluativas de carácter proyectivo serán más útiles que las meramente estandarizadas. Cabe también la posibilidad de enfocar la cuestión desde la denominada "evaluación libre de metas" (goal free evaluation), que demanda no distinguir inicialmente entre objetivos previstos y no previstos, aplicando una exhaustiva técnica de diagnóstico para averiguar todos los resultados posibles y luego valorarlos como deseables y no deseables. Sin embargo, el propio promotor de la idea, Scriven (1973), plantea que la evaluación sin metas sea empleada en primera instancia, para luego pasar a la evaluación basada en metas y resultados previstos, como garantía para verificar que éstos han sido efectivamente logrados. Otra posibilidad es que evaluadores distintos afronten una y otra alternativa.

18 En todo caso, si el programa de educación a distancia abarca un gran número de destinatarios la aplicación de técnicas proyectivas, en especial si se realizan mediante entrevistas individuales o grupales, se deberá limitar a una muestra. Hay que considerar que los resultados no previstos no suelen formar parte de la posible acreditación de aprendizajes que proporcione el programa. Como síntesis de este apartado sobre los resultados no previstos se podría afirmar lo siguiente: a) En todo programa educativo donde se producen interacciones personales sin duda se producirán efectos que resulta imposible prever en todas sus dimensiones. b) Dicho lo anterior, es igualmente válido afirmar que la preparación previa del programa, en la cual se proyectan tanto los conocimientos técnicos sobre planificación como la experiencia acumulada del formador, ha de prever la inmensa mayoría de los resultados relevantes. Luego, la evaluación del proceso es un poderoso antídoto contra las grandes sorpresas en los resultados. c) El tema de los resultados no previstos en modo alguno ha de ser una coartada para combatir o desechar la planificación, y menospreciar así los requisitos técnicos exigibles a toda actuación profesionalizada. d) Un resultado negativo no previsto en un programa debiera advertir suficientemente para que no lo fuera en otro semejante. EVALUACIÓN DE LOS FORMADORES Y DE LA INSTITUCIÓN Constituye ya una tradición fuertemente establecida la evaluación de los docentes y de la institución que organiza el programa a cargo de los participantes en el mismo, en especial si se trata de programas vinculados a la educación no formal. La técnica más corriente es la del cuestionario anónimo, al estilo del presentado en el cuadro 4.

19 Si de las opiniones vertidas por los participantes en el programa se pasa a la autovaloración de los propios formadores, los capítulos más habituales que se contemplan son: a) Experiencias vividas durante el transcurso del programa, entendiendo el oncepto de experiencia en sentido amplio, puesto que incluiría tanto la adquisición de conocimientos vinculados con la docencia, como la vivencia de las relaciones de tipo interpersonal que han surgido con los destinatarios y restantes miembros del equipo docente. Puede ocurrir que los formadores no se hubieran planteado inicialmente este tipo de reflexión, pero al ser sometidos a consulta reflexionan sobre ella, con lo cual se abre la puerta para consideraciones futuras. b) Valoración de los resultados obtenidos. Esta valoración complementa la conseguida por otros caminos, adoptando una perspectiva más cualitativa, más vinculada al nivel de satisfacción personal que los resultados han provocado en el propio formador. Tan sólo habrá que procurar que la satisfactoriedad o no de los resultados sea razonada al máximo, para poder sacar conclusiones para futuros programas. Ambas dimensiones entrarían en los objetivos de la "reflexión sobre la acción" que se demanda al profesorado en general, aunque ahora se trate de una reflexión "a posteriori", no excluyente de la realizada sobre el proceso, sino más bien como síntesis de aquélla. Como en las restantes fases de la evaluación, tampoco se pueden absolutizar los resultados de ésta.

20 Puesto que aquí no cabe el anonimato, como en el caso de los participantes evaluando a sus formadores, existe la posibilidad de que los juicios expresados tiendan a la autojustificación, especialmente si hay indicios de que los resultados no han sido satisfactorios. En tales situaciones los profesores pueden culpabilizar a la falta de recursos didácticos, a la falta de tiempo, al desinterés de los participantes, a su heterogeneidad, etc. Por ello convendrá demandar diferentes niveles de razonamiento y lograr juicios sobre aspectos eminentemente técnico-profesionales, como los vinculados a la planificación, a la gestión de los recursos, instrumentos de evaluación, etc. (Cuadro 5). EVALUACIÓN A CORTO Y LARGO PLAZO Tanto los resultados previstos como los no previstos, los directos y los indirectos, pueden ser evaluados en perspectiva temporal. En general es preciso dejar transcurrir un cierto tiempo para poder evaluar los resultados indirectos, de la misma manera que el paso del tiempo puede proporcionar nuevas orientaciones sobre consecuencias no previstas. Otro tanto ocurre con algunos de los resultados no previstos. La preocupación de toda acción formativa es siempre su perdurabilidad. Si bien los resultados a corto plazo, los logrados inmediatamente en el programa educativo -

21 especialmente si son de conocimiento - son los más fáciles de medir y valorar, también pueden ser los menos relevantes; será raro el programa que no pretenda resultados transferibles y duraderos. La dificultad y costo que supone la evaluación diferida de los programas educativos hace poco habitual las evaluaciones a medio y largo plazo. Tanto es así que raramente están programadas (y presupuestadas), de ahí que luego resulte imposible poseer información al respecto. Quizás habría que exceptuar los resultados expresados en cifras que son objeto de medición periódica: número de accidentes laborales, cifras de ventas de productos, asistencia a actos, etc. Una evaluación diferida puede también servir de contraste de las variables medidas inmediatamente después de las acciones de formación, especialmente si el paso del tiempo puede ayudar a mejorar los elementos de juicio sobre aquéllas. Juicios sobre la utilidad de los conocimientos recibidos, opiniones respecto a la utilidad posterior del material del programa, propuestas para la mejora de futuros programas, toman especial valor cuando se efectúan una vez pasado el impacto inmediatto de la acción formativa y pueden contrastarse con lo dicho en aquellos momentos. Las técnicas de evaluación diferida pueden ser las mismas que las de evaluación inmediata, cuando se trata de lograr contrastaciones sobre variables idénticas. En el caso de variables que afectan a la transferencia de los conocimientos del programa, la observación directa de las acciones, las entrevistas y cuestionarios aplicados a los beneficiarios directos e indirectos 3 (cuadro 6), además de los análisis estadísticos de tendencias, serán las técnicas más habituales. EVALUACIÓN DE LA INVERSIÓN-EFICACIA La relación entre inversión y eficacia es lo que constituye el nivel de eficiencia de un programa educativo. Implica una valoración económica de los recursos invertidos en

22 comparación a los resultados logrados. El concepto de recursos debe ser interpretado en sentido amplio, puesto que no se trata sólo de los medios materiales. Dado que habitualmente se esgrimen argumentos de economía para justificar la utilización de la educación a distancia, el cálculo del costo-beneficio se presenta como un requisito necesario. Hay que advertir al respecto que la economía no es un principio absoluto de la educación a distancia y que ésta puede resultar muy costosa si los materiales empleados son sofisticados y el número de beneficiarios del programa es reducido. En la educación a distancia confluyen una serie de factores que cabe considerar en el momento de calcular su costo real, como el gasto no efectuado precisamente porque la enseñanza es no presencial: desplazamientos, lucro cesante, etc. La educación a distancia entra en la «economía de escala», mientras que esto no ocurre tan claramente en la educación presencial. La valoración del costo de los programas de educación a distancia deberá contemplar aspectos como los siguientes: Pago de los autores del material didáctico original Costo de la revisión y adaptación pedagógica de dicho material Costo de la edición del material Costo de la tutoría del programa Costo de la estructura administrativa de confección y seguimiento del programa Número de beneficiarios del programa Cálculo del posible lucro cesante si el programa fuera presencial Cálculo de los gastos de posibles desplazamientos, dietas, etc. si el programa fuera presencial Cálculo de los efectos indirectos del programa sobre los hábitos de estudio, actitudes hacia la formación, etc. 1 En efecto, las principales Universidades actuales tienen diseñados sus propios campus virtuales desde los cuales realizan actividades de tutoría pero también se imparten materias académicas y titulaciones completas por la modalidad no presencial. La lista de ejemplos sería interminable yel proceso sólo está en sus inicios. 2 Buena prueba de ello es que algunos de los programas universitarios citados se pueden seguir vía Internet o vía convencional. 3 Beneficiarios indirectos pueden ser aquí aquellas personas que tienen autoridad sobre los participantes en el programa: jefes, directores, inspectores, autoridades sociales, etc. Estos cargos pueden tener un valor relevante en la valoración de la formación de sus subordinados, proporcionando informaciones que complementen las conseguidas por otros medios, valoraciones que en algunos casospueden ser altamente significativas.

23 REFERENCIAS BIBLIOGRÁFICAS BORICH, G.D. (1990). «Decision Oriented Evaluation». En Walberg, H.G. y Haertel, G.D. (eds.): The International Encyclopedia of Education Evaluation. Oxford, Pergamon Press, p.p COLOM, A.; SARRAMONA, J. y VÁZQUEZ, G. (1994). Estrategias de formación en la empresa. Madrid, Morata. CHADWICK, C.B. y RIVERA, N.I. (1991). Evaluación formativa para el docente. Barcelona, Paidós. DE LA ORDEN, A. (1991). «Investigación evaluativa», Tecnología de la educación. Madrid, Santillana. GRONLUND, N. (1981). Measurement and Evaluation Teaching. New York, MacMillan. KIRKPATRICK, D.L. (2000). Evaluación de las acciones formativas. Barcelona, Gestión LE BOTERF, G. (1989). Cómo invertir en formación. Barcelona, EADA. SARRAMONA, J. (1993a). «El rendimiento en la enseñanza a distancia, Teoría de la Educación. Revista Interuniversitaria. Ediciones Universidad de Salamanca, vol. V, p.p SARRAMONA, J. (1993b). «Evaluación del material escrito autoinstructivo», Aplicaciones Tecnológicas a la Enseñanza a Distancia, Proyecto PATED. Madrid, ANCED, p.p SARRAMONA, J. (1997). Teories i models del diseny instruccional. Barcelona, Universitat Oberta de Catalunya. SARRAMONA, J (1998). «La evaluación de programas en educación no formal». En Sarramona, J.; Colom, A. y Vázquez, G.: Educación no formal. Barcelona, Ariel, p.p SARRAMONA, J. (1999). «La autoformación en una sociedad cognitiva». Revista Iberoamericana de Educación a Distancia. Madrid, nº 3. SARRAMONA, J. y FERRER, F. (1988). Oferta y demanda de formación a distancia para dirigentes y cuadros de la pequeña y mediana empresa y artesanos. Berlin, CEDEFOP SCRIVEN, M.C. (1973). «Goal Free Evaluation». E. House (comp.): School Evaluation: The Politics and Process. Berkeley, Mac Cutchau.

24 STUFFLEBEAM, D.L. y SHINKFIELD, A. J. (1987). Evaluación sistemática. Guía teórica y práctica. Barcelona, Paidós/MEC. TIFFIN, J. y RAJASINGHAM, L. (1997). En busca de la clase virtual. Barcelona, Paidós. PERFIL ACADÉMICO-PROFESIONAL DEL AUTOR Jaume Sarramona i López. Catedrático de Pedagogía de la Universitat Autònoma de Barcelona. Presidente del Consejo Superior e Evaluación del Sistema Educativo de Catalunya. Especialista en tecnología educativa y educación a distancia. Actualmente tiene omo líneas de investigación la formación continua en las organizaciones laborales, la participación en el sistema educativo y a evaluación del sistema educativo. Jaume Sarramona i López Departamento de Pedagogía Sistemática y Social Edificio G-6, Universitat Autònoma de Barcelona Bellaterra , Barcelona, España Teléfono: Fax: Correo-E: J.Sarramona@uab.es