LA EVALUACIÓN INTERNA DE CENTROS

Transcripción

1 LA EVALUACIÓN INTERNA DE CENTROS OVIEDO. Dic., 2008 Sesión 3 (2 horas): Diseño evaluativo. Determinación de indicadores. Texto: La evaluación comunicativa. Jesús Rul Act. 1: Diseño evaluativo. Rul y Zaitegi Act. 2: Indicadores de calidad. A. Campo Act. 3: Fichas adicionales diseño. Rul y Zaitegi Act. 4: Diseño de un proceso evaluativo. A. Campo Transparencia: El valor de la información. A. Campo 1

2 LA EVALUACIÓN COMUNICATIVA, FACTOR DE DESARROLLO HUMANO, ORGANIZATIVO Y CURRICULAR Valorar, medir y evaluar. Rul Gargallo, Jesús Aula de Innovación educativa, nº 39 (1995) El discurso educativo actual sobre evaluación está saturado de lugares comunes y de imprecisión conceptual, mientras la práctica evaluativa está anclada, en unos casos en el paradigma positivista (medida cuantitativa de resultados), y en otros casos, en prácticas valorativas que juzgan los «procesos» con toda la parcialidad que este estudio comporta al escindir a éstos del contexto, así como de los resultados. La apertura a una cultura evaluativa entendida como recurso interno de comunicación y desarrollo entre personas es lenta y exige convencimiento y dedicación. No obstante, la evaluación organizativa y curricular es un recurso -a la vez clarificador y optimista- tanto para la vida organizativa como para la personal y profesional. En una primera aproximación, evaluar es crear valor en relación a determinados objetos, hechos o fenómenos a partir de datos e informaciones objetivadas en relación a finalidades prácticas. Evaluar es una capacidad humana, en el ámbito del conocimiento axiológico, siempre que el valor atribuido esté fundamentado en datos rigurosos (medición) y/o en informaciones objetivadas y plurales. En este sentido, se diferencia de valorar que es el juicio de valor que una persona -subjetivamente- atribuye a una cosa. La valoración y la evaluación son los dos extremos de la acción axiológica de las personas y de los grupos. A menudo se confunden y se utilizan indistintamente; es usual denominar evaluación a la recogida y sistematización de opiniones y valoraciones personales. No obstante, la estandarización de valoraciones subjetivas no deja de ser una valoración. Por ejemplo, los modelos (e)valuativos de cuestionario. El salto cualitativo a la evaluación requiere que las valoraciones subjetivas sean transformadas por la incidencia de los datos y de las informaciones procedentes de diversos enfoques y dimensiones. En este sentido, la evaluación es un aprendizaje personal y social (comunicación) que influye en la conformación de los valores individuales y colectivos (cultura). Hay evaluación si a través de la experiencia y de la comunicación humana se produce aprendizaje valorativo, con repercusiones individuales y colectivas, basado en datos e información objetivada. No obstante, acercarse a las prácticas evaluativas en el mundo de la educación es descubrir una realidad escindida; por una parte encontramos mediciones (denominadas evaluaciones) subsidiarias de una concepción evaluativa centrada en los «resultados» con las limitaciones del enfoque e interpretación positivistas, y por otra parte, prácticas valorativas centradas en los procesos que no van más allá de expresar visiones puramente subjetivas de lo que acontece. Últimamente hay intentos para integrar estas dos concepciones en «prácticas evaluativas articuladas» a partir de modelos teóricos de currículum, de organización o de gestión. No obstante, la ausencia de un modelo explicativo satisfactorio de evaluación limita todo intento integrador a soluciones parciales o a propuestas de tipo ecléctico. La necesidad de evaluar el hecho educativo es un tema de actualidad en el debate socioeconómico contemporáneo, pero los contenidos que se asocian con la evaluación, así como sus formas, usos y agentes suelen ser equívocos o simplemente erróneos para las finalidades que se enuncian. Durante mucho tiempo, la imagen de la evaluación ha estado asociada con las tecnologías evaluativas; es decir, el elemento esencial de toda realización evaluativa era disponer de instrumentos de evaluación: aplicación de pruebas estandarizadas y de cuestionarios que una vez cumplimentados eran tratados por expertos que sacaban conclusiones a partir de estadísticas y gráficas. Esta imagen tecnológica de la evaluación -considerada desde la perspectiva actual- 2

3 ha distorsionado su comprensión más profunda y compleja. La percepción de las realidades evaluativas a partir del reduccionismo tecnológico aporta una visión preconcebida y determinista de la evaluación. Pérez (1983: 422) manifiesta el triple reduccionismo que ha caracterizado a las prácticas evaluativas: l) énfasis en los resultados con olvido de los procesos; 2) primacía de los resultados observables, previamente establecidos, desconsiderando los efectos secundarios e imprevistos en el proceso, que más que observar es necesario inferir; 3) restricción de la responsabilidad e interés por la evaluación en los profesores y autoridades académicas con olvido de los alumnos y de la sociedad. La otra cara de la evaluación -énfasis en los procesos- presenta realizaciones desiguales. Su marco teórico y sus realizaciones tecnológicas son fragmentarias. No obstante, sus aportaciones en los estudios evaluativos tienen gran importancia en el campo educativo. Su desarrollo en los escenarios de enseñanza y aprendizaje debe realizarse dotando a los profesores de formación específica para que las prácticas evaluativas tengan rigor en la ejecución a través del ejercicio de conocimientos, destrezas técnicas y actitudes evaluativas. Un profesor puede valorar su trabajo y el de los alumnos, pero participar en un proceso evaluativo requiere formación específica, tratamiento adecuado de la información evaluativa, construcción fundamentada de juicios de valor, etc. Ciertamente, la aplicación de las capacidades valorativas (opiniones) y, singularmente, las evaluativas (aprendizaje axiológico) a las realidades educativas es un recurso de crecimiento organizativo de los centros educativos y de optimización de los procesos de enseñanza y aprendizaje. En este aspecto, es un factor de autoconocimiento del potencial de aprendizaje y de las relaciones comunicativas implícitas en todo proceso educacional que permite optimizar las estrategias educativas con significación para el alumno y para el profesor. Por otra parte, el conocimiento axiológico relativo a los hechos educativos es un potente instrumento de ponderación de las posibilidades y limitaciones estructurales y funcionales del sistema educativo en su conjunto. APROXIMACION AL CONCEPTO DE EVALUACION A lo largo de este siglo ha habido una reflexión profunda sobre la medida y la evaluación en educación, que ha incidido en la significación de los conceptos y en las prácticas evaluativas. Los cambios producidos en la significación de la evaluación, en este tiempo, están relacionados con los cambios producidos en las necesidades sociales y en los planteamientos teóricos y técnicos. Ciertamente, la evolución ha sido conflictiva a causa de la confrontación entre dos modelos de comprensión de las relaciones entre los humanos, y de éstos con el entorno: la positivista y la humanista. La primera pone el acento en los hechos cuantificables, la comprobación, la medida (paradigma cuantitativo); la segunda, en las interrelaciones, la comunicación, la interpretación situacional de los hechos y los acontecimientos, los valores que asignamos a las cosas en relación con las necesidades (paradigma cualitativo). Últimamente comprendemos las limitaciones de las dos visiones que, lejos de ser antagónicas, presentan ciertas complementariedades. En esta línea se encuadra el trabajo de Cook y Reichardt (1986), quienes, desde un punto de vista metodológico, juzgan falaz el enfrentamiento entre la metodología cuantitativa y la cualitativa. Afirman que aunque sea imposible la utilización simultánea de los dos métodos, ya que operan con referentes y medios distintos, no por ello hay que identificar método con paradigma diferente y frontalmente opuesto. En la historia de la evaluación, esta confrontación entre lo cuantitativo y lo cualitativo se ha expresado en términos de confrontación paradigmática cuando no es más que la consecuencia de unos presupuestos metateóricos. 3

4 En este sentido, Alvira ( ) señala que, de hecho, hay dos niveles de discusión: el nivel paradigmático (modelo o perspectiva global) y el metodológico (técnico). Niveles que, si se consideran separadamente, se evidencia la falta de oposición metodológica y su carácter complementario en la comprensión de los fenómenos estudiados. Mateo (1995:6) señala que «... La elección del método debe surgir del cruce de dos cuestiones. Por un lado, a partir de consideraciones teóricas pertinentes de los atributos paradigmáticos y, por otro lado, de las características de la realidad específica en que se produce la acción investigadora; también es razonable considerar, incluso, la acción conjunta de los dos métodos si es necesario». Reichardt y Cook (1 979), señalan tres razones para sugerir el uso complementario de los métodos cualitativos y cuantitativos; l) los numerosos propósitos que normalmente tiene la investigación evaluativa. Esta variedad de necesidades requiere lógicamente una variedad de métodos; 2) la utilización conjunta de dos métodos-tipo permite que se fecunden recíprocamente y que ofrezcan intuiciones que ninguno de ellos podría aportar independientemente; 3) el hecho evidente de que todos los métodos tienen un sesgo que se puede obviar con el uso conjunto de distintos métodos. Sólo si se utilizan técnicas múltiples es posible «triangular» (integrar tres fuentes de información o tres perspectivas) la verdad subyacente. Lo positivo de todo este proceso vivido - con significación cognoscitiva y práctica- es que se ha ampliado la comprensión del fenómeno evaluativo. La evolución histórica de los estudios sobre evaluación presenta relaciones significativas con los cambios sociales (necesidades) y con los nuevos planteamientos teóricos y técnicos. «La valoración de los fenómenos educativos varía en el tiempo y en las diferentes sociedades. El valor que se asigna a la educación a través del tiempo ha incidido en diversos aspectos del hecho y del proceso educacional» (Rul, 1990: 116). Los grandes rasgos descriptivos que permiten acotar y perfilar la evaluación a lo largo del siglo XX son, sintéticamente, los siguientes: l. La distinción entre evaluación y medida (Thomdike, 1971). «En 1904 se establece la distinción entre medida (assesment) y evaluación (evaluation)». No obstante, la reducción de la evaluación a actividades de medida ha sido moneda corriente en la educación por la influencia del concepto de valor (cuantitativo) que ha dominado en la empresa industrial por la incidencia del «taylorismo». 2. La naturaleza axiológica de la actividad evaluativa que permite «entender y atribuir valor a las realidades evaluadas» (Popham, 1975). La evaluación nos sitúa en él campo epistemológico de los valores y su significación en la acción humana. 3. La distinción entre evaluación y valoración (Rul, 1994). La valoración es un juicio subjetivo, mientras que la evaluación es un juicio fundado en datos e información objetivada». 4. El sentido teológico de la evaluación; es decir, orientada por fines y objetivos (Tyler, 1942). «La evaluación compara los objetivos propuestos con los resultados obtenidos (observación).» 5. El carácter práctico y utilitario de la evaluación (Cronbach, 1963). «La evaluación debe ser útil para la toma de decisiones, para mejorar el proceso y el programa.» Valor heurístico y orientador. 6. El sentido criterial de la evaluación (Claser, 1963; Tyler, 1967; Popham, 1971). «La actividad evaluativa guiada por criterios internos (referencia interna -evaluación procesual) y/o por criterios externos (referencia externa-criterios normativos-).» 7. La diferenciación entre evaluación sumativa y fomativa; intrínseca y extrínseca; expresa e imprevista (goal free) (Scriven, 1967). «Distinciones duales en un momento de luchas entre paradigmas, cuantitativo y cualitativo con repercusiones metodológicas y aplicativas.» 8. La evaluación como negociación (Stake, 1975). «Evaluación respondiente.» Además de comparar los resultados deseados con los observados (evaluación tyleriana), amplía el concepto 4

5 de evaluación incidiendo en los antecedentes, el proceso, las normas, los juicios y los resultados. Los objetivos iniciales pueden cambiar, por lo que es necesaria la comunicación entre evaluador y audiencia para descubrir, investigar y solucionar problemas. 9. La evaluación como contraposición (Owens, 1973). Modelo judicial (competencia entre dos estrategias -visiones, razonamientos, intereses-). 10.El carácter comprensivo y holístico de toda «actividad evaluativa orientada al perfeccionamiento». «El objeto evaluado debe ser captado y comprendido contextualizado, en su marco de interacciones.» (Sttuflebeam, 1971), modelo CIPP -contexto, entradas, proceso, producto-. 11.La naturaleza de aprendizaje axiológico propio de las actividades evaluativas que contrasta con la expresión -subjetiva- de valores inherentes a la valoración (Rul, 1995). «Quien participa en procesos evaluativos puede aprender a valorar.» La evaluación tiene, por lo tanto, un efecto autoformativo para las personas y grupos que participan en la acción evaluativa. 12.El carácter político, en el sentido aristotélico de «polités (=ciudadano), de las actividades evaluativas, implícito en toda pronunciación axiológica (McDonald, 1976). «Sentido democrático de la evaluación.» 13.El carácter iluminativo de la actividad evaluativa que «descubre y dimensiona aspectos que, usualmente, quedan ocultos a la observación y cotidiana.» (Parlett y Hamilton, 1976), (Santos, 1990), «la evaluación contribuye a hacer visible lo cotidiano». 14.El valor de la información objetivada en la formación de los juicios de valor. Apertura, desde una perspectiva evaluativa, a la complementariedad de informaciones cuantitativas y cualitativas (Cook y Reichardt, 1986; Alvira, 1982; Mateo, 1 995). 15.El carácter constructivista de la acción evaluativa. «Quien participa en una evaluación incide en la construcción de valores más adaptados y significativos en relación con los objetos evaluados» (Rul, 1995). PERSPECTlVA SUBJETIVA DE LA EVALUACIÓN Valorar es una capacidad humana: la facultad que tenemos las personas para juzgar o atribuir valor a las cosas o a los fenómenos en relación con intereses prácticos. Las decisiones que vamos tomando a lo largo del ciclo vital se fundamentan en valoraciones -expresas o latentes, espontáneas o inducidas, etc.- estrechamente ligadas a factores personales (capacidades, actitudes, experiencias vividas, etc.), socioeconómicos y culturales. En este sentido podemos decir que valorar es la capacidad humana de emitir juicios de valor sobre las cosas y las situaciones en relación a finalidades prácticas. La valoración se constituye en evaluación individual cuando los valores emitidos se fundamentan en informaciones objetivadas que el individuo ha aprendido: por ejemplo, un médico evalúa la salud de un paciente a partir de los datos e informaciones diagnósticas decantadas por la experiencia profesional. Así pues, podemos afirmar que el fenómeno valorativo tiene dos dimensiones, una subjetiva y otra más objetiva. El primer movimiento en la relación entre una persona y un objeto es sentir -percibir- y expresar de manera inmediata e intuitiva un juicio de valor -apriorístico-. En este juicio pesa mucho la personalidad del sujeto y su estado en relación con la situación concreta. Esta primera postura valorativa del sujeto respecto al objeto conforma la dimensión subjetiva de la evaluación. Es un acto, una expresión instintiva del sujeto que expresa la capacidad de respuesta inmediata. Es un salto intuitivo, como una especie de trampolín cognoscitivo que permite discriminar entre un conjunto de objetos atribuyendo significados, valores y relaciones entre ellos. Las condiciones de personalidad y cultura de los individuos, así como su adaptación a las circunstancias que lo envuelven suplen la falta de información objetiva sobre el objeto asignando valores inmediatos como respuesta y recurso a la «debilidad» humana frente a un objeto problemático y esquivo. 5

6 El ejercicio de la capacidad reflexiva de la persona le permitirá después del primer contacto con el objeto, descubrir, en su experiencia y en el conocimiento disponible, nuevos elementos, relaciones y aspectos sobre el objeto, la situación y él mismo que complementará, matizará o transformará el primer juicio valorativo. Esta actividad racional del sujeto da contenido a la dimensión objetiva de la evaluación. Es un proceso cognitivo en el que se expresa la alteridad sujeto-objeto en términos de aprehensión y ubicación relativa del objeto en un sistema interpretativo-valorativo (Cuadro l). Valoración (dimensión subjetiva) Finalidad a priori (implícita) SUJETO OBJETO VALOR FINALIDAD Cuadro 1 Evaluación (dimensión objetiva) Finalidad a posteriori (explícita) La finalidad a priori expresa un juicio de valor intuitivo, global, aproximativo con una gran carga de subjetividad (emotividad). La finalidad a posteriori expresa objetivos explícitos del sujeto (racionales) que se quieren lograr a través del proceso evaluador: aprehensión multifactorial y compresión pluridimensional del objeto situado en un contexto real y cultural determinado. PERSPECTIVA OBJETIVA DE LA EVALUACIÓN La capacidad humana de atribuir valor a los objetos puede desarrollarse de manera natural y espontánea o puede dar lugar a una actividad sistemática. La complejidad de ciertos objetos y la naturaleza de determinados fenómenos requerirá un tratamiento más sistematizado, para que los juicios de valor que se hagan sean más precisos y útiles en relación con los fines prácticos que justifican la propia actividad evaluativa. Así pues, el concepto específico de evaluación se puede definir como «la actividad sistemática que desarrolla una persona o más con el fin de atribuir juicios de valor a determinados objetos a partir de información objetivada, en relación con unas finalidades en un marco contextual determinado». En consecuencia, los factores que distinguimos en esta conceptualización son (Cuadro 2): Situación contextualizada Valores subjetivo-culturales ACTIVIDAD OBJETO VALOR FINALIDAD Cuadro 2 Evaluación sistemática Valores objetivo-racionales 6

7 1. La actividad (tareas evaluativas que desarrolla una persona o grupo). 2. El objeto de evaluación y los objetivos de la evaluación. 3. La metodología de evaluación para la obtención de información y la elaboración y/o adopción de instrumentos de evaluación. El tratamiento de la información cuantitativa y cualitativa. 4. Los juicios de valor emitidos: a) juicios isomórficos o ajustados a la información disponible, b) juicios dismórficos o singulares (interpretación creativa no estrictamente ajustada a los datos, pero a partir de ellos). S. El contexto con las variables más significativas que conforman la situación (estructurales, relacionales, culturales y de poder). La actividad evaluativa entendida como realidad sistemática, que integra en un solo proceso la acción coordinada de un grupo humano utilizando fuentes alternativas de información y de perspectiva, conforma una realidad eminentemente comunicativa. En este sentido, «evaluar es la atribución de valores intersubjetivos a un objeto como resultado de operaciones subjetivo-objetivas de tratamiento de datos y de información rigurosa en un contexto específico en relación con finalidades de conocimiento, toma de decisiones, optimización y desarrollo humano, individual y colectivo». La comprensión de la evaluación como actividad sistemática comporta centrar la atención en su dimensión objetiva. Los rasgos más significativos del desarrollo del proceso evaluativo en sus distintas fases, en coherencia con el modelo interpretativo de evaluación que hemos expuesto, se expresa en el Cuadro 3. Cosa, hecho, fenómeno -Captar información -Procesar información (técnicas apropiadas) -Expresión de los juicios de valor fundamentados -Propuestas útiles y rigurosas ACTIVIDAD (opciones) Metodología OBJETO OBJETIVOS Recogida de información Tratamiento información JUICIOS DE VALOR INFORMES Aparato tecnológico ante el objeto: Diseño evaluativo Finalidades, intencionalidades -Expresión de las valoraciones -Creación de valores (evaluación) Cuadro 3 LA EVALUACION ORGANIZATIVA Cuando el objeto de evaluación es una organización o solamente una parte de ella, nos referimos al concepto de evaluación organizativa. Esta cuestión ha suscitado el interés de estudiosos, hecho que ha dado lugar a trabajos y experiencias en el próximo pasado. A partir de la década de 1960 estos trabajos presentan una tendencia que podríamos denominar «evaluación de cuestionario». En efecto, proliferan las publicaciones monográficas que presentan un cuestionario de evaluación de centros docentes o un conjunto de cuestionarios específicos en relación con determinados temas organizativos (el director, el clima institucional, la toma de decisiones, etc.). Esta tendencia (e)valuativa que recoge y sistematiza las «opiniones» de profesores o de otros agentes personales de la escuela es subsidiaria de una orientación funcionalista y de relaciones humanas en la comprensión de la realidad organizada que surgió en oposición a la orientación tecnológico-racional, centrada en el análisis de los factores 7

8 estructurales de la organización (órganos, funciones, recursos, ratios, etc.) que dominó el escenario organizativo en toda la primera mitad del siglo XX y parte de la segunda. Las investigaciones sobre la organización desarrolladas en el campo de la sociología, especialmente el estructuralismo, así como las aportaciones de la antropología cultural, ha venido a subrayar la importancia de los factores simbólicos en la interpretación de la escuela como grupo organizado. Son los factores culturales los que cohesionan y dan significación a la heterogeneidad de elementos y de percepciones que capta la observación empírica. Así pues, la evaluación sobre la escuela como organización presenta tres dimensiones que han de ser consideradas: l) la estructural, 2) la funcional-relacional y, 3) la cultural. En consecuencia, el modelo de «cuestionario» resulta muy rudimentario; los análisis estadísticos de tipo estructural, muy simplistas; los estudios empíricos de tipo relacional, un caleidoscopio sin soluciones explicativas satisfactorias, etc. Es necesario un cambio de tendencia. En efecto, hasta ahora la evaluación era cosa de expertos, de cuestionarios externos, de guarismos complejos. El papel de los miembros de la organización era pasiva, receptiva (contestar a cuestionarios). La nueva orientación pone en el centro de la evaluación organizativa a los mismos actores de la organización. La escuela gestiona su propia evaluación; es decir, la evaluación se convierte en un recurso de autoconstrucción de la escuela a partir de su propia acción. Es necesario pasar del modelo «recibir-el-pescado» (cuestionario) a «aprender-a-pescar» (ser capaces de evaluar aspectos concretos de la organización que incrementen su conocimiento y las estrategias de mejora). En síntesis, la evaluación interna del centro educativo es fundamental en relación con la utilidad de la evaluación. Eso no excluye la evaluación externa o la interna-externa, pero siempre fundamentada o complementada con la interna. La evaluación interna es un factor de transformación y, la evaluación externa, un factor de contraste y de homologación. El centro educativo para evaluar determinados aspectos de su organización puede contar con recursos externos como por ejemplo asesores, evaluadores externos, modelos, instrumentos, etc., pero siempre enmarcados en las estrategias internas de evaluación. Las estrategias más actuales de evaluación organizativa vinculadas a la reflexión sobre la eficacia institucional son, por un lado, los círculos de calidad procedentes del mundo industrial (aplicados con éxito por la industria automovilística japonesa en la década de los años ochenta) y, por otro, la propuesta de investigación en la acción procedente de las ciencias sociales. 8

9 OBJETO DE EVALUACIÓN - Acotar el objeto. -Evaluabilidad del objeto PLANIFICACIÓN EVALUATIVA Evaluador/es Diseño evaluativo ANTES Objetivos de evaluación Criterios de valor -Coherencia: objetivos, criterios, instrumentos. -Coherencia: normas, instrumentos, evaluadores Instrumentos Normas de aplicación -Coherencia: informes /receptores con objetivos y normas. Informes / Receptores DURANTE DESARROLLO DE LA EVALUACIÓN (en coordenadas espacio temporales) -Aplicación instrumentos -Interacciones procesuales -Recogida de información DESPUÉS TRATAMIENTO INFORMACIÓN EVALUATIVA Valoraciones Datos y informaciones Evaluaciones -En función del diseño evaluativo y del desarrollo (cultura evaluativa del grupo) habrá una decantación: -De datos. -De valoraciones subjetivas. -De evaluaciones (juicios intersubjetivos fundamentados en datos e informaciones objetivadas. INFORMES EVALUATIVOS -Tipología de informes -Receptores: cliente, usuario, consumidor, diudadano METAEVALUACIÓN Crítica de la evaluación -Relación evaluación/entorno -Rigor y adecuación del diseño -Valor del desarrollo -Valor informes: significado, utilidad. Cuadro 4 9

10 Un elemento básico para que los centros educativos desarrollen estrategias evaluativas internas es que dispongan de elementos para gestionar con autonomía los procesos evaluativos. Las fases en la gestión de la evaluación son: l) la planificación de la evaluación o diseño evaluativo, 2) el desarrollo de la evaluación, 3) el tratamiento de la información evaluativa, 4) la expresión documental de la evaluación (informes) y, 5) la reflexión crítica de la evaluación desarrollada (metaevaluación). En el Cuadro 4 se expresan gráficamente las distintas fases y los elementos del proceso de gestión evaluativa. LA EVALUACION CURRICULAR La orientación curricular de la Reforma educativa en curso ofrece una perspectiva superadora del concepto tradicional de evaluación como «calificación de los alumnos» (poner notas). En efecto, la evaluación -como hemos indicado anteriormente- es un recurso implícito en el proceso de enseñanza y aprendizaje con significación autoconstructiva para el profesor y para los alumnos. Se pasa de una evaluación orientada unilateralmente por los resultados finales (notas) a una evaluación que aporte información sobre los procesos educativos especificando avances y identificando dificultades, de manera que tanto el profesor como el alumno aprendan y vayan adoptando las decisiones más idóneas. Lograrlo será un proceso lento, pero esperamos que inexorable, a medida que vaya emergiendo una cultura evaluativa que libere energías inéditas en las personas que participan en los procesos evaluativos. En la literatura y en el discurso educativo más actual, cuando se habla de evaluación, inmediatamente se hace la distinción entre evaluación sumativa y formativa atribuyendo un significado opuesto y polarizado a estos conceptos. Hoy esta distinción maniquea no tiene sentido. Más bien entendemos la complementariedad de estos dos tipos de evaluación. La LOGSE prescribe que la evaluación en la educación obligatoria es «continua y global» para la Educación Primaria, y «continua y integradora» para la Educación Secundaria Obligatoria. Por otra parte, hay normativa específica de «mínimos curriculares» en relación con las diferentes Etapas educativas y áreas curriculares. Estos dos factores permiten concluir que el modelo evaluativo durante los diez años de educación obligatoria es de tipo criterial (evaluación formativa centrada en el sujeto que aprende -criterio subjetivo-), pero referenciado en norma externa (evaluación formativa centrada en el criterio externo normativo -criterio objetivo-). Es decir, un modelo formalmente contradictorio (criterio subjetivo / objetivo), pero que - praxeológicamente- se supera a través de una integración ponderativa. Una aproximación más detallada en la distinción de estos dos referentes criteriales, del sujeto que aprende (nivel del alumno: aptitudes y actitudes) y del objeto (programa de aprendizaje elaborado por el centro educativo o Proyecto Curricular), se aprecia en el 10

11 Cuadro 5. CRITERIO EXTERNO OBJETIVO Norma -"Mínimos legales" (objetivos terminales de Etapa y área -Programa externo. CRITERIO SUBJETIVO (INTERNO) Criterio internosubjetivo a) dimensión subjetiva: rasgos del sujeto que aprende -A priori: potencialidad de aprendizaje -A posteriori: aprendizaje realizado (lo que ha aprendido en un período dado) CRITERIO OBJETIVO (INTERNO) Criterio internoobjetivo b) dimensión objetiva: el programa de aprendizaje. -Proyecto Curricular (segundo y tercer nivel de concreción, incluyendo las adaptaciones curriculares individualizadas. Cuadro 5 En consecuencia, el modelo evaluativo expresado posibilita el desarrollo de actividades evaluativas insertas en el mismo proceso educativo por medio de: l) la observación de las actividades de aprendizaje (libre, pautada, etc.), descripción, narración, negociación, interpretación, caracterización, etc.; y 2) actividades evaluativas de contrastación y de recapitulación a través de la aplicación de pruebas variadas (test, escalas, cuestionarios, etc.), por ejemplo, al final de cada unidad curricular. La información evaluativa resultante de estos dos procesos permitirá tener una visión más amplia de los avances del alumno, así como de sus dificultades; de la adecuación de la enseñanza dispensada y de la eficacia de la interrelación educativa. En la regulación normativa de la evaluación choca el distinto tratamiento que se da a la evaluación obligatoria y a la postobligatoria. El mantenimiento del modelo de evaluación cuantitativa de resultados para la Educación Secundaria Postobligatoria obligará a una armonización de facto de la acción educativa, en muchos centros de Educación Secundaria Obligatoria, desde los parámetros de la evaluación cuantitativa (Bachilleres y Selectividad). Por otra parte, el desafortunado modelo de ponderación evaluativa regulado para la Educación Primaria reduce la significación evaluativa a un esquema binario imperfecto, ya que los alumnos que «progresan adecuadamente», también «necesitan mejorar» y, éstos últimos, seguro que en algún aspecto han «progresado adecuadamente». LA EVALUACION FACTOR DE DESARROLLO PERSONAL Y PROFESIONAL Los humanos evaluamos los objetos y las situaciones para conocerlas, comprenderlas y de esta manera ubicarlas en un mundo de significados que nos sitúan existencialmente. Así, cuando evaluamos nos comunicamos con el objeto evaluado creando un mundo de relaciones determinado que actúa como señal y referente en nuestra comunicación con los otros. Ciñéndonos a la realidad educativa, la información evaluativa debe resultar significativa -al profesor y al alumno- con el fin de posibilitar el ejercicio efectivo de la construcción de valores en relación a los procesos de enseñanza y aprendizaje. En este sentido, la evaluación es un factor constante de comunicación de valores construidos -en relación al aprendizaje- con efectos realimentadores del discurso y la acción del alumno y del profesor. 11

12 La comunicación evaluativa integrada en los procesos de enseñanza y aprendizaje es un factor de desarrollo profesional para el profesor y un recurso autoconstitutivo para el alumno y para el grupo-clase. No obstante, procede considerar que el aprendizaje valorativo no es lineal, sino que está mediatizado por factores situacionales de tipo personal, socioeconómico y cultural (códigos de poder y de control). En consecuencia, los valores construidos pueden responder a un signo de desarrollo y de emancipación o, contrariamente, de bloqueo, regresión y dependencia. Como hemos indicado anteriormente, los estadios de construcción valorativa van desde las valoraciones puramente subjetivas, a las valoraciones intersubjetivas que pueden estar o no fundadas en datos e informaciones objetivadas. El uso de unas estrategias u otras en relación con las situaciones expresa la madurez axiológica de las personas y de los grupos. La pluralidad legítima de los valores, propia de las sociedades democráticas, añade un factor fundamental en los procesos de construcción evaluativa con aperturas al debate, la negociación, el contraste, el escrutinio crítico de las acciones, así como de la propia evaluación. En efecto, los valores atribuidos en un proceso evaluativo son, por definición, situacionales: serán válidos mientras no se disponga de datos e información que lleven a un juicio de valor más adecuado a la nueva situación. El Cuadro 6 expresa los estadios básicos en el proceso de construcción evaluativa. - Construcción social de valores en base a datos e informaciones objetivadas. EVALUACIÓN INTERSUBJETIVA (Valoraciones objetivadas) - Conocimiento interpersonal. - Construcción de valores fundamentados objetivamente. EVALUACIÓN INDIVIDUAL (Valoraciones objetivadas) - Conocimiento personal. - Investigación (básica, operativa sistemática, etc.). HECHOS, DATOS, COMPROBACIONES FENÓMENOS DESCRIPTIBLES - Conocimiento instrumental (ciencias fisico-naturales). - Conocimiento práctico (ciencias sociales). - Marco socio-cultural. - Situación individual (experiencia personal) VALORACIONES SUBJETIVAS (individuales y colectivas) - Mitos. - Creencias. - Opiniones Cuadro 6 Nota l. Esta distinción, entre otras, la expresó Scriven (1967) un marco de lucha entre el paradigma cuantitativo y el -emergente-cualitativo. Glosario Medida (encicl.): «Medir es determinar la cantidad de una magnitud por comparación con otra que se toma como unidad. "Igualar o comparar una actividad, aptitud. etc. con otra". "La medida es la expresión numérica del resultado de medir una magnitud, dimensión o cantidad". «Proporción de una cosa con otro». 12

13 Valoración: «Valorar es la expresión de la capacidad humana de atribuir juicios de valor en relación a objetos, hechos, fenómenos y situaciones». Evaluación:«Evaluar es la expresión de la capacidad humana de construir valores ajustados a los hechos a partir de la consideración rigurosa de los datos e informaciones objetivadas». Referencias bibliográficas ALVIRA. F. (1982): «Perspectiva cualitativa-perspectiva cuantitativa en la metodología sociológica-. Revista Española de Investigaciones Sociológicas, 22, COOK, T.D.; REICHARDT, CH.S. (1986): Métodos cualitativos y cuantitativos en investigación educativa. Madrid. Morata. CRONBACH, L.J. (1963): «Course improvement through evaluation». Teachers College Record 64, GLASER, R. (1963): «Instructional technology and the measurement of learning outcomes: some questions.. American Psychologis 18, MATEO, J.: «Conceptes i técniques d'avaluació. Avaluació educativa. Ponencia del Curs de Gestió i Direcció per a la Formació de Direcius Escolars, Barcelona. Generalitat de Catalunya (inédito). MACDONALD, B. (1976): «Evaluation and the control of Education.. En Tawney, D.: Curriculum evaluation today: Trends and implications Londres. McMillan. OWENS, T. (1973): «Educational evaluation by adversary procedings». En HOUSE, E. (comp.): School evaluation: The politics and process Berkeley (California). McCurchan. PARLETT, M.; HAMILTON, D. (1976): «Evaluation as illumination». En Tawney, D.: Curriculum evalualion today: Trends and implications. Londres. McMillan. PEREZ, A. (1983): «La evaluación didáctica». En: Gimeno, J.; Pérez, A.: La Enseñanza. su teoría y su práctica. Madrid. Akal. POPHAM, WJ. (1971): Criterion-referenced measurement. Englewood Cliffs (New Jersey). Educational Technology Publications (trad. cast: Evaluación basada en criterios. Madrid. Magisterio Español, 1983). POPHAM, W.J. (1975): Educational evaluation. Englewood Cliffs (New Jersey). Prentice Hall. RUL, J. (1990): El proyecte de Gestió del Centre Educatiu. Barcelona. Departament d'ensenyament. Generalitat de Catalunya. RUL, J. (1994): «L'avaluació comunicativa, factor de creixement professional, organitzativa i curricular». Perspectiva Escolar, 183, 23. RUL, J. (en prensa): La memoria avaluativa del Centre Educatiu. Un model integral d`avaluació organitzativa y curricular. Barcelona. Departament d'ensenyament. Generalitat de Catalunya. SANTOS, M. A. (1990): Hacer visible lo cotidiano. Teoría y práctica de la evaluación cualitativa en los centros escolares. Madrid. Akal. SCRIVEN, M. (1967): "The methodology of evaluation". En Stake, R.W. y otros: Perspectives on curriculum evaluation AERA (Monograph Series on Curriculum Evaluation), l. Chicago. Rand McNally. STAKE, R.E. (1975): «Program evaluation particularly responsive evaluation-. Occasional Paper Series, 5. Chicago. Evaluation Center/Western Michigan University. STUFFLEBEAML, D.L. (1971): «The relevance of the CIPP evaluation model for educational accountability». Journal of Research an Development in Education,1, vol. v, THORNDIKE, R-L (1971):,Educational measurement. Washington. American Council of Education. TYLER, R.W. (1942).-General statement of evaluation-. Journal of Educational Research, TYLER, R.W. (1967): Changing concepts of educational evaluation». En: Stake, R.E. (comp.): Perspectives of curriculum evaluation. (vol. l), New York. Rand McNally. 13

14 Actividad 1: DISEÑO DE EVALUACIÓN N. Zaitegi y Rul Finalidad de esta evaluación: Agentes: Audiencias o receptores: Objeto: Objetivos: n. Objetivos 1 Indicadores de calidad n n

15 1.n N n.1 n.2 n.n Nº Obj/Ind. Tipo Nombre INSTRUMENTOS DE EVALUACIÓN: Éticas Técnicas Humanos Materiales Funcionales NORMAS DE APLICACIÓN: RECURSOS: REUNIONES DE EVALUACIÓN: Tarea Participantes Fechas 15

16 INFORMES METAEVALUACIÓN 16

17 DISEÑO DE EVALUACIÓN Finalidad de esta evaluación: Clarificar el fin último de la evaluación ayudará a quitar posibles temores por el uso que de la misma pueda hacerse y las consecuencias que del mismo puedan derivar para las personas evaluadas. En la evaluación interna es importante definir la finalidad en la fase previa o de sensibilización. La evaluación, a grandes rasgos, puede servir como mejora (conocer para mejorar), como mejora (proceso de desarrollo personal e institucional) o de la mejora (de las acciones que se han puesto en práctica). En las instrucciones se proponen 5 finalidades. Agentes: Quién o quiénes llevarán a acabo la evaluación: Responsables (Una Comisión de evaluación. Equipo Directivo) y colaboradores. En una metodología participativa los agentes podrían clasificarse en responsables y directores del proceso evaluativo y participantes en el análisis de los datos y en la creación de juicios de valor y propuestas de mejora. Audiencias o receptores: A quién se informará de los resultados de la evaluación, a nivel interno y externo. Hay que preguntarse a quién le interesa, qué le interesa y para qué. Objeto: Responde al qué evaluar. Es el tema, o conjunto de temas interrelacionados, seleccionado para ser evaluado debido a su relevancia, evaluabilidad, practicidad y concreción. Puede referirse a un tema concreto de necesidad e interés para el centro o alguno de los que se citan en las instrucciones. Se ha de redactar con precisión, lo más claro y simple posible. De la forma más unívoca posible: Tema, descriptores de concreción y descriptores de ubicación. La coordinación del profesorado del primer curso de la ESO, en el curso Objetivos: Lo que se pretende en relación con el objeto, qué interesa conocer del objeto?, qué es relevante de este objeto? (ver taxonomía) La estructura formal integra estos dos elementos: verbo en infinitivo y determinantes de la acción. 1. Conocer la estructura organizativa para la coordinación en esta etapa 2. Relacionar el plan de coordinación de esta etapa con las directrices para la coordinación del Reglamento de funcionamiento del centro. 3. Verificar el cumplimiento del plan de coordinación. Objetivos Indicadores de calidad: descripción del estado ideal, que se somete a una valoración para determinar las discrepancias entre este estado ideal y el real, esta distancia indicará las modificaciones necesarias para la mejora De cada objetivo se definen los indicadores; pueden ser uno o varios 3.1. Existe una planificación de la coordinación Se han realizado todas las reuniones previstas en el mismo 3.3. Se han tratado los temas previstos 3.4. Los acuerdos tomados en las sesiones de coordinación se hacen operativos 3.5. Todo el profesorado está satisfecho del clima y trabajo realizado en las sesiones de coordinación 17

18 INSTRUMENTOS DE EVALUACIÓN: Son las herramientas diseñadas para recoger la información necesaria. Se pueden adoptar, adaptar o crear. Pueden ser cuantitativos, cualitativos o mixtos. (ver clasificación de los instrumentos de evaluación) Nº Obj/Ind. Tipo Nombre Guía/An/ Doc. CUE Plan de coordinación: contenido, reuniones, temas, etc Profesorado del Primer ciclo de ESO: trabajo realizado y satisfacción Éticas NORMAS DE APLICACIÓN: Hacen referencia a las garantías previas como la confidencialidad, el anonimato, el respeto a las personas separándolas de sus actuaciones, etc. Se negocian y se explicitan. Se evaluarán en la metaevaluación. Técnicas Orientaciones/instrucciones para la aplicación Calendario de aplicación Recogida y tratamiento de los datos: Identificación de los datos e informaciones más significativas. Otras Humanos Materiales Funcionales RECURSOS: Responsables, colaboradores, asesores Reprografía, gastos varios, costo del asesoramiento, dietas, etc. Tiempo. Ajustado a las tareas. Contabilizar el tiempo de todas las personas participantes (suele ser uno de las recursos escasos y que hace fracasar buenos diseños) Formación: Necesidades y respuesta a las mismas. Asesoramiento Tecnología: Modelos de diseños de evaluación, instrumentos, etc. REUNIONES DE EVALUACIÓN: Recogerá: Los procedimientos que se van a aplicar para garantizar la participación de todos los sectores de la comunidad escolar tanto en el proceso como en los resultados, incluida la valoración de las conclusiones y la formulación de las correspondientes propuestas de mejora. (Orden 16/9/1996. Art. 17) Tarea Participantes Fechas Sensibilización. Necesidad de evaluar. Potencialidad Todo el? 1ª de la evaluación interna claustro? C.Escolar? Otros? 2ª Negociación del diseño? N 3ª Análisis de los datos, creación de juicios intersubjetivos, propuestas de mejora 4ª Negociación de informes Metaevaluación 18

19 INFORMES Comunicación escrita, claro, fácil de entender, con información, juicios de valor y propuestas de mejora. Tipología, según los receptores Terminología adecuada a los receptores (ver modelo de informe evaluativo) METAEVALUACIÓN Es evaluación de la evaluación con el fin de identificar los pintos fuertes y débiles que, en un proceso de aprendizaje continuo, orientan la acción corrigiendo los posibles errores. Supone recoger información, analizarla, valorarla y detectar las mejoras necesarias. (ver ficha metaevaluativa) Este es un posible modelo de diseño, existen o pueden elaborarse otros, para trabajarlo en talleres con el ETCP, Equipos Directivos o profesorado responsable de la evaluación interna El diseño de la evaluación se ha realizado tomando como referencia el modelo evaluativo GE- Rs de J. Rul, los principios de la evaluación basada en el centro de D. Nevo y de los principios para la evaluación interna del centro de M.A. Santos Guerra (ver bibliografía) ALGUNAS LECTURAS SOBRE EVALUACIÓN LIBROS: SIMMONS, H. (1995) La autoevaluación escolar como proceso de desarrollo del profesorado. En apoyo a las escuelas democráticas. En AA.VV. Volver a pensar la educación. Madrid. Morata CASANOVA, Mª A.(1995) Manual de evaluación educativa. Madrid. La Muralla NEVO, D. (1997). La evaluación basada en el centro. Bilbao. Mensajero HOUSE, E. R. (1994) Evaluación ética y poder. Madrid. Morata SANTOS GUERRA, M. A. (1990) Hacer visible lo cotidiano. Madrid. Akal ARTÍCULOS: Evaluación interna de centros. Tema del mes. Cuadernos de Pedagogía, nº 283. Septiembre de Barcelona. Praxis. JORBA, J. ET AL. (1993) La función pedagógica de la evaluación. Aula de Innovación educativa. Nº 20, Noviembre. Barcelona RUL, J. (1995) La evaluación comunicativa, factor de desarrollo humano, organizativo y curricular. Valorar, medir y evaluar. Aula de innovación educativa Nº 38 Barcelona RUL, J. (1998) Evaluar, moda o necesidad?. Aproximación a la función de la evaluación en la educación. Aula de Innovación educativa Nº 70 Barcelona 19

20 Actividad 2: INDICADORES DE CALIDAD Los buenos profesionales buscan incesantemente evidencias del éxito conseguido en su actuación profesional. Se preguntan: cómo lo estamos haciendo? La pregunta exige claridad acerca de lo que intentamos conseguir (objetivos) y acerca de cómo sabemos si lo hemos conseguido (indicadores de éxito, indicadores de calidad). 1. Selección y uso de indicadores de calidad Toda evaluación tiene algo de comparación. De modo explícito o implícito, la información recogida en el proceso de seguimiento de una actuación incorpora criterios que permiten enjuiciar la actuación y los tipos de información que son evidencia de éxito o de fracaso. Ésta es el mundo de los indicadores de calidad. "Un indicador de calidad es una afirmación que guía la valoración del logro de un programa o actuación. Permite asimismo fijar finalidades y clarificar objetivos. Para algunos indicadores de calidad una breve afirmación es suficiente. Para otros la afirmación necesita ser más específica y referirse a procesos complementarios que aporten medida de profundidad, calidad y/o implicación en determinada área o programa." La selección y uso de indicadores de calidad no es necesariamente una compleja tarea técnica, aunque algunos procesos de evaluación de las actuaciones en educación requieren un conocimiento específico, tanto en la aplicación como en la interpretación. 1ª pregunta: Que se quiere conseguir? Esta es la primera pregunta que requiere discutirse y sopesarse. Se necesita identificar las distintas áreas de actuación de cada programa y las preguntas que nos permitirán recoger la información oportuna. 2ª pregunta: Cuáles son los indicadores de éxito apropiados? Una vez identificadas las distintas áreas de actuación, se necesita identificar procesos, conductas, actuaciones... que nos permitan certificar el éxito en una determinada área. Es importante desarrollar un marco sistemático para que aparezcan todas las áreas de actuación relevantes y los indicadores apropiados para cada una de ellas. (Ver act. 1). 3ª pregunta: Qué información recoger y procesar? La recogida y el procesado de los datos puede requerir refinar aún más los criterios de éxito, los indicadores de calidad. Los medios a nuestra disposición son variados: cuestionarios, entrevistas, observación... 4ª pregunta: Con qué se pueden comparar validamente nuestros resultados? Todo el proceso anterior tiene que situarse en una perspectiva de comparación. La mejora siempre se mide en relación a determinados estándares que permiten hacer un juicio de valor. Existen tres tipos de estándares: comparativos cómo lo hacemos en comparación con otro programa similar? de progreso qué camino hemos recorrido? objetivos estamos consiguiendo lo que nos propusimos? 20