UNIVERSIDAD NACIONAL DE TRES DE FEBRERO. Programa de Estudios Posdoctorales Residencia Posdoctoral Breve

Transcripción

1 UNIVERSIDAD NACIONAL DE TRES DE FEBRERO Programa de Estudios Posdoctorales Residencia Posdoctoral Breve Los sistemas de evaluación en la Universidad: CRITERIOS DE EVALUACIÓN CUERPO PRINCIPAL PRESENTADA POR Dr. Claudio Víctor DOMINIGHINI COORDINADA POR: Dra. Zulma CATALDI 2014 Dr. Claudio Dominighini Página 1

2 Los sistemas de evaluación en la Universidad: Criterios de evaluación Dr. Claudio Dominighini Página 2

3 Índice Introducción... 5 Planteamiento del Problema... 7 Objetivos... 7 Aspectos Metodológicos Criterios de evaluación: Normas o estándares: Criterios no estándares: Significatividad: Relevancia: Finalidad: Utilidad: Observable Accesible Condiciones Formales Procedimientos para el análisis de indicadores El programa en si mismo: Contenido del programa: Calidad técnica del programa: Evaluabilidad del programa: Necesidades y programas: Establecimiento de prioridades: Viabilidad: El programa en su desarrollo: El programa en sus resultados: Valoración: Continuidad: Utilidad de los indicadores en la evaluación de programas Ventajas que ofrece el uso de indicadores Principales dificultades en el uso de indicadores Criterios de evaluación generales aplicados a un espacio curricular (asignatura) Los conceptos básicos de la ciencia: El planteamiento y la resolución de problemas Sobre la expresión y la comprensión Sobre la noción de ciencia Sobre la participación y el trabajo en equipo Experiencia 1: Formulación de criterios de evaluación para contenidos específicos Conclusión de la Experiencia 1: Experiencia 2: Formulación de criterios de evaluación para contenidos tecnológicos Conclusión de la Experiencia 2: Criterios de corrección Experiencia 3: Análisis de los criterios de corrección en un examen de química Conclusión de la Experiencia 3: Conclusiones: Bibliografía Anexo I: Cuestionario-Guía sobre requisitos de los indicadores (Lázaro, 1991) Anexo II: Evaluación de los centros docentes Dimensiones, estándares e indicadores Dr. Claudio Dominighini Página 3

4 Noriega y Muñoz (1996: 28-31) Anexo III: Evaluación interna de programas educativos Pérez Juste (1995: ) Anexo IV: Descriptores que tratan de evaluar la adecuación del Proyecto Curricular de Centro Consejería de Educación y Ciencia de la Junta de Andalucía dentro del Plan Andaluz de Evaluación de Centros Docentes (1998) Dr. Claudio Dominighini Página 4

5 Introducción Este trabajo se enmarca en la temática general de los procesos de evaluación, en esta instancia en particular nos ocuparemos en analizar la formulación de criterios de evaluación y corrección. Hemos desarrollado la fundamentación teórica y reflexionamos sobre la formulación de criterios con distintos evaluadores, para proponer acciones de mejoras que integren a la evaluación como parte integrante de los sub-sistemas que integran a la universidad. La evaluación es una parte integral de los distintos procesos que se desarrollan en la universidad y cómo tal es fundamental indagar cuáles son las estrategias aplicadas y las herramientas utilizadas. La evaluación debe recuperar su rol como estrategia formativa y didáctica, y no limitarse tan solo a una función sumativa o discriminante (Broadfoot y Black, 2004), debe conformarse como una oportunidad muy valiosa para reinterpretar los errores para poder incrementar la proporción de aciertos que llevaron a obtener una calificación dada. Distintos especialistas han discurrido sobre la temática dándole un bagaje conceptual mucho más fundamentado desde lo académico. Estos aportes nos permiten conocer los fundamentos pedagógicos y didácticos para una evaluación autentica que contemple las heterogeneidades. La importancia de la evaluación ha sido puesta de manifiesto por numerosos autores e investigadores de la educación como Avolio de Cols (1987), House (1994), Camilloni et al. (1998, 2012), Álvarez Méndez (2003); Gvirtz y Palamidessi (2004), Santos Guerra (2008), Davini (2008), Perrenoud (2008), Anijovih (2011), entre otros quienes manifiestan que evaluar es comprender no sólo lo que le sucede al alumno sino a todos los implicados en el proceso de enseñanza y de aprendizaje considerado. Así, la evaluación debe cumplir dos funciones: a) ajustar pedagógicamente la propuesta de enseñanza y b) evaluar los resultados, es decir, si se han logrado las intenciones educativas (Coll, 1994). Evaluar consiste en emitir juicios de valor acerca de algo, con alguna finalidad: se evalúa para tomar decisiones con respecto a la marcha de un proceso, por ese motivo la evaluación no tiene un fin en sí mismo, no se evalúa por evaluar (Camilloni, 2012). No es suficiente que el docente proponga un objetivo, para que este se transforme en objetivo del estudiante. Para su progreso hacia la meta, el estudiante debe conocer los objetivos, participar y esforzarse, conocer los resultados obtenidos en cada uno de sus intentos, puesto que solo podría corregir sus errores si recibe información acerca de su localización y las estrategias más aptas para su corrección. Pero, la regulación no se produce si el estudiante no asimila el diagnóstico y acepta las sugerencias correspondientes; dado que la evaluación, debe internalizarse, debe transformarse en autoevaluación. Si esto no sucede, la función de la evaluación se limita a ser motivacional sobre el aprendizaje. Por lo tanto, para la toma de decisiones se debe obtener información sobre: a) Lo que se debe decidir, b) La información que se necesita para tomar esa decisión, c) La selección del tipo de instrumento de evaluación más adecuado y su construcción y 4) El informe de los resultados, ya que la autoevaluación debe ser analizada e interpretada de manera tal de producir finalmente un juicio de valor que pueda orientar la acción (Camilloni, 1998). La evaluación de los aprendizajes se realiza durante todo el proceso de enseñanza, en cada una de sus etapas y se clasifica de acuerdo al nivel de información a obtener en: a) diagnóstica, b) formativa y c) sumativa. Así se pueden describir: a) Evaluación diagnóstica, que es la que se realiza antes de iniciar una etapa nueva de aprendizaje a fin de conocer el nivel de preparación de los estudiantes. Es un Dr. Claudio Dominighini Página 5

6 instrumento de ajuste y recurso didáctico que debe llevar a la adecuación de las estrategias de enseñanza. b) Evaluación formativa, es la que se realiza durante el proceso de enseñanza y de aprendizaje, es una evaluación constante, cuya finalidad es detectar los logros y las carencias. Esta observación sistemática permite identificar las dificultades y los avances de los alumnos durante el proceso de aprendizaje para poder realizar el ajuste progresivo. Se centra en los procesos y trata de detectar los puntos débiles, los errores y las deficiencias, de modo que el estudiante los pueda corregir y aclarar a fin de poder continuar el proceso educativo. Así, la detección de los errores son una fuente importante de aprendizaje; cuando el estudiante se equivoca y tiene la oportunidad de probarlo y de descubrir por qué, en qué consistió su error y cómo debe corregirlo, alcanzará un aprendizaje con más significatividad que si no se hubiera equivocado. Por ello, es importante y recomendable realizar las autoevaluaciones que permitan a los estudiantes evaluarse a sí mismo, entre pares y en grupos. c) Evaluación sumativa, es la que se realiza cuando finaliza una etapa de aprendizaje a fin de contrastar los resultados alcanzados. Se debe determinar si los alumnos han alcanzado los objetivos educativos a través de sus logros a fin de saber el grado de éxito de la propuesta educativa. Como este tipo de evaluación que está vinculado con la acreditación, su resultado se consolida a través de una calificación (Camilloni et al, 1998). Se trata de obtener información que resulte de utilidad para tomar decisiones respecto de qué enseñar, cómo y cuándo se lo ha de enseñar, cuanta práctica necesitan los alumnos y cuáles son los problemas que se presentan. Hay varias concepciones sobre evaluación formativa que tienen en común el análisis de los procesos de enseñanza y de aprendizaje y la intención de que la información recogida permita mejorar los procesos evaluados. La idea y práctica de la evaluación formativa siguieron la historicidad de las teorías didácticas y en el enfoque de la evaluación formativa las ideas de metacognición y autoevaluación resultan centrales. La evaluación formativa tiene dos propósitos que son: a) descubrir cuánto han aprendido los alumnos, y b) si la enseñanza ha sido planificada y llevada a cabo adecuadamente. Es decir, sirve para seguir el progreso del alumno y para proporcionarle una feedback, que permita regular los dos procesos (de enseñanza y de aprendizaje), su ritmo y modalidad, con el fin de lograr que todos o la mayoría de los alumnos alcancen las metas previstas. Además se busca determinar la mejor secuencia de la enseñanza y garantizar que en cada etapa se haya aprendido lo necesario para pasar a la etapa siguiente, es decir tiene un propósito de mejorar la eficiencia pedagógica y social del sistema, funcionando como regulador interno del proceso (Camilloni, 1998). Perrenoud (2008) habla de la pedagogía remedial, la regulación de la enseñanza actúa por defecto cuando esta falla. La evaluación formativa es necesaria y aunque exista desinterés de alumnos, requiere de tiempo, buenas condiciones de trabajo y buena formación pedagógica del docente para su ver como evoluciona el proceso. Tomando como base las ideas de Gimeno Sacristán (1981) al hacer partícipe del estudiante en su propio proceso de aprendizaje, se puede fundamentar la autoevaluación en el aprendizaje autorregulado, es decir cuando el alumno es capaz de ser un participante activo de su proceso desde el punto de vista metacognitivo, conductual y motivacional (Zimmerman, 1989, 1994). Dr. Claudio Dominighini Página 6

7 Planteamiento del Problema La problemática de la evaluación excede el ámbito universitario, pero es primordial que la universidad genere líneas de investigación de esta problemática. Fundamentalmente podemos focalizar el problema en que la evaluación no se ha integrado filosófica y políticamente a los procesos de mejora, se la toma desde una concepción sociológica del poder de quien evalúa sin tener presente que la misma debería formar parte normal y habitual de cualquier sistema. Uno de los problemas a la hora de evaluar es sobre que criterios se formulan las distintas estrategias de evaluación en los diferentes espacios curricualres y en base a que criterios de corrigen y se les asignan puntajes a los exámenes. Objetivos Objetivo General: Analizar los diversos sistemas de evaluación en la universidad. Objetivos específicos: a) Analizar los fundamentos teóricos que sustenta la formulación de criterios de evaluación. b) Formular criterios de evaluación para diferentes espacios curriculares. c) Analizar los fudamentos teóricos referidos a los criterios de corrección y su utilidad. d) Formular criterios de corrección para diferentes espacios curriculares Aspectos Metodológicos La metodología adoptada tiene cómo objetivo la posibilidad de generalización de resultados. Nos basamos en la investigación cualitativa interpretativa, buscando interpretar y entender a los actores en su escenario propio, desde el análisis y la reflexión, para poder llegar a las propuestas de procesos de mejora. Se tomó, como estudio de caso, el trabajo desarrollado por distintos grupos de docentes referidos a la formulación de criterios de evaluación y corrección como así tambien el marco teórico que sustentó dicho análisis. Luego de desarrollar el marco teórico referido a los criterios de evaluación y corrección, se trabajó con dos grupos de docentes. Con el primer grupo docentes de química, se trabajó en la formulación de criterios de evaluación para contenidos específicos (Experiencia 1). Con el segundo grupo, docentes de materias tecnológicas, electricidad y construcciones, se trabajó también en la formulación de criterios de evaluación de contenidos específicos de esos espacios curriculares (Experiencia 2). En la (Experiencia 3) desarrolló un trabajo referido a los criterios de corrección, también con un grupo de docentes de química. Dr. Claudio Dominighini Página 7

8 1. Criterios de evaluación: Un criterio de evaluación es un referente interno ó externo de calidad que permite valorar un programa de evaluación, siendo un programa de evaluación un plan de acción que forma parte de proyecto educativo de una institución. En algunas ocasiones estos criterios son emergentes al mismo proceso de evaluación, es decir forman parte las distintas instancias del desarrollo curricular. Debemos tener presente que la evaluación debe ser un ejercicio transparente en todo su recorrido, en el que se garantiza la publicidad y conocimiento de los criterios que se han de aplicar Normas o estándares: Un criterio de evaluación puede establecerse en forma de normas o estándares o en forma de criterios no estándares. Las normas (estándares) son unidades de medición (Dewey, 1934). Las normas que se manejan en el sistema educativo proceden, según Noriega y Muñoz (1996), de dos fuentes principales: La fuente legislativa: Esta fuente genera las disposiciones legales establecen multitud de declaraciones de expectación obligatorias en cuanto a su cumplimiento. Reciben el nombre específico de normas legales que posee toda institución educativa, son las resoluciones, reglamentos, etc La fuente epistemológica: Esta fuente nos aporta los conocimientos de los especialistas y profesionales en una determinada área de las Ciencias de la Educación que han llegado a una serie de conclusiones las cuales sirven para elaborar las directrices con las que guiar los procesos educativos. Fijar normas o estándares de evaluación requiere de un importante nivel de consenso social, para que sean reconocidas tienen que ser aceptadas colectivamente. Así, respecto del contenido del programa un criterio estándar de calidad es la coherencia entre el programa y las bases socio-psico-pedagógicas (la teoría) en que dice ampararse. Este criterio permitiría, valorar la medida en que el programa se apoya en unos fundamentos teóricos sólidos. En relación con el desarrollo del programa, un criterio que cuenta con el suficiente respaldo entre los evaluadores es el de la conformidad con la planificación: la constatación de un nivel aceptable de conformidad entre planificación y desarrollo curricular es un término que permite establecer la calidad de la aplicación de un programa de evaluación La cualificación métrica del estándar: Los estándares admiten diferentes gradaciones, desde un mínimo exigible hasta un óptimo deseable. Esta característica permite conducir el proceso de evaluación a través de estándares que matizan la frecuencia o el grado de aproximación de la realidad evaluada. La cualificación métrica del estándar puede ser por: a) Presencia/ausencia Dr. Claudio Dominighini Página 8

9 b) Frecuencia de aparición del mismo, como se representaría en una escala del tipo Nunca, a veces, siempre. c) Valoración cualitativa, en escalas del tipo: Deficiente... Excelente (Noriega y Muñoz, 1996: 10). La valoración de la ratio de egresados matriculados o el número de alumnos por aula pueden considerarse como criterios con referencia a normas estándar cuando se utilizan en relación con la media global Criterios no estándares: Estos adoptan la forma de argumentaciones o razones en las que se fundamentan las valoraciones sobre los componentes de un programa. El tipo de metodología docente o el sistema utilizado en la evaluación de los alumnos constituyen criterios cuyas normas no son estándar y por tanto reclaman previamente un consenso intersubjetivo para que cada observador pueda leer el mismo valor a partir de los datos que ofrece un instrumento o indicador. De lo contrario, lo que para unas personas son criterios de calidad para otras simplemente son datos (de Miguel, 1991:32). Aplicar este tipo de criterios exige familiaridad con lo que representan los juicios y valoraciones, habilidad para proveerse de razones que justifiquen esos juicios y, por supuesto, entender porqué unos criterios y no otros resultan relevantes para juzgar el programa que se evalúa. Entonces, como señala Eisner (1993), aplicar criterios no estandarizados es una empresa intelectualmente mucho más compleja que aplicar una norma Indicadores. Las normas y los criterios no estándares, para ser aplicados en un proceso de evaluación, tienen que concretarse bajo la forma de un conjunto de variables empíricamente observables y que proporcionen información -cuantitativa o cualitativa- pertinente sobre el programa objeto de evaluación, es decir, mediante indicadores. Así los indicadores los podemos clasificar en índices y descriptores Índices: Cuando el indicador tiene una expresión numérica se le conoce con el nombre de índice. La ratio, la tasa, la frecuencia, etc. son ejemplos típicos de índices numéricos utilizados en la evaluación de programas Descriptores: Cuando el indicador no traduce una expresión numérica sino que se define en forma escalar o aparece como valoración o argumentación se le denomina descriptor. Un descriptor puede, por tanto, indicarnos la presencia/ausencia de un elemento a evaluar, el grado de consecución del mismo o un juicio de valor/una argumentación sobre el elemento objeto de evaluación. Dr. Claudio Dominighini Página 9

10 Formalización de indicadores de evaluación. Como ya hemos señalado un indicador supone una forma de concretar un criterio de evaluación. Lógicamente, lo que buscamos no son manifestaciones accidentales sino esenciales de aquello que pretendemos evaluar. Por tanto, un indicador debe acercarnos a las manifestaciones significativas de la realidad, debe guiarnos en los detalles básicos que nos llevan al conocimiento más fidedigno y profundo de las cosas. La realidad que evaluamos puede aparecer bajo formas externas controlables y observables o bajo otras que están implícitas en un modo de actuar cotidiano. Pues bien, el indicador debe hacer referencia tanto a lo externo como a lo interno; así, indicar es dar a entender o significar, a través de indicios o señales, el conocimiento de lo oculto, o al menos, de lo desconocido. Pero, además, el indicador no sólo informa del presente sino que -como señala Lázaro, 1992:480- puede convertirse en el vestigio o huella de algo que ha sucedido; el indicador localiza situaciones del presente con referencia a lo que ocurre en este momento como si fueran restos del pasado. Pero, sobre todo, el indicador debe definir el objeto al que se refiere. Lo que implica una relación de dependencia del indicador respecto al objeto referido (el indicador adscribe propiedades a aquellos objetos que indica), relación que supone objetividad. Esa objetividad no implica totalidad sino complementariedad, dado que el indicador se refiere tan sólo a una parte de lo que podría estudiarse y desde luego esa referencia está asociada a un espacio y un tiempo determinados Características y requisitos en la formulación de indicadores. Un punto de partida en el tratamiento de este tema es el que establece Lázaro (1992), que identifica tres grandes dimensiones en torno a las que se agrupan las características y requisitos a tener en cuenta en la elaboración de indicadores: las características del constructo, las condiciones de medida y las condiciones formales Las características del constructo: Las características del constructo aluden a la relación entre el indicador y el objeto al que se refiere, es decir, estudian hasta qué punto el indicador es una guía o señal adecuada hacia un referente. Desde este punto de vista, el contenido del indicador debe responder a las siguientes condiciones: Significatividad: La significatividad de la relación entre el indicador y las propiedades del objeto que señala. En esencia, el indicador debe recoger alguna propiedad del objeto evaluado. Por ejemplo: si el referente a evaluar dentro de un programa son los procesos de enseñanza, un indicador como tiempo dedicado a la coordinación y revisión de la enseñanza debería tener que ver con algún aspecto de los procesos de enseñanza; efectivamente, en este ejemplo de indicador ese aspecto es la coordinación de la enseñanza Relevancia: La relevancia del indicador es la propiedad recogida por el indicador, que puede ser esencial o accidental, siendo el indicador más relevante cuanto mejor represente al objeto con el que se relaciona. Por ejemplo: con el referente anterior, un indicador como ratio de Dr. Claudio Dominighini Página 10

11 asistencia a las clases puede ser menos relevante que otro como número de horas dedicadas a la docencia en el curso en relación con las previstas Finalidad: La teleologicidad del indicador, es decir la congruencia descriptiva del indicador por lo que debe estar en función de los objetivos y fines pretendidos, siquiera para un momento o época determinada en el que se desarrolla un programa. Un indicador puede ser válido para valorar la eficacia de un programa pero no para valorar las posibilidades de mejora que introduce. Así, el indicador tiempo dedicado a la coordinación y revisión de la enseñanza podría ser adecuado para evaluar la eficacia de los procesos de enseñanza en el desarrollo de un programa, mientras que un indicador como la descripción de los sistemas establecidos para efectuar el seguimiento de la docencia y la revisión de las enseñanzas parece más adecuado para evaluar las posibilidades de mejora de un programa en lo que respecta a los procesos de enseñanza Utilidad: La utilidad de un indicador ha de reclamar una información que contribuya a la definición del objeto de evaluación, describa sus situaciones, defina las problemas que le atañen y permita establecer predicciones. Un indicador como tasa de egresados en relación con los matriculados permite definir el objeto de evaluación -los resultados de un programay establece una relación que puede permitir conocer aspectos claves relacionados con las exigencias académicas, la dedicación de los estudiantes, la calidad de la docencia, etc Complementariedad-totalidad: La complementariedad-totalidad de indicador no puede ser interpretado aisladamente, sino que se le debe relacionar con el sistema de indicadores al que pertenezca. A partir de esa relación puede determinarse la potencia relativa que posee cada indicador, es decir, el sentido de progreso en el conocimiento de las cosas que se alcanza gracias a la organización y normalización de un sistema de indicadores Condicionantes de medida: Señala Lázaro (1992) que en todo indicador existe un componente de inferencia predictiva, de modo que la información que obtenemos a través del indicador (la parte observable de aquello que evaluamos) presupone la existencia del objeto al que se refiere el indicador. Cuando utilizamos un indicador como calificaciones obtenidas por el alumno a lo largo del curso, al menos estamos aludiendo a la posibilidad de que en el programa evaluado los resultados que obtienen sus usuarios se establecen a partir de un sistema de calificaciones. La posibilidad de establecer inferencias a partir de los indicadores permite conocer si un indicador es significativo -lo describe adecuadamente- respecto a lo medido (significatividad o representatividad) y si ese indicador describe más y mejor que otros indicadores aquello que mide (relevancia). Por otra parte, un indicador puede depender de otros indicadores bien porque sea un análisis detallado de un indicador más amplio ( número de alumnos que utilizan los servicios de apoyo a la docencia y número de servicios de apoyo a la docencia ) o porque secuencial y temporalmente no se puede producir sin la existencia de otros anteriores ( tasa de costo por graduado y presupuesto por alumno ). En su calidad de medida, junto a los elementos ya indicados, todo indicador ha de cumplir las siguientes condiciones: Dr. Claudio Dominighini Página 11

12 Observable. El indicador tiene que hacer referencia a características, manifestaciones o elementos del objeto evaluado que puedan ser analizadas y constatadas. Ha de ser una realidad que permita replicación y verificación, por tanto no debe hacer referencia a hechos ocasionales o meramente circunstanciales. Por ejemplo, un indicador como visitas programas a los museos es un elemento menos observable que número de actividades extraescolares organizadas, dado que el lugar o el itinerario de las visitas puede modificarse en cualquier momento Aplicable. Los medios y recursos que se utilicen para realizar la observación y recoger la información han de ser posibles y coherentes con los fenómenos observados. Por ejemplo, un indicador como coherencia entre el programa y las bases teóricas en que se fundamenta puede apoyarse en el análisis crítico de los documentos que recogen la teoría en que dice basarse el programa y su contraste con la instrumentación (diseño, materiales, etc.) propia del programa. Una lista de control podría ayudar a anotar las coincidencias o carencias entre lo establecido en la teoría y lo plasmado en el programa Accesible. Las fuentes deben ser accesibles a los objetivos de la evaluación. Si se utilizan fuentes inadecuadas, pero más accesibles, pueden desvirtuarse los datos y la significatividad de los mismos para el objeto de evaluación. En este sentido, es necesario seleccionar los indicadores que más se ajusten al tipo de fuentes a las que se tiene acceso, si bien procurando no limitar la definición del objeto de evaluación a la existencia de determinadas fuentes relativamente accesibles al evaluador. Por ejemplo, un indicador adecuado para conocer el impacto de un programa puede ser determinar el tiempo entre la finalización de un programa y el desempeño de la actividad profesional asociada al mismo ; pues bien puede no estar accesible la información que necesitamos (no hay registro en la entidad organizadora del programa sobre los niveles de empleo de los egresados o bien no se cuentan con direcciones de contacto fiables de éstos), pero también puede ocurrir que dicho indicador no se incluya en el sistema de indicadores porque no exista el registro del nivel de empleo de los egresados y el evaluador estime demasiado costoso sondear a los propios implicados a pesar de contar con sus direcciones actualizadas Codificable. Para establecer un sistema de codificación es preciso que el sistema de indicadores cuente con un esquema paralelo que permita anotar, valorar y reflejar las manifestaciones observadas. En ese sistema de codificación, la información proporcionada por los indicadores puede convertirse en índices (valores numéricos que reflejan tasa, ratio o frecuencia) o en descriptores (que reflejen la presencia/ausencia de un elemento o el grado de consecución del mismo). La consideración de los indicadores en forma de índices no debe hacernos olvidar que el tratamiento de tales valores numéricos debe respetar algunas reglas: No deben sumarse indicadores cuando uno es causa de otro (más de tres suspensosrepetición de curso). No deben sumarse indicadores cuando uno forma parte del otro, el peso dado al genérico se debe distribuir entre los que lo componen (calificaciones obtenidas por el alumnado a lo largo de los cursos - calificaciones en matemáticas en primer curso). Dr. Claudio Dominighini Página 12

13 Si los objetivos o finalidades de cada indicador son diferentes, no parece adecuado establecer ningún tipo de combinación matemática. Por ejemplo, cuando los indicadores están integrados en sistemas y objetivos diferentes, o si se realizan análisis utilizando índices distintos (presupuesto por alumno - ratio de asistencia a las clases) Condiciones Formales Tienen que ver con el modo en que se redactan y concretan los indicadores de modo que puedan ser utilizados de la manera más operativa posible. Algunas de estas condiciones apuntadas por Lázaro (1992) serían: Cada indicador tendrá un referente determinado, claro y definido, esto es, cada indicador ha de estar en conexión con un fenómeno específico a estudiar, en coherencia con una determinada variable y factor de un objeto. En relación con el punto anterior, cada indicador ha de solicitar información de una sola manifestación. Tendrá definida la situación a observar determinada en un contexto preciso, incluyendo un espacio y un tiempo determinado. La formulación ha de ser breve y concisa, de forma que se exprese con claridad y sin ambigüedades. El enunciado del texto tenderá a ser directo y descriptivo. Si existe una cadena de indicadores, se han de señalar y sistematizar en niveles de causalidad y/o de dependencia. Un indicador podrá desglosarse en ítems, es decir, concretar la petición en forma de ítem o cuestión. Este formato puede constituirse por sí mismo en el instrumento de recogida de la información Procedimientos para el análisis de indicadores Las tres dimensiones consideradas para formular indicadores, relativas al constructo, la medida y los aspectos formales, pueden traducirse en un instrumento que permita valorar la presencia o ausencia de los elementos que definen esas dimensiones. De ese modo, resulta posible conocer si los indicadores construidos para evaluar un programa o algún aspecto del mismo responden a los rasgos definitorios de un indicador. El Cuestionario-Guía sobre requisitos de los indicadores desarrollado por Lázaro (1991) es un buen ejemplo de este tipo de instrumentos para valorar la formulación de indicadores (anexo: I) Criterios de evaluación referidos a programas. En el modelo de evaluación de programas desarrollado por Pérez Juste (1995) encontramos referencias a los criterios de evaluación recomendables en cada uno de los momentos en que dicho modelo secuencia el proceso evaluativo: El programa en sí mismo. El programa en su desarrollo. El programa en sus resultados. El programa en si mismo. Dr. Claudio Dominighini Página 13

14 El programa en si mismo: Contenido del programa: El programa debe presentar coherencia entre el si y las bases socio-psico-pedagógicas en que dice ampararse Calidad técnica del programa: Especificación precisa y clara de las metas. Congruencia externa entre metas y teoría. Coherencia interna entre las partes del plan. Adecuación de los sujetos, evitándose tanto la falta de motivación cuanto la inexistencia de desafío o el exceso de exigencia (falta de realismo) Evaluabilidad del programa: Claridad y precisión del lenguaje utilizado. Claridad en relación con los criterios y referencias de evaluación. Previsión de las decisiones a tomar. Definición inequívoca de las variables. Explicitación de los componentes fundamentales del programa. Adecuación al contexto Necesidades y programas: Existencia y calidad técnica del diagnóstico de necesidades. Coherencia entre las necesidades detectadas y priorizadas y el programa formulado Establecimiento de prioridades: Atendiendo a elementos de carácter técnico/experto: relevancia, transcendencia, gravedad, rentabilidad, inmediatez, eficacia y responsabilidad. Atendiendo a elementos eminentemente subjetivos (interés/motivación expresos, expectativas personales/grupales). Adecuación a la situación de partida Viabilidad: Realismo en las metas del programa fruto de la adecuación a medios y recursos. Aprovechamiento de medios y recursos mediante su adecuada dinamización, plan y orden El programa en su desarrollo: Conformidad con la planificación. Lo que supone revisar la existencia de desfases/desajustes, resultados parciales y efectos no programados. Incardinación con el proyecto educativo, en el que el programa evaluado puede coexistir con otros programas. Satisfacción del personal. Dr. Claudio Dominighini Página 14

15 El programa en sus resultados: Valoración: Cumplimiento de los niveles de logro pre-especificados en términos criteriales a partir de las metas y niveles previamente especificados técnicamente por los responsables normativos Continuidad: Control interno del plan. Grado de participación de los implicados. Sistema de revisión establecido sobre las decisiones tomadas. En el anexo II y III del presente trabajo mostramos propuestas de indicadores que difieren, además de en el contenido de las dimensiones a evaluar, en la forma de presentación de tales indicadores Utilidad de los indicadores en la evaluación de programas. Existe una curiosa paradoja en relación con el uso de indicadores en la evaluación de programas educativos. Mientras se concede cada vez más importancia a la formulación de indicadores como elemento clave en la evaluación educativa éstos no terminan por incorporarse a los procesos reales de evaluación. El desconocimiento sobre el modo en que deben utilizarse los indicadores en un proceso de evaluación y la propia formulación a posteriori (una vez desarrollado el programa) y no a priori (al tiempo que se redactan los objetivos del programa) de los indicadores puede explicar esta paradoja (De Miguel, 1995: 181). Una primera consecuencia que podría extraerse de lo dicho es que la eficacia e idoneidad de los indicadores dentro de un proceso de evaluación está en buena medida condicionada por el modo y por el momento en que se formulen. Así, para que los indicadores sean útiles deberían definirse a priori, en función de cada uno de los objetivos que pretenden lograrse con el programa. Hecha estas salvedades, planteamos algunas de las recomendaciones para utilizar, de un modo más apropiado, los indicadores en un proceso de evaluación: A partir de un marco teórico, desarrollar un sistema de indicadores basado en medidas múltiples con el fin de que posibilite obtener y contrastar la información sobre un aspecto por diversas vías. Avanzar en la construcción de indicadores compuestos y de índices que nos aporten información más compleja y decisiva para las decisiones. Complementar la información que aportan los indicadores con la que nos pueden facilitar otras fuentes (especialmente los expertos). Construir y utilizar indicadores sobre todas la fases del proceso de la evaluación y no sólo sobre los resultados o productos. Evitar los juicios de valor durante la fase de elaboración de los indicadores a fin de no condicionar las etapas siguientes del proceso. Buscar el mayor grado de consenso entre la audiencia respecto a los indicadores a utilizar y dar la máxima publicidad a la información obtenida. (De Miguel, 1995: ). Dr. Claudio Dominighini Página 15

16 Ventajas que ofrece el uso de indicadores. La recomendación del uso de indicadores en la evaluación educativa en general y en la evaluación de programas en particular está justificada porque ofrece al evaluador las siguientes ventajas: Aportan información válida, verificable y relativamente neutral. Posibilitan establecer comparaciones en función de diversos criterios. Permiten que los juicios de valor -valoraciones- se apoyen sobre datos bastante objetivos. Facilitan el consenso entre la audiencia implicada. Otorgan credibilidad a la toma de decisiones. Añaden transparencia a todo el proceso evaluador (De Miguel, 1995: ) Principales dificultades en el uso de indicadores. Cuando utiliza indicadores el evaluador se enfrenta igualmente a una serie de dificultades e inconvenientes, entre los que cabría citar los siguientes: Con frecuencia se elaboran a partir de modelos teóricos muy sencillos por lo que el indicador ofrece una información muy simple y limitada. En algunos casos, muchos indicadores se utilizan por razones políticas y con un determinado sentido, introduciendo sesgos en la evaluación. Habitualmente existen problemas en la recogida y análisis de los datos, especialmente los referidos al nivel de agregación, lo que cuestiona la objetividad y viabilidad del indicador. La falta de homogeneidad en los criterios -dado que en cada contexto se entienden de forma diferente- impide obtener medidas comparables. Problemas derivados de sus costos y ámbito de aplicación frecuentemente determinan que muchos indicadores se utilicen de forma distorsionada. Finalmente cabe señalar que pueden orientar toda la ejecución de los programas con el fin de alcanzar los indicadores y alterar, también, la toma de decisiones (De Miguel, 1995:182) Criterios de evaluación generales aplicados a un espacio curricular (asignatura). Estos criterios de evaluación generales en una asignatura nos permitirán explicitar mas específicamente criterios de evaluación para contenidos específicos que nos permitirán construir instrumentos de evaluación. Ejemplos de criterios de evaluación para la asignatura química. En una primera aproximación sobre los criterios de evaluación podemos decir que pueden referirse a distintos aspectos del desarrollo curricular, en una determinada asignatura, por ejemplo en química podríamos referirnos a: Los conceptos básicos de la ciencia. El planteamiento y la resolución de problemas. La expresión y la comprensión. La noción de ciencia. La participación y el trabajo en equipo. Dr. Claudio Dominighini Página 16

17 Daremos ejemplos de cada uno de los aspectos: Los conceptos básicos de la ciencia: Con este criterio se pretende valorar si el estudiante: Posee un bagaje conceptual básico que le ayude a comprender e interpretar el medio que le rodea. Tiene capacidad para utilizar esos conocimientos en la explicación de fenómenos sencillos. El dominio de los conceptos, leyes, teorías y modelos se pone de manifiesto, especialmente en esta etapa, no tanto por la capacidad de definirlos formal y operativamente como por la capacidad de utilizarlos para explicar fenómenos y para abordar la resolución de problemas. Debe esperarse que el estudiante utilice ese conocimiento para llegar a soluciones correctas ante situaciones y fenómenos semejantes o relacionados con los que se han trabajado en clase. Cuando se trate de abordar situaciones más novedosas, dada la complejidad de cualquier problema y la probable existencia de más de una solución, se atenderá principalmente al uso coherente de los conceptos, teorías, leyes o modelos para buscar una primera solución, aunque esta sea incorrecta o incompleta El planteamiento y la resolución de problemas. Con este criterio se pretende valorar si el estudiante puede: Formular problemas relacionados con el medio natural, incorporarlos a sus procesos habituales de construcción de conocimientos, delimitarlos y contextualizarlos. Formular hipótesis, llevar a la práctica una estrategia concreta de resolución, o comprobar y criticar algunas de las soluciones posibles para una situación que plantee un problema. Manifestar actitudes de curiosidad e interés por indagar cuestiones relacionadas con el medio y los fenómenos naturales. La resolución de problemas no debe quedar reducida a un conjunto de reglas o algoritmos que combinan algunos datos para dar una respuesta numérica. Ello obliga a un replanteamiento de la noción de problema y de los criterios para decidir cuándo puede considerarse resuelto. La introducción de cambios en los enunciados de los problemas y la exigencia de verbalizar el proceso de resolución, resaltando los conceptos y procedimientos sobre aquellos que suponen un simple operativismo, son estrategias que pueden favorecer los objetivos que se pretenden. No se trata por tanto de reducir los problemas a un tratamiento numérico en el que sólo hay una respuesta correcta, sino que conviene plantear situaciones abiertas que podrán presentar soluciones diferentes, en la medida de lo posible. Este conjunto de capacidades debe manifestarse básicamente en los progresos del estudiante para derivar nuevas cuestiones a partir de las trabajadas en clase, y de aplicar modelos de planteamiento de problemas a nuevas situaciones relacionadas con el medio que le rodea. Dr. Claudio Dominighini Página 17

18 Sobre la expresión y la comprensión. Con este criterio se pretende valorar el progreso del alumnado en su capacidad para: Analizar críticamente la información recogida en diversas fuentes, distinguiendo lo relevante de lo accesorio y los datos de las opiniones. Extraer información de gráficas, tablas y fórmulas simples. Comprender textos sencillos en los que se haga uso de conceptos aprendidos. Comunicar con claridad y precisión las conclusiones de una investigación. Las aportaciones que desde el área se hacen al desarrollo de las capacidades de expresión y comunicación se refieren tanto al uso del lenguaje común, como al empleo de nociones, códigos y sistemas de expresión específicos del ámbito de las Ciencias Naturales Sobre la noción de ciencia. Con este criterio se pretende valorar la capacidad del alumnado para: Relativizar modelos teóricos propuestos por la Ciencia. Analizar y comparar diferentes respuestas dadas para una misma pregunta o actividad. Analizar las consecuencias de los avances científicos. Analizar críticamente el uso de alusiones o referencias supuestamente científicas en mensajes publicitarios, en informaciones o programas de los medios de comunicación, conversaciones cotidianas, etc. Son todos ellos aspectos que deben tomarse en cuenta para valorar la actitud crítica del estudiante y su idea sobre la ciencia. Es algo especialmente importante en una sociedad, y en un momento como el actual, en el que en medios muy diversos (internet, prensa, etc) proliferan informaciones simplistas y poco o nada contrastadas, así como movimientos pseudocientíficos que chocan abiertamente con los planteamientos científicos que se pretende enseñar en el aula Sobre la participación y el trabajo en equipo. El aprendizaje de las ciencias no es una tarea individual dominada siempre por intervenciones afortunadas. Con este criterio se pretende valorar la capacidad del alumnado para: Implicarse en la realización de las tareas de clase. Trabajar en equipo, escuchando, rebatiendo, argumentando, dividiendo el trabajo, etc. Considerar el resultado de un trabajo, más como una síntesis de las aportaciones de cada uno de los componentes del grupo y de los debates que hayan tenido lugar que como la suma de contribuciones individuales. Los criterios generales para un espacio curricular determinado, como por ejemplo los planteados anteriormente para química, nos permitirán formular criterios de evaluación específicos para cada uno de los contenidos curriculares del espacio. Esta formulación nos permitirá construir los instrumentos de evaluación adecuadamente. Dr. Claudio Dominighini Página 18

19 1.3. Experiencia 1: Formulación de criterios de evaluación para contenidos específicos La experiencia que se describe a continuación consistió en solicitarle a un grupo de docentes de química 1 que formularan criterios de evalución referidos a ciertos contenidos específicos, se detallan las respuestas: En primera instancia se les solicitó, luego de que discutieran sobre los contenidos teóricos que trabajaran grupalmente para poder resolver la actividad. Contenido: uniones covalentes. 1) Representación de moléculas binarias utilizando la fórmula electrónica y desarrollada de aquellas que contengan al menos una unión covalente coordinada. 2) Representación de la estructura desarrollada y semi-desarrollada que contengan uniones covalentes coordinadas. 3) Representación de las uniones química de diferentes sustancias mediante la notación de Lewis, desarrollada y semi-desarrollada. 4) Diferenciación del tipo de unión que interviene entre los elementos utilizando la regla del octeto. 5) Resolución de ejercicios a partir de la fórmula molecular de compuestos covalente que tengan una unión coordinada para que desarrollen su estructura de Lewis. 6) Representación de la fórmula de Lewis y desarrollada para compuestos covalentes que presenten unión covalente coordinada. 7) Representación de la estructura de Lewis desarrollada para moléculas que presentan unión coordinadas. 8) Planteo de estructura de Lewis de compuestos covalentes indicando el tipo de unión química en cada uno. 9) Realización de estructura de Lewis de las moléculas que contengan uniones coordinadas. 10) Realización de la estructura de Lewis de distintos compuestos covalentes dándole importancia a la regla del octeto y teniendo en cuenta las excepciones a la misma. Contenido: Unión covalente polar. 1) Comparación de la polaridad entre dos moléculas teniendo en cuenta la diferencia de electronegatividades. 2) Realización de estructuras de Lewis de enlaces covalente polares teniendo en cuenta las electronegatividades. 3) Identificación de moléculas polares binarias y la representación de sus estructuras de Lewis planteadas para compuestos covalentes, basándose en la electronegatividad. En una segunda instancia se les solicitó que formularan los criterios de evaluación para diferentes contenidos desde un menos nivel de complejidad a un mayor nivel de complejidad, dividido el grupo de docentes en tres subgrupos. Contenido: Unión iónica. 1 Criterios de evaluación formulados por docentes del Seminario de Evaluación en el Aula de Química Instituto Superior del Profesorado Joaquín V. Gonzáles (Benitez, Melisa; Cabanay, Sergio Diego; Coronel, Cintia; Gagno, Verónica Alejandra; Leggieri, Ricardo Hernán; Montoya, Melina; Naso, Florencia Sol ; Paniagua Checcia, Victoria; Prado, Mariela; Segat, Diego; Vargas, Tamara; Ybañez, Natalia Soleda). Dr. Claudio Dominighini Página 19

20 Sub-grupo 1 1. Discriminación entre compuestos covalentes e iónicos formados por elementos representativos, usando como criterio que los compuestos iónicos son los formados por un metal y un no metal. 2. Representación de la estructura de Lewis de compuestos iónicos di atómicos y formados a partir de elementos representativos y de transición (oxo-sales) 3. Justificación de las propiedades físicas de compuestos iónicos comparando con los compuestos covalentes. Sub-grupo 2 1. Representación de la estructura de Lewis de compuestos diatómicos iónicos. 2. Representación de la estructura de Lewis de compuestos ternarios (oxo-sales). 3. Justificación de las propiedades de los compuestos iónicos a partir de su estructura. Sub-grupo 3 1. Representación de la estructura de Lewis de compuestos diatómicos iónicos. 2. Representación de la estructura de Lewis de compuestos ternarios (oxosales). 3. Interpretación de las uniones intermoleculares de compuestos con uniones iónicas. 4. Justificación y relación de las propiedades de compuestos iónicos a partir de su estructura. Contenido: Propiedades periódicas. Sub-grupo 1 1. Definición de las distintas propiedades periódicas: radio atómico, radio iónico, energía de ionización y afinidad electrónica. 2. Dados tres elementos de la tabla periódica, ordenar en función de las propiedades periódicas crecientes. 3. Comparación de las propiedades periódicas de diferentes elementos a partir de sus configuraciones electrónicas. Sub-grupo 2 1. Definición de las propiedades periódicas. 2. Comparación de las propiedades periódicas según la ubicación de los elementos de la tabla periódica. 3. Comparación de las propiedades periódicas de diferentes elementos a partir de sus configuraciones electrónicas. Sub-grupo 3 1. Definición e identificación de las propiedades periódicas. 2. Comparación de las propiedades periódicas según la ubicación de los diferentes elementos de la tabla periódica. 3. Comparación de las propiedades periódicas de diferentes elementos a partir de sus configuraciones electrónicas. 4. Relación entre las configuraciones externas de los elementos y su ubicación en la tabla periódica. Dr. Claudio Dominighini Página 20

21 Contenido: Concentración de soluciones. 1. Definición de concentración y las distintas unidades físicas en la que se exprese. 2. Resolución de ejercicios aplicando las distintas unidades de concentración física y química (como Molalidad y Molaridad) 3. Interpretación de un gráfico de solubilidad y a partir de cálculos, determinar si la solución es saturada, no saturada o sobresaturada. 1. Definición de concentraciones teniendo en cuenta la relación de soluto-solvente. 2. Resolución de ejercicios aplicando las diferentes unidades de concentración físicas y químicas, exceptuando normalidad. 3. Resolución de ejercicios utilizando la curva de solubilidad. 1. Identificación de soluciones. 2. Definición de concentración teniendo en cuenta la relación entre el soluto y el solvente. 3. Resolución de ejercicios aplicando las distintas unidades de concentración físicas y químicas. 4. Representación de curvas relacionado las concentraciones e identificación de soluciones no saturadas, saturadas y sobresaturadas. 5. Realización de ejercicios de solubilidad utilizando la curva de solubilidad Conclusión de la Experiencia 1: Como se puede observar la formulación de criterios de evaluación no es una tares fácil, la posibilidad de primero trabajar en un grupo de trabajo y luego en sub-grupos permitió a los docentes discutir y construir el concepto de criterio de evaluación, para luego poder formularlos. También se puede observar al comparar las producciones de cada sub-grupo, que los criterios formulados, aunque semejantes, tinen diferencias significativas. Esta experiencia permitió a los docentes aprender a formular criterios de evaluación cómo así también valorar su importancia. Dr. Claudio Dominighini Página 21