SÍNTESIS COMPARATIVA DE LOS MODELOS DE EVALUACIÓN DE PROGRAMAS

Transcripción

1 SÍNTESIS COMPARATIVA DE LOS MODELOS DE EVALUACIÓN DE PROGRAMAS Máster en Investigación e Innovación en Educación UNED, curso Alumnos/as: Francisco Crespo Molero Cristina García López María Carmen Rodríguez Soto María Jesús Rubio Martínez

2 INTRODUCCIÓN A petición de la asignatura Investigación Evaluativa, impartida por los profesores Ramón Pérez Juste y Catalina Martínez Mediano, se ha elaborado este cuadro comparativo que se concreta en una síntesis de los aspectos más importantes de los diferentes modelos de evaluación de programas trabajados durante este cuatrimestre. La reflexión sobre los distintos modelos nos ha facilitado conocerlos mejor y profundizar en sus puntos básicos y en su desarrollo. Para la elaboración del documento, se han utilizando las nuevas tecnologías de la información y la comunicación, mediante la creación de un documento virtual en google docs que nos ha permitido trabajar en línea y en tiempo real de manera cooperativa. Esto ha facilitado la cohesión y el trabajo en equipo en las circunstancias que nos ocupa, la realización de un máster online..

3 ele SÍNTESIS COMPARATIVA DE LOS MODELOS DE EVALUACIÓN DE PROGRAMAS TYLER (modelo por objetivos) CRONBACH STUFFLEBEAM (modelo CIPP) SCRIVEN STAKE (modelo de evaluación respondiente) PÉREZ JUSTE (Modelos complejos) OBJETIVO DE LA EVALUACIÓN -Valorar la eficacia del programa para la toma de decisiones. -La toma de decisiones mediante un examen sistemático, tanto del proceso como de los resultados del -La toma de decisiones informada información útil para ajustar las mejoras a las necesidades reales: *Comprensión de los fenómenos *Solución de problemas. -Meta-evaluación: juicio sobre la calidad y los méritos de una evaluación. - Como servicio, orientada al consumidor Determinar la calidad, mérito valor y logros del programa u objeto que se evalúa. -Libre de costos: equilibrio coste-beneficio positivo -Meta-evaluación -Dar respuesta a las necesidades de los usuarios y beneficiarios de los programas. -Toma de decisiones para conseguir la mejora tanto del programa como del personal implicado y, de modo indirecto, del cuerpo social en que se encuentra inmerso. -Búsqueda de la mejora continuada. -La evaluación como investigación. CONCEPTO EVALUATIVO -Evaluación basada en objetivos. -Proceso mediante el cual se proporciona información útil que sirva de guía para la toma de decisiones y ayude a comprender los fenómenos implicados. -Diseño funcional Examen sistemático de los acontecimientos que ocurren durante el proceso de aplicación de un programa y de las consecuencias (resultados) que se derivan del mismo. -Planificación estructurada -Proceso mediante el cual se proporciona información útil y descriptiva acerca del valor y mérito de las metas, la planificación, la realización y el impacto de un objeto determinado, que sirva de guía para la toma de decisiones, solucionar problemas de responsabilidad y promover la comprensión de los fenómenos implicados -Evaluación como ciencia de la valoración: Proceso de determinar el valor y la calidad de algo, siendo las evaluaciones el resultado de dicho proceso; El valor, mérito o calidad como constructos procedentes de variables observables -Enfoque libre de objetivos o evaluación libre de metas previamente establecidas: minimizar los prejuicios en la construcción de las afirmaciones de valor - Evaluación de resultados, efectos y logros. -La evaluación como proceso para descubrir el mérito y las deficiencias de un -La evaluación como servicio: (búsqueda de soluciones): Debe servir a las personas particulares que participan en el programa, más que a sus patrocinadores o directores. -La evaluación como reflejo de valores: Emisión de juicios de valor por parte de los clientes, no de los evaluadores. Pluralidad que exige la búsqueda de consenso. -Proceso sistemático de recogida de información rigurosa (valiosa, válida y fiable) orientado a valorar la calidad y logros de un programa como base para la posterior toma de decisiones de mejora. -Evaluación como valoración para la toma de decisiones: tiene en cuenta tanto los procesos como los resultados (inicial, durante el proceso y final). -Establecimiento de planes de mejora de forma continuada. FUNCIONES DE LA EVALUACIÓN -Sumativa: Determinar la congruencia entre los objetivos propuestos y los logros conseguidos (eficacia) -Formativa: Ayudar a la mejora del programa y a la de otros programas con similar propósito y características. -Formativa y sumativa para maximizar la utilización de los resultados de evaluación -Emisión de juicios con dos funciones: formativa y sumativa -Formativa: Tomar decisiones -Acreditación institucional -Mejora del funcionamiento interno de una organización. - Formativa y sumativa

4 PARA QUIÉN - Para los participantes (educadores y educandos) -Para toda la comunidad -Para el que toma las decisiones y para todos aquellos que participan en el -Para todos los que quieran saber acerca de la calidad de un producto, de un programa, de un objeto, del personal, etc. -Para los participantes del -Para todos los interesados en el - Para el propio CARACTERÍSTICAS DEL EVALUADOR -Técnico o experto externo. -Técnico o experto externo. - Mediador entre política y diseño de programas. -Especialista al servicio de la organización y de los miembros del Trabajo junto con el personal que aplica los programas para evaluar resultados (escalas de valoración, pruebas de logro o rendimiento, ) - Externo. Propone que desconozca los objetivos del programa para que sea más objetivo a la hora de valorar los resultados previstos e imprevistos. -Independiente, forma parte de un equipo externo, investiga méritos y deficiencias del evaluado. Es técnico, analista y juez. - Respondiente, actúa como facilitador: interpreta las necesidades y resultados del programa para y con los implicados; Comprende la pluralidad de intereses y los refleja en sus informes; Negocia con los participantes los temas sobre los que organizará el estudio evaluativo; Ayuda a conocer las circunstancias, problemas y valoraciones del programa a los interesados, mediante la experiencia vicaria. - Experto que debe tener conocimientos exhaustivos sobre la evaluación de programas y, además, conocimiento del diseño y ejecución del programa a evaluar para poder implementar un proceso evaluativo en que se puedan tomar medidas rápidas para la mejora en cuanto se detecten deficiencias con el fin de asegurar el logro de los objetivos. ÁMBITIOS Y CONTEXTOS MÁS ADECUADOS PARA APLICAR - Para valorar logros (outputs) y rendimiento. - Estudios analíticos en profundidad. - Más adecuado para programas amplios, más estructurados que afectan a la institución educativa y no tanto a un aula concreta (pe. la atención a la diversidad). - Valorar la calidad o mérito de un programa: cubre las necesidades del consumidor? - Justificar costos -Más adecuado para problemas particulares y a las cuestiones reales del aula que afectan a los alumn@s y profesores cuando desarrollan un programa educativo determinado. -Cuando se quiera saber el grado de eficacia con que un programa consigue el logro de las metas para la cuales fue elaborado en base aun proceso de mejora continua que supone la monitorización de las diferentes etapas del programa: inicial, procesual y final.

5 FASES PRINCIPALES DE LA APLICACIÓN 1. Especificar metas y objetivos del 2. Delimitación de estos objetivos de modo jerárquico (de mayor a menor concreción) 3. Seleccionar o elaborar instrumentos adecuados para medir las situaciones o condiciones del programa en que se produce o no la consecución de dichos objetivos. 4. Recopilar la información necesaria sobre la consecución o no de los objetivos. 5. Análisis comparativo de lo logrado, que se deduce de la información recopilada y de lo que quería lograr (objetivos/metas establecidas previamente). -Elementos básicos: UTOS 1. Unidades que son sometidas a evaluación, individuos o grupos participantes. 2. Tratamiento del programa de evaluación. 3. Operaciones del evaluador para la recogida y análisis de datos o la elaboración de conclusiones. 4. Situaciones: contexto social en el que el estudio tiene lugar (clima social, económico, político,...) FASES: 1. Provisional: estudio piloto del programa a pequeña escala. 2. Súper-realización: se reelabora el programa para probar su éxito. 3. Prototípico: se aplica el programa bajo las condiciones más próximas a la realidad. 4. Operación del programa: el programa se aplica. - Cuatro tipos distintos de evaluación. 1. Evaluación del contexto (C) 2. Evaluación de los inputs (I) (entrada /diseño/ planificación) 3. Evaluación del proceso (P) 4).Evaluación del producto (P) -Proceso: 1. Selección de la información necesaria. 2. Obtención de información. 3. Proporcionar la información a las partes interesadas. -Fases: 1. Análisis del contexto (necesidades de los usuarios). 2. Análisis del proceso (formativa). 3. Análisis del producto (sumativa). -Meta-evaluación. 1. Determinación de los criterios del mérito del 2. Determinación de las normas sobre el mérito. 3. La medida o evaluación de la realización pasos que no siguen una estructura lineal. -Esquema de actuación: 1. Examen de la base conceptual del 2. Descripción: antecedentes, actividades, resultados. 3. Valoración del 1. Inicial o diagnóstica (del programa en sí mismo; formativa): Establecer la calidad técnica del programa, su viabilidad y su evaluabilidad; poner en marcha el programa en condiciones óptimas. 2. En el desarrollo (etapa procesual; formativa): Facilitar la toma a tiempo de decisiones de mejora; Acumular información para mejorar futuras del 3.Final (sumativa): Comprobar la eficacia del programa 4. Institucionalización de la evaluación de programas METODOLOGÍA EVALUATIVA -Cuantitativa. - Comparación entre grupos -Metodología cuantitativa aunque admite instrumentos de tipo cualitativo. -Metodología diversa para cada tipo de evaluación. Mixta. -Perspectivista, múltiple: Múltiples perspectivas para obtener un retrato más amplio y completo de la realidad (evitando distorsiones y prejuicios). -Diversa, mixta. -Emergente; Los métodos deben ajustarse a las situaciones en las que se desarrolla el programa -Estudio de casos en la investigación cualitativa. -Metodologías cuantitativas y cualitativas - Múltiple. Complementariedad metodológica

6 TIPO DE INFORMACIÓN A RECOGER - Resultados finales del programa o producto. -Medida de consecución de los objetivos previstos. -Estudios de procesos, actitudes y logros. - Procesos de E/A - Actitudes del alumnado y profesorado. - Resultados de los alumnos. -De las necesidades, de los recursos, del funcionamiento y del impacto. -Tanto la esperada como la no esperada. -Todo lo que vaya ocurriendo en el -De tipo diverso: sobre el propio programa, de los contextos, de los procesos y de los resultados. MÉTODOS, INSTRUMENTOS Y TÉCNICAS - Escalas de medida, test de rendimiento o de ejecución, cuestionarios. -Variados, diversos. -Se utilizan instrumentos y técnicas como las escalas de valoración, test de logro o rendimiento, entrevistas, cuestionarios, etc. -Lógica probativa: 1. Determinar objeto que va a ser evaluado. 2. Establecimiento e normas y criterios de mérito y calidad de los programas. 3. Resumir los resultados en un juicio evaluativo. -Listas de claves de control de la evaluación. -Observación entrevista, análisis de informes,... - Variados: Observación entrevista, pruebas, cuestionarios, etc. TIPO DE INFORME DE RESULTADOS -Descriptivo -Narrativo -Frecuente y para proporcionar una guía para la mejora del -Descriptivo -El informe final se realiza después de la entrega de un borrador para que sea revisado y criticado (metaevaluación). Puede incluir recomendaciones sobre el uso o destino de la evaluación y posibilidades de generalización a otras personas, programas y situaciones. -Fotográfico, narrativo (citas literales, ilustraciones, metáforas, ), holista e informal. Se presentan informes al inicio y durante la evaluación como medida para ir redefiniendo los temas propuestos o cambiar las prioridades de la indagación, si fuera necesario. -Descriptivo POSIBLE GENERALIZACIÓN - Ninguna, se centra en el análisis de objetivos, sólo evalúa el -Naturalista. -Tres niveles de concrecióngeneralización: teoría de los UTOS. -La que permitan el muestreo y la metodología utilizada. -La que permite la validez externa dificultada por la relatividad de los criterios de valor. - Naturalista, experiencia vicaria: Los participantes pueden elaborar sus propios juicios de valor, leyendo el informe descriptivo que realiza el evaluador; También comparten la toma de decisiones para la realización de los cambios para la mejora necesarios. -La que permita el diseño - Al tratarse de un modelo evaluativo de carácter investigativo, la comparación con otros programas sería pertinente. De esta manera encontramos que sí podría tener cierto grado de generalización.

7 UTILIDAD DE LOS HALLAZGOS -Hacer que las escuelas (y la educación) sean más eficientes y efectivas: que los estudiantes sean mejor enseñados. -Para la formación de la sociedad. - La función política de la evaluación: las instituciones políticas aprenden de la experiencia evaluativa y la utilizan para promocionar y/o reforzar sus proyectos políticos. -Para tomar decisiones de mejora -Para valorar la calidad de los objetos -Para los participantes en el programa, para el lector. -Para la mejora tanto del programa como de los participantes y de la propia comunidad. CRITERIOS PARA JUZGAR EVALUACIONES -Los objetivos se convierten en los criterios: los fines antes que los medios. -Validez externa. - Objetivos bien definidos mejor que en la comparación con otros grupos o cursos (evaluación con referencia a criterio). -Valor y mérito del programa: Utilidad, factibilidad, ética y exacta. - Listas claves de control de la Evaluación. -La meta-evaluación. -Los méritos y deficiencias de los programas ya que ayudan a los participantes a incrementar su comprensión y a responder a sus necesidades. -La rigurosidad: (validez, fiabilidad). -Valoración a partir de criterios y referencias preespecificados y, de la información técnicamente diseñada y sistemáticamente recogida. CONTRIBUCIONES -La evaluación gana en alcance y en ejecución práctica. -La evaluación como parte misma del diseño de los programas. -Los programas de enseñanza como instrumento de educación efectivo. -Diseños funcionales y criterios de validez interna y externa del autor. -Incluye la variable proceso. -Se introduce la evaluación de contextos, procesos y también del diseño. -Listas de claves de control para la evaluación (LCE). - Formas estandarizadas para recoger y comunicar la información evaluativa sobre productos educativos (procesos educativos, contenidos, posibilidad de transferencia, eficacia). -El contrato en la toma de decisiones. - Mejora del producto: beneficio para todos. -Estudio de casos como método analítico de investigación para aplicar a organizaciones y grupos y el modelo de evaluación comprensiva y basada en estándares. -Cooperación entre evaluador y participantes. -Gran contribución a la teoría de programas y a la defensa de la complementariedad metodológica y técnica en la evaluación de programas.

8 DEBILIDADES -La definición de los objetivos a veces es arbitraria. -El conocimiento previo de los objetivos puede sesgar el resultado de la evaluación. - La evaluación como acontecimiento terminal que solo permite juicios sobre el producto final. -Gran complejidad en el análisis, muy centrado en criterios de validez. - Posible aumento del riesgo en el uso de resultados. -El evaluador puede sustituir los objetivos del programa por los propios. Scriven lo resuelve centrando el resultado de la evaluación en el producto que el programa ha generado, que es más objetivable, desvinculado la subjetividad del evaluador. - Aparente subjetividad y dificultad para representar los intereses de forma equilibrada. -Hacer generalizaciones aún cuando sus informes son muy accesibles. -Dificultad en distinguir lo que es descripción de lo que es análisis. - Gran cantidad de indicadores (74 distribuidos en los tres momentos de evaluación), lo que supone que: 1.Si no se cuenta con personal bien preparado, éste se verá incapacitado para aplicarlos durante la evaluación. 2.Si no se conoce el programa a implementar será difícil predecir situaciones que favorezcan su concreción en la etapa inicial y de proceso; 3. También se puede fallar al escoger la metodología (diseños y técnicas) en el momento final o de presentación de resultados por lo que, estos puede que no sean muestras de la realidad que se pretende mostrar y se tenga que volver al punto de partida.