INVESTIGACIÓN EVALUATIVA Elena Ramos Cristina Alonso Noelia Moyano Esmeralda Olmo Natalia Gómez
Teoría de la evaluación EVALUACIÓN: Proceso de recogida de información orientado a la emisión de juicios de mérito o de valor respecto de algún sujeto, objeto o intervención (Mateo, 2000: 21) Estrechamente ligado a la toma de decisiones, ya que tiene por objetivo mejorar lo evaluado. Evaluar implica establecer comparaciones
FUNCIONES DE LA EVALUACIÓN Tipos de evaluación según su función Características DIAGNÓSTICA SUMATIVA FORMATIVA diagnóstico previo al proceso educativo adapta el programa a los niveles iniciales o a las expectativas del alumnado se realiza al finalizar el proceso educativo comprueba si se han alcanzado los objetivos marcados se lleva a cabo durante todo el proceso educativo. La evaluación se desarrolla junto con la actividad. se centra en el proceso de mejora y adecuación del programa
TIPOS DE JUICIOS EVALUATIVOS Con qué se Tipos: comparan los resultados? Qué aportan? PERSONALIZADO Con los resultados -Muestran la obtenidos antes de la evolución. intervención. -Muestran las diferencias entre las habilidades de un mismo sujeto. NORMATIVO CRITERIAL Con los resultados de otros sujetos, objetos o intervenciones similares. Con unos criterios preestablecidos. -Muestran comparaciones con otros. -Ofrecen orientaciones para la mejora. Cuándo se utiliza? Diagnósticos y orientación psicoeducativa, con carácter formativo. Para determinar posiciones ordinales de un sujeto respecto a otros. Para conocer la eficacia de las actividades respecto a sus objetivos
TIPOS DE EVALUACIÓN EN FUNCIÓN DEL AGENTE HETEROEVALUACIÓN EVALUADOR La evaluación la realiza un agente diferenciado del objeto al que se evalúa. Es el tipo de evaluación más tradicional en educación. AGENTE EVALUADOR EVALÚA OBJETO EVALUADO
AUTOEVALUACIÓN El objeto evaluado forma parte del mismo agente evaluador. OBJETO EVALUADO Y AGENTE EVALUADOR
EVALUACIÓN DE PROGRAMAS EVALUACIÓN EXTERNA: Aporta valores añadidos como mayor objetividad, credibilidad, y conocimiento sobre la evaluación al tiempo que soporta menos presión política (Payne, 1994) EVALUACIÓN INTERNA: Supone un menor coste económico y posee la capacidad de devolver el poder de decisión y de acción a los propios interesados (Cabrera, 2001)
ÁMBITOS DE EVALUACIÓN El cambio realizado en el colectivo beneficiario de un servicio o programa. Ejemplo: evaluar el aprendizaje del alumnado. La acción profesional del personal responsable de un servicio o programa. Ejemplo: evaluación a la docencia del profesorado. El programa o servicio en sí mismo.
La institución donde se lleva a cabo el programa o servicio. Ejemplo: evaluación al centro educativo. El sistema nacional que orienta las concreciones de un programa o servicio
OBJETIVOS, INDICADORES Y CRITERIOS DE EVALUACIÓN OBJETIVO: Resultado específico y mensurable que se espera lograr con una determinada actividad. Ejemplo: reducir el índice de fracaso escolar en nuestro centro INDICADOR: Parte cuantificable del objetivo a conseguir. Ejemplo: número que personas que consiguen aprobar CRITERIO O ESTÁNDAR: Nivel deseable que se ha de alcanzar con relación al indicador para considerar que el objetivo se ha conseguido. Ejemplo: el 70% de alumnos del centro aprueban las asignaturas.
Proceso de investigación evaluativa: Es un proceso complejo que incluye las siguientes actividades: Establecer el propósito de la evaluación. Definir el objeto de evaluación Especificar las audiencias que habrá que atender. Especificar el tipo de juicios a emitir.
Determinar los indicadores y las fuentes de información. Elegir, y adaptar si es necesario el modelo de evaluación. Establecer los agentes que efectuaran la evaluación Establecer un calendario de todo el proceso evaluativo. Elegir o construir las técnicas de obtención de información Analizar la información
Formular juicios Elaborar los primeros informes. Negociar con las audiencias. Tomar decisiones Difundir los resultados. Realizar un seguimiento. Evaluar el proceso de evaluación
MODELOS DE INVESTIGACIÓN Modelo basado en objetivos (Tyler) Se puede enmarcar en el paradigma empírico-analítico dado el énfasis que pone en objetivar tanto las metas a conseguir como los resultados obtenidos y el papel de experto externo que tiene el agente evaluador. Las decisiones a tomar en la evaluación se deben fundamentar en la coincidencia o comparación entre los objetivos del programa y sus resultados. Las fases principales son: Identificar los objetivos operativos del programa. Seleccionar o elaborar instrumentos para medir el logro de los objetivos. Aplicar estos instrumentos al finalizar el programa. Compararlos objetivos del programa y los logros realmente conseguidos.
Modelo sin metas (Scriven) Se enmarca en el paradigma interpretativo. Su preocupación se centra en la valoración de los efectos y en las necesidades, prescindiendo de los objetivos del programa. También se preocupa por la función formativa, y no sólo numérica. De acuerdo con este modelo sin metas, las etapas que se deben aplicar en la evaluación, aunque no necesariamente con una secuencia concreta, son las siguientes: Descripción Cliente Antecedentes y contexto Recursos Función Funcionamiento Consumidor
Necesidades y valores de los consumidores Normas preexistentes que deban aplicarse acerca del merito o valor Proceso Resultados Generalización Costes Comparaciones Significado Recomendaciones Informe Metaevaluación
Stufflebean afirma que el propósito de la evaluación es el perfeccionamiento de los programas y propone: MODELO CLIP CONTEXTO INPUT PROCESO PRODUCTO
Evaluación del contexto: Objetivo: Definir el contexto institucional, identificar la población objeto de estudio y valorar sus necesidades. Método: análisis de sistemas, la inspección, la revisión de documentos, las audiciones, las entrevistas, los test diagnósticos y técnicas que tiendan al consenso.
Evaluación del input o entrada Evaluación del proceso: Objetivo: Identificar y corregirlos defectos de planificación mientras se está aplicando el programa Método: Descripción del proceso real, la continua interacción con el personal del proyecto y la observación de sus actividades. Objetivo: las estrategias alternativas del programa, la planificación y los presupuestos del programa antes de ponerlo en práctica. Método: Inventariar y analizar los recursos humanos y materiales disponibles. Búsqueda de bibliografía, las visitas a programas ejemplares, los grupos asesores y ensayos piloto
Evaluación del producto Objetivo: Recopilar descripciones y juicios acerca de los resultados y relacionarlos con los objetivos y con la información proporcionada por el contexto, el diseño y el proceso. Método: recopilación de los juicios acerca de los resultados y la realización de análisis cualitativos y cuantitativos
Stake propuso un modelo más comprehensivo de evaluación para tener en cuenta a todos los agentes implicados en el programa que se estuviera evaluando. Este modelo se basa en la información obtenida sobre tres conceptos primordiales Antecedentes: condiciones existentes antes de la aplicación del programa. Procesos: actividades realizadas en el programa. Efectos o resultados: lo que se consigue a través del programa (competencias, logros, actitudes, etc.) tanto de forma evidente como confusa, buscado o no buscado, a largo o corto alcance. Este modelo tiene en cuenta que la información sobre estos conceptos se debe diferenciar en función de su carácter descriptivo o de juicio
EL INFORME DE EVALUACIÓN. Asegurar la comunicación entre el equipo evaluador y las audiencias, para las que está pensado el informe. Los informes han de estar adaptados a las audiencias específicas, que recibirán el documento elaborado. Un informe debería ser simple y detallado. Es importante, que se expliquen claramente todos los argumentos que han llevado a las conclusiones.
ESTRUCTURA DEL INFORME Resumen. Descripción de lo que está siendo evaluado. Descripción del proceso de evaluación. Datos. Conclusiones. Propuestas