2. CRITERIOS E INDICADORES EN LA EVALUACIÓN DE PROYECTOS DE INTERVENCIÓN SOCIOEDUCATIVA

Transcripción

1 1 TEMA. 6 EVALUACIÓN DE LA INTERVENCIÓN SOCIOEDUCATIVA 1. LA EVALUACIÓN EN INTERVENCIÓN SOCIOEDUCATIVA La evaluación socioeducativa de un proyecto de intervención socioeducativa es una parte importante en el proceso de diseño y ejecución del proyecto nos permite explicar y valorar tanto el proceso de ejecución del proyecto como los resultados de las acciones realizadas en su desarrollo. Al analizar los resultados de la evaluación, la comparación se realiza con los objetivos del proyecto enunciados en el diseño. ( Qué nos habíamos propuesto? Qué hemos logrado? En qué medida) Este análisis debe conducir a la elaboración de las conclusiones y propuestas que servirán para reforzar los aciertos y/o modificar los aspectos no satisfactorios. La evaluación del proyecto puede ser realizada ser: Interna: Realizada por equipo que ha diseñado y ejecutado el proyecto Externa: Se encarga a un equipo profesional externo, ajeno al diseño y ejecución del proyecto. 1. Importancia de la evaluación Su finalidad varía según el momento en que se realice: Evaluación procesual: Comprobar, durante la ejecución del proyecto si su desarrollo es el adecuado. Evaluación final: Comprobar si se han conseguido los objetivos propuestos, es decir, comprobar su eficacia. Se pueden utilizar técnicas que se aplican a los distintos elementos del proyecto: Contexto, planificación (objetivos, actividades ) Proceso de desarrollo (actuaciones, temporalización ) Resultados (eficacia, satisfacción ) Así concebida, la evaluación es un proceso de mejora que permite tomar las decisiones adecuadas y pertinentes durante la ejecución del proyecto y una vez finalizado. 2. CRITERIOS E INDICADORES EN LA EVALUACIÓN DE PROYECTOS DE INTERVENCIÓN SOCIOEDUCATIVA Para el contexto Para la planificación Para la ejecución Para los resultados Evaluación diferida Aplicabilidad Viabilidad Coherencia Pertinencia Adecuación Eficiencia Ajuste Satisfacción Eficacia, efectividad Satisfacción Repercusión Permanencia Proyección

2 2 Indicadores para evaluar cada una de las fases del proyecto Planificación Unidades de análisis Indicadores 1. Contenidos 2. Objetivos 3. Finalidad 4. Actividades 5. Temporalización 6. Evaluabilidad Metodología 1. Adecuación a los objetivos 2. Evaluación inicial 3. Identificación necesidades 4. Contextualización 5. Temporalización 6. Funcionamiento 7. Ejecución Recursos 1. Cantidad 2. Calidad 3. Adecuación 4. Disponibilidad Valoración final 1. Grado satisfacción general 2. Resultados y logros 3. Valoración resultados 4. Posibilidades de continuidad 3. PROCEDIMIENTOS, TÉCNICAS E INSTRUMENTOS PARA LA EVALUACIÓN DE LA INTERVENCIÓN SOCIOEDUCATIVA Son los tres elementos básicos del proceso de evaluación.es importante delimitar el sentido y función de cada uno a la hora de realizar la evaluación de la intervención socioeducativa. Procedimiento Técnica Instrumento Conjunto de pasos y pautas a seguir para recabar la información necesaria para la evaluación de un proyecto, determinando las técnicas e instrumentos requeridos. Conjunto de saberes prácticos para obtener el resultado deseado. Puede ser aplicada en cualquier ámbito humano: ciencias, arte, educación Requiere destreza manual y/o intelectual y cada persona la adapta a sus necesidades. Es una herramienta (objeto o medio) utilizado para conseguir un fin. Debe ser adecuado al fin. En la intervención socioeducativa está al servicio de una estrategia de intervención para alcanzar los objetivos previamente establecidos.

3 3 El procedimiento nos indica del modo, el momento y con qué medios vamos a obtener la información requerida y necesaria para la evaluación. La técnica es la forma y la pericia para obtener la información utilizando para ello diversos instrumentos. Cada técnica requiere unos instrumentos concretos. El procedimiento se adecuará al proyecto, la técnica al procedimiento y los instrumentos a la técnica. 1. Técnicas e instrumentos más usados De la selección de las técnicas y los instrumentos adecuados para evaluar la intervención, depende el éxito y fiabilidad de la evaluación. Clasificación de las técnicas e instrumentos Directa 1. Observación Indirecta Encuesta: A sujetos beneficiarios A agentes y familias Técnicas para la 2. Interrogación Entrevista: RECOGIDA DE DATOS Estructurada Abierta Facilita información sobre 3. Sociometría la estructura interna del grupo Técnicas para la ANÁLISIS DE DATOS 1. Técnicas para la recogida de datos 1. Análisis de contenidos 2. Test estandarizados análisis de datos 3. Técnicas de grupo 1. Observación Permite el estudio del individuo en su propio medio. La recogida de datos se realiza utilizando instrumentos muy variados: rejillas de observación, fichas de registro Permite observar y analizar situaciones reales de las que obtenemos información in situ sobre el sujeto y diversas facetas sobre su relación con su medio ecológico. Tipos según el grado de implicación del observador: o Participante: El observador se implica y participa en el proceso que está observando. Forma parte del ámbito y contexto del sujeto observado estableciendo una relación estrecha y directa. Inconveniente: El sujeto se puede sentir observado y puede no actuar con naturalidad => información no fiable. o No participante: El observador mantiene la distancia con el observado No se establece ningún tipo de relación entre ellos. Tipos según las conductas observadas. o Conductas verbales: contenidos mensajes verbales, sintaxis y léxico, entonación, volumen

4 4 o Conducta no verbales: expresión corporal, movimientos corporales, expresión facial, gesticulación, movimientos posturales o Conductas relacionales: modos y formas de relacionarse. Procedimiento a seguir: 1. Delimitar el sujeto/objeto de estudio 2. Decisión sobre el instrumento de registro 3. Recogida de datos 4. Análisis de datos 5. Interpretación de los resultados Modos de observación según la metodología. o Observación sistemática: Todo el proceso de observación está rigurosamente sistematizado, garantizando la fiabilidad y la validez. Instrumentos: lista de control, escalas de estimación. o Observación no sistemática. No existe tanto control sobre los aspectos a observar. Muy útil para registrar conductas espontaneas del sujeto y comprender una realidad más que analizarla. Instrumentos: diario, notas de campo, registros anecdóticos 2. Interrogación 1. Encuesta Técnica de recogida de información grupal. La información la proporciona directamente el sujeto Se puede aplicar masivamente. Ofrece la posibilidad de obtener dados subjetivos Si se utiliza para recabar información para evaluar un proyecto de intervención educativa debe dirigirse a todos los agentes implicados, beneficiarios, familiares, educadores Inconveniente: el sujeto puede responder según la imagen social deseable. Procedimiento: 1. Definir objetivos 2. Delimitar población y muestra 3. Elaborar cuestionario: Preguntas deben ser: comprensibles, formulación neutras, en forma persona Atendiendo al tipo de respuesta que se posibilitan: 1. Dicotómicas: dos respuestas alternativas y excluyentes 2. Categóricas: Alternativas de respuestas categorizadas 3. Abiertas: respuestas de libre elección 2. Entrevista Es una técnica que se basa en la relación directa y el diálogo intencional entre entrevistador y entrevistado Finalidad preestablecida y asumida por ambos. Modalidades más usadas: 1. Entrevista estructurada: Formulación y secuencia de preguntas prefijada Respuestas dirigidas Ofrece mayor grado de control y fiabilidad de datos

5 5 Responde al esquema de un cuestionario 2. Entrevista semiestructurada: No tiene una estructura tan rígida Las respuestas no están dirigidas 3. Entrevista abierta: Preguntas no se establecen previamente, aunque tiene una finalidad determinada. Respuestas libres. En el desarrollo de la entrevista distinguimos tres fases: 1. Elaboración y preparación de la entrevista Se decide el tipo de entrevista Se concreta la finalidad 2. Inicio de la entrevista Se expone al entrevistado finalidad de la entrevista Se garantiza la confidencialidad Se exponen la colaboración que se espera 3. Desarrollo de la entrevista Comenzar por aspectos poco comprometidos Hacer referencia a información anterior Seguir secuencia lógica: de genérico a específico Finalizar con un resumen información expuesta Las entrevistas son interrogatorios sin intercambio de pareceres. Es importante que la entrevista no se convierta en la mera transmisión de información y que en todo momento impliquemos a nuestro interlocutor. 3. Sociometría Permiten estudiar la relación del individuo en su medios Nos ofrece información sobre: Grado de socialización del sujeto Relación con el medio Integración social Son útiles para prevenir y evaluar sujetos o colectivos en riesgo de exclusión social. Las técnicas sociométricas son muy numerosas y casi podemos seleccionar técnicas adecuadas a cada circunstancia y característica de cada sujeto. Su aplicación es corriente en los centros educativos para valorar la interacción dentro del aula. En la evaluación de proyecto puede resultar útil cuando los objetivos del proyecto van dirigidos a una finalidad integradora o preventiva de la exclusión social. Test sociométrico: Técnica de mayor aplicación. La más adecuada para estudiar las interacciones afectivas en grupos, relaciones interpersonales y comunicaciones. El procedimiento consiste en formular determinadas preguntas a todos los miembros del grupo para que elijan a aquéllos con los cuales más desearía y a aquéllos con los cuales menos desearía tener como compañeros para hacer determinada actividad. Con las respuestas obtenidas se elabora la matriz sociométrica y a partir del análisis de los resultados

6 podemos elaborar el sociograma que nos da una visión de las interacciones del grupo. 2. Técnicas para el análisis de datos 1. Análisis de contenido La técnica más usual es el análisis de documentos escritos, historias de vida, biografías, diarios Técnica muy depurada y precisa. Se basa en el análisis a partir de unos parámetros previamente establecidos. 2. Test estandarizados Permiten estudiar determinadas dimensiones humanas abstractas que no es posible estudiar de forma directa por su complejidad (inteligencia, aptitudes, personalidad, actitudes ) 4. TIPOS DE EVALUACIÓN Son técnicas de investigación social Permiten una descripción cuantitativa del comportamiento de un individuo ante una situación específica, tomando como referencia el comportamiento de los individuos de un grupo definido colocado en la misma situación y circunstancias. Importantes en la evaluación normativa En la educación social son útiles para valorar situaciones personales y grupales. En la evaluación de un proyecto se utiliza en la evaluación inicial. 3. Técnicas de grupo Philips 6X6, discusión de grupo, brainstormig (explicadas Tema 4) Según el modelo la evaluación puede estar orientada a Objetivos Contenidos Valores Según la función de la evaluación: Optimizadora Sistematizadora Motivadora La más común que responde a todos los modelos y finalidades es la consideración del momento de la evaluación. Según este criterios tenemos los siguientes tipos: 6 MOMENTOS INICIAL Evalúa el proyecto PROCESUAL Evalúa el desarrollo del proyecto FINAL Evalúa proyecto y resultados DIMENSIONES 1. Contenido del proyecto 2. Contextualización (y su adecuación) 3. Punto de partida (análisis necesidades) 1. Ejecución del proyecto 2. Coherencia, pertinencia, adecuación 1. Logros obtenidos 2. Valoración global 3. Continuidad y repercusión

7 7 1. La evaluación inicial. Informe de la evaluación diagnóstica Finalidad diagnóstica Punto de partida de un proyecto de intervención socioeducativa. Se realiza como diagnóstico previo para determinar las necesidades de intervención en un ámbito concreto para el que diseñamos el proyecto. Se recogen datos para: Tener conocimiento real de todos los elementos y sus características Para diseñar estrategias y acciones adecuadas Justificar la necesidad e idoneidad de un proyecto Contribuye a tomar decisiones fundamentadas Si se trata de un proceso de asesoramiento: Sería realizada por consultante para presentar la situación al consultor Permite al consultor La evaluación inicial, en cualquier caso, debe comprender: 1. Análisis y valoración del contexto, utilizando instrumentos adecuados al caso. 2. Análisis de la población diana: nivel socioeducativo, dificultades, problemas, expectativas. 3. Detección de necesidades. El resultado de evaluación inicial ser relejara en un informe de evaluación. El informe de evaluación inicial comprenderá: 1. Justificación de la intervención a partir de la necesidades detectadas 2. Procedimiento recogida información 3. Necesidades detectadas 4. Propuestas de intervención 5. Población diana 6. Propuestas y sugerencias 7. Conclusiones 2. La evaluación procesual. Informe de la evaluación formativa Carácter formativo Finalidad: Analizar y evaluar el proceso de intervención en distintos momentos de la ejecución del proyecto, con el fin de detectar posibles deficiencias y poder introducir los cambios necesarios para el logro de los objetivos propuesto. Sirve como estrategia de mejora ya que nos permite conocer los puntos débiles del proyecto durante su ejecución y abordar las modificaciones necesarias. Se realiza sobre todos y cada uno de los elementos del proyecto de intervención. Tiene un carácter de provisionalidad y de progreso porque va facilitando información periódica del progreso del proyecto. Se realizará un informe de cada evaluación procesual. Recogerá: 1. Análisis de la situación actual del proyecto en relación con la situación de partida. 2. Análisis de los problemas: Identificación y búsqueda de soluciones. 3. Análisis y control del seguimiento del proyecto para comprobar si se está desarrollando con los mismos planteamientos y criterios iniciales. 4. Regulación del proceso introduciendo los cambios necesarios a la vista de los resultados.

8 8 3. La evaluación final. Informe general de la evaluación sumativa Tiene carácter sumativo Es la resultante de las distintas evaluaciones realizadas a lo largo del proceso de intervención socioeducativa: evaluación inicial + evaluaciones procesuales. Aporta información de: Resultados obtenidos Logro de los objetivos y en qué nivel se lograron Adecuación de las acciones realizadas Adecuación y suficiencia de los recursos Los resultados pueden ser el punto de arranque de la evaluación inicial del siguiente proyecto en el mismo ámbito. El carácter de esos resultados pude determinar su extrapolación y repercusión. La evaluación final se concreta en el informe final: Tiene carácter integral, sumativo y definitivo Acredita la ejecución y terminación del proyecto y resultados logrados. El informe final recoge los siguientes aspectos: 1. Introducción 1. Finalidad 2. Estructura 2. Características del proceso de evaluación 1. Contextualización 2. Metodología 3. Destinatarios 4. Finalidad 5. Momento de la evaluación 3. Diseño de la evaluación 1. Objetivos 2. Procedimientos y técnicas de recogida de datos 3. Informe de evaluación procesual, si lo hay 4. Temporalización de las actividades 4. Resultados 1. Presentación y comentario 5. Conclusiones 1. Interpretación 2. Recomendaciones 6. Valoración de la evaluación realizada 1. Resumen de puntos fuertes y débiles 2. Limitaciones 7. Perspectivas del futuro 1. Propuestas de mejora Si el informe de evaluación final va dirigido a expertos o a comunidad científica debe tener un carácter más técnico incluyendo especificaciones en cuanto a: 1. Procedimiento de recogida de información 2. Plan de muestreo 3. Planificación de la recogida de datos 4. Tratamiento y análisis de los datos 5. Presentación de los resultados 6. Anexos para complementar información