Máster en Evaluación de Programas y Políticas Públicas

Transcripción

1 Máster en Evaluación de Programas y Políticas Públicas Centro Superior de Estudios de Gestión Universidad Complutense de Madrid Teléfonos: / / Fax : expeval@cseg.ucm.es

2 1. DEMANDA SOCIAL Y OBJETIVOS DEL CURSO 1.1. Demanda social y profesional La evaluación de programas y políticas se ha ido definiendo, a lo largo de los últimos treinta años, como un campo profesional y académico de primer orden y de clara utilidad práctica. Paulatinamente, se ha ido reconociendo la necesidad de valorar las intervenciones e inversiones públicas, con el fin no sólo de conocer mejor la propia acción sino también para mejorar los programas y las políticas, rendir cuentas sobre los mismos y dar luz sobre acciones futuras. Esta área profesional y académica se ha desarrollado enormemente sobre todo en los países de ámbito anglosajón (EE.UU., Canadá, Australia, Reino Unido) y en otros países europeos como son, por ejemplo, Suecia y Francia. Este desarrollo ha producido todo un campo y una comunidad científica y profesional, que se manifiesta no sólo en múltiples estudios y experiencias de evaluación, sino también en publicaciones y foros especializados, asociaciones profesionales y, de forma especial, programas académicos de postgrado para la formación de profesionales. En nuestro país, este desarrollo de la evaluación ha sido más lento, pero en la actualidad ya se reconoce de forma creciente su necesidad y su utilidad en la mayoría de los sectores. Entre otras cuestiones, se está conformando actualmente la Agencia Estatal de Evaluación de la Calidad de los Servicios y de las Políticas Públicas, también es significativa la demanda creciente de evaluación, ya sea de forma interna a las propias organizaciones como pedida externamente por agencias o instituciones financiadoras. Sin embargo, todavía existe una cierta ausencia de cultura de la evaluación en las organizaciones españolas tanto privadas como públicas, así como una falta de profesionales, equipos y unidades técnicas especializadas en dicho ámbito.

3 Por lo tanto, nos encontramos con un campo profesional en alza, el cual requiere de personas especializadas y, sin embargo, una casi total ausencia de formación específica para ello, especialmente en el ámbito de la formación de postgrado. Esta demanda profesional se articula en varios frentes. En primer lugar, dentro de las organizaciones e instituciones, tanto públicas como privadas, aparece la necesidad de tener recursos humanos especializados en el campo de la evaluación, tanto para establecer la demanda adecuada de evaluaciones como para iniciar procesos internos evaluativos. En segundo lugar, de forma creciente se reclaman profesionales especializados que sean capaces de diseñar, dirigir y ejecutar estudios externos de evaluación, los cuales son demandados desde los diferentes sectores. De esta manera, este Magíster va dirigido a los siguientes colectivos: 1. Jóvenes o licenciados/as en las diferentes carreras (especialmente en las ciencias sociales, pero no exclusivamente) que quieran especializarse en el campo profesional de la evaluación de programas, en cualquiera de sus ámbitos. 2. Profesionales en los diferentes sectores de política que quieran profundizar y especializarse en la evaluación de su sector. 3. Técnicos/as de instituciones públicas que requieran de recursos humanos especializados en un ámbito de demanda creciente. 4. Profesionales de organizaciones privadas, dedicadas a la consultoría, los cuales necesitan de una formación específica para ofertar servicios concretos en el campo de la evaluación. 5. Colateralmente, jóvenes académicos/as que quieran dirigir sus investigaciones al campo profesional de la evaluación de programas públicos. Por último, respecto a la demanda social, insistimos en que la evaluación es una herramienta metodológica que permite la mejora de los programas y las políticas públicas y el necesario rendimiento de cuentas en torno a las mismas. Además de facilitar el proceso de toma de decisiones en torno a las intervenciones, programas y organizaciones que las planifican y ejecutan, facilita también el reciclaje y aprendizaje organizativo, haciendo a las instituciones, colectivos y entidades que utilizan dicha herramienta más inteligentes, conocedoras y responsables del entorno en el que actúan.

4 La evaluación, bien utilizada, ayuda a saber dónde se está y hacia dónde se quiere ir, haciendo a los diferentes actores de un programa e institución más conscientes de su realidad. De esta manera, la evaluación se convierte en una pieza imprescindible en cualquier planteamiento estratégico, facilitando una visión global e integral y contribuyendo al mejor cumplimiento de la misión encomendada Objetivos científicos El objetivo general de este Máster es formar a futuros y futuras profesionales o especialistas en el campo de la evaluación de programas y políticas, de manera que al finalizar el curso hayan adquirido los conocimientos y desarrollado las capacidades y habilidades que les permitan tanto diseñar, dirigir y realizar evaluaciones (de forma interna a las organizaciones o como evaluadores externos) como analizar críticamente las mismas (sabiendo cómo demandar y encargar evaluaciones útiles o, incluso, investigando sobre evaluación). Como objetivos específicos se señalan: 1. Situar la evaluación en el proceso general de los programas y las políticas públicas y el desarrollo organizativo. 2. Adquirir una visión global de las posibilidades de la evaluación, así como los conceptos básicos asociados a la misma, sus funciones y propósitos. 3. Reflexionar sobre la necesidad y conveniencia de la evaluación, así como su sentido último y su utilidad. 4. Identificar los diferentes tipos de evaluación posibles y los distintos enfoques teóricos y prácticos que se han ido desarrollado y proponiendo en este ámbito. 5. Desarrollar las capacidades y habilidades necesarias para diagnosticar situaciones evaluativas y dar respuestas de evaluación adecuadas.

5 6. Diseñar un proceso de evaluación general, incluyendo el establecimiento de criterios e indicadores de evaluación, la recopilación y el análisis de información, y la comunicación y difusión de los resultados. 7. Conocer la situación de la evaluación en España y en otros países, así como las experiencias y prácticas de evaluación existentes en los diferentes sectores de política. 8. Saber analizar y valorar críticamente procesos y estudios de evaluación Actividades complementarias - A lo largo del curso se realizará, por parte del alumnado trabajos tutorados que serán propuestos por la dirección del Máster, de acuerdo con el Equipo Tutorial y el profesorado de los diferentes módulos. Además de disponer de un/a tutor/a, con quien podrá ponerse en contacto a través de correo electrónico, se celebrará un seminario de trabajo quincenal en el que se recogerán y discutirán los trabajos realizados. - Parte de este trabajo consistirá en la resolución de casos prácticos, tanto de forma individual como en grupo, en la que el alumnado deberá aplicar los conocimientos adquiridos y ejercitar su capacidad para la toma de decisiones y la búsqueda de soluciones consensuadas a los problemas. - La colaboración con profesionales en los diferentes ámbitos permitirá tener una visión real de los programas y políticas y su evaluación. Esto podrá ser completado con búsquedas concretas de información e incluso visitas a diferentes organizaciones. - A los alumnos/as que carezcan de experiencia profesional para la elaboración de la memoria de Grado, se les procurará, desde la Dirección del Magíster, la oportunidad de realizar unas prácticas en alguna organización o institución. - Se desarrollará un seminario permanente sobre teoría de la evaluación bimestral, y de carácter voluntario, en el que se discutirán temas monográficos, a partir de determinadas lecturas o exposiciones concretas.

6 2. PROGRAMA DEL CURSO 2.1. Titulación El alumnado que curse el Máster superando las pruebas previstas y apruebe la Memoria de Grado, obtendrá el título de MÁSTER EN EVALUACIÓN DE PROGRAMAS Y POLÍTICAS PÚBLICAS. El alumno o alumna que curse el programa y supere las evaluaciones, excepto la Memoria de Grado, obtendrá un Certificado de Asistencia Calendario y horario El curso se desarrollará de noviembre de 2005 a finales de junio de 2006, en su parte teórica y presencial. A su vez, durante estos meses, los alumnos deberán invertir una media de trabajo práctico dirigido de 5 horas semanales no presenciales. El horario será los viernes por la mañana (10:00 a 14:00) y por la tarde (de 16:00 a 20:00 horas) y los sábados por la mañana (de 10:00 a 14:00 horas), en semanas alternas. De julio a diciembre de 2006 se desarrollarán los trabajos tutorados necesarios para la presentación de la Memoria de Grado. Ésta tendrá como fecha límite de entrega el 15 de diciembre. En el caso de la realización de prácticas en organizaciones e instituciones, correspondientes a un máximo de 150 horas, tendrán lugar entre los meses de mayo y noviembre de 2005, y en el período en el que se convenie con las instituciones en cuestión.

7 2.3. Programa Total de horas: 550. Estas horas se distribuyen de la siguiente manera: horas teórico-prácticas de clases presenciales horas de trabajo individual durante el periodo intersesiones dirigido por tutores horas para la realización de prácticas y de memoria de grado. El programa se establece en los siguientes bloques y módulos: BLOQUE TEÓRICO-PRÁCTICO A. LA EVALUACIÓN DE PROGRAMAS Y SUS CARACTERÍSTICAS (50 horas) 1. INTRODUCCIÓN A LA EVALUACIÓN: CONCEPTO, DEFINICIÓN Y SENTIDO. La evaluación en el ciclo de los programas y políticas públicas. El papel de la evaluación en los sistemas político-administrativos. Evolución de la conceptualización de la evaluación y definición. Funciones y propósitos. Lo específico de la evaluación: diferencias con otras prácticas, carácter político, enjuiciamiento sistemático, su intención de utilización. Tipologías en evaluación. 2. APORTES TEÓRICOS Y EVOLUCIÓN METODOLÓGICA. Construcción teórica en evaluación: principales referencias. Evolución epistemológica y metodológica de la teoría. Modelos y enfoques en evaluación. 3. OTRAS METODOLOGÍAS DE RETROALIMENTACIÓN relacionadas con la evaluación. Metodologías y enfoques de calidad (EFQM e ISO), observatorios y sistemas de seguimiento. La cultura de evaluación y las organizaciones inteligentes. 4. ÉTICA Y EVALUACIÓN. Una reflexión sobre las implicaciones éticas de la evaluación y los posibles conflictos y dilemas. Orientaciones para los evaluadores/as. Algunas cuestiones transversales a tener en cuenta: la evaluación desde una perspectiva de género.

8 B. DISEÑO y DESARROLLO DE UNA EVALUACIÓN (110 horas) 5. EL DISEÑO DE LA ESTRATEGIA EVALUATIVA. Pasos a seguir y fases. Estudio de la demanda. Definición del objeto. Los agentes críticos en evaluación. El diagnóstico del contexto evaluativo y el diseño de la estrategia evaluativa. 6. PERSPECTIVAS SOBRE EL OBJETO Y SISTEMAS DE PROGRAMACIÓN. Perspectivas sobre el programa, política o servicio público: resultados, procesos y enfoque sistémico. Programación con perspectiva de resultados: Enfoque de Marco Lógico (EML). Programación de procesos. Salidas de la intervención: outputs y outcomes. La teoría de programa. La evaluación del diseño. 7. LOS CRITERIOS Y LAS PREGUNTAS DE EVALUACIÓN. Los agentes y las entradas de necesidades informativas. Los posibles criterios a utilizar, su definición y establecimiento. Modelos estándar y ad hoc. Las preguntas de evaluación. Los indicadores en evaluación y su operacionalización. 8. ELECCIONES METODOLÓGICAS. Diferencias entre epistemología, metodología y técnicas. Diferentes paradigmas de investigación. Diseños de investigación y su traducción a la evaluación de programas. Abordaje positivista: diseños experimentales, cuasiexperimentales, no experimentales y controles ex post. Abordaje constructivista. Evaluación participativa o ascendente. Triangulación y complementariedad. 9. INSTRUMENTOS, TÉCNICAS DE RECOPILACIÓN Y ANÁLISIS DE LA INFORMACIÓN. Fuentes de información. Técnicas cuantitativas (análisis de encuesta y técnicas estadísticas básicas), y cualitativas (entrevista, grupos de discusión, observación, análisis de contenido y de discurso). Utilización de datos secundarios en evaluación. Indicadores indirectos y fuentes secundarias. Técnicas de trabajo en grupo. Sistemas de organización del trabajo de campo. Elaboración de Presupuestos. 10. ANÁLISIS ESPECÍFICOS E INTERPRETACIÓN. Análisis específico de eficacia: efecto neto; contraste procesos y resultados. Análisis de la teoría del programa: revisión del diseño del programa. Análisis específico de cobertura: tasa de cobertura y detección de posibles sesgos. Análisis específico de eficiencia: Análisis Coste - Beneficio (ACB). Análisis de redes sociales. Tratamiento de información.

9 Organización de la información en torno a las preguntas y criterios de evaluación. Organización centrada en ideas. Elaboración de interpretaciones fundamentadas en datos. 11. ENJUICIAMIENTO Y RECOMENDACIONES. El tratamiento y elaboración de la información desde los hallazgos hasta su utilización para los propósitos de la evaluación: enjuiciamiento sistemático. Establecimientos de recomendaciones. 12. LA COMUNICACIÓN Y DIFUSIÓN DE LOS RESULTADOS de la evaluación y la elaboración de informes. Diseño de informes de evaluación y otros productos. Elaboración del plan de comunicación de resultados. Diferentes estrategias comunicativas. Compromisos o términos de aplicación de las recomendaciones. C. LA EVALUACIÓN EN LOS DIFERENTES SECTORES (20 horas) 13. LA EVALUACIÓN EN LOS DIFERENTES SECTORES. La metaevaluación como una forma de analizar críticamente y de evaluar las evaluaciones. La situación de la evaluación en España. Programas de desarrollo regional y local. Política sanitaria. Políticas de prevención y tratamiento de las drogodependencias. Políticas de igualdad de género. Políticas de cooperación al desarrollo. Programas dirigidos a la infancia. Programas europeos. La evaluación de los Servicios Sociales. Política educativa. La evaluación de la formación continua y de postgrado y la enseñanza universitaria. D. LA ELABORACIÓN DE TRABAJOS Y MEMORIA DE GRADO (20 horas) 14. SEMINARIO DE TRABAJOS Y MEMORIAS. Se realizará un seminario quincenal de una hora de duración en el que se recogerán y discutirán los trabajos prácticos realizados por el alumnado y que hayan sido encomendados por la dirección del Máster. Además se contempla una clase presencial donde se establecen las pautas para la realización de las Memorias de Grado.

10 BLOQUE PRÁCTICO E. TRABAJO PRÁCTICO DIRIGIDO (150 horas) Actividad de formación no presencial a través de trabajo dirigido. El alumnado invertirá una media de 5 horas semanales a lo largo de las 30 semanas en las que se desarrolla el bloque teórico presencial. Los trabajos complementan y afianzan los conocimientos vistos en las clases teóricas. Cada quincena se propone un trabajo, que el alumno desarrolla y entrega antes de la siguiente sesión. Durante este tiempo está asistido por un/a tutor/a quien orienta, asesora y ayuda al desarrollo de dicho trabajo. Además de las tutorías, para cerrar el trabajo realizado por el alumnado, en todas las sesiones presenciales (12 horas de clases cada 15 días) se deja una hora para la recogida, devolución y resolución de dudas de los trabajos de forma grupal. F. REALIZACIÓN MEMORIA DE GRADO (200 horas) Realización de memoria de grado y, en su caso, prácticas en organismos e instituciones. El proceso de realización de la memoria de grado también estará tutorado por un profesor/a o profesional de la evaluación vinculado al curso quien, por afinidad o especial conocimiento del área en la que se plantee el trabajo de grado, orientará y hará un seguimiento del trabajo realizado por el alumno/a en este periodo. Este tutor/a no tiene porqué ser la misma persona que haya ejercido de tutor para el trabajo inter-sesiones.

11 3. PROFESORADO Se propone un profesorado mixto integrado por profesores de universidades españolas y europeas-, directivos del sector público y privado. La misión de los docentes es proporcionar coherencia y continuidad al curso además de transmitir conceptos, valores y técnicas avanzadas. Por su parte, el papel de los directivos profesionales es transmitir experiencias. DIRECCIÓN María BUSTELO RUESTA. Profesora UCM. Facultad de Ciencias Políticas y Sociología CO-DIRECCIÓN Juan Andrés LIGERO LASA. Profesor Universidad Carlos III de Madrid. Facultad de Ciencias Sociales y Jurídicas. PROFESORADO Francisco ALVIRA. Catedrático UCM. Facultad de Ciencias Políticas y Sociología. Xavier BALLART HERNÁNDEZ. Profesor Universidad Autónoma de Barcelona. María BUSTELO. Profesora UCM Emilio CIDAD. Profesor Titular UCM. Miembro de la Unidad Técnica de Evaluación y Calidad (Vicerrectorado de Estudios) María Ángeles DÍEZ. Profesora Universidad del País Vasco. Subdirectora de la Escuela de Relaciones Laborales de la UPV. Lucía FINKEL. Profesora Colaboradora UCM. Florencio GUDIÑO. Coordinador Unidad de Diseño y Evaluación Programa Internacional Erradicación Trabajo Infantil (OIT)

12 David HERNÁNDEZ MONTESINOS. Consultor. J Jefe del Área de Marketing y Comunicación FNAC. Reyes HERRERO. Profesora Asociada UCM Paloma LÓPEZ DE CEBALLOS. Doctora en sociología. Consultora Javier LOSCOS. Profesor Titular UCM Juan Andrés LIGERO. Profesor Universidad Carlos III Álvaro MARCHESI. Catedrático UCM José Miguel MARINAS: Profesor Titular UCM Marta MARTÍNEZ. Consultora. José Luis OSUNA. Catedrático Universidad de Sevilla. Instituto de Desarrollo Regional. Victoria SÁNCHEZ ESTEBAN. Directora de la Consultora Red2red. Cristina SANTAMARINA. Profesora UCM. Directora CIMOP Araceli SERRANO. Profesora Titular UCM Juan José TORRES. Profesor UCM y Director Técnico de Ad Hoc Investigación de Mercados. Iván TOUZA. Responsable Fundación Entreculturas. María VELASCO. Profesora Asociada UCM. Carmen VÉLEZ. Profesora y Coordinadora de la Línea de Evaluación del Instituto de Desarrollo Regional (IDR). Universidad de Sevilla.

13 4. PROCEDIMIENTO DE EVALUACIÓN DEL ALUMNADO Los criterios de evaluación que se utilicen serán la participación activa en las sesiones presenciales, la reflexión sobre las cuestiones planteadas, la adquisición de conocimientos y el desarrollo de habilidades y destrezas para la aplicación real de los mismos, así como la aplicación y desarrollo de dichas destrezas y habilidades a través de la realización de los trabajos dirigidos, la resolución de los casos propuestos y la realización de la Memoria de Grado. El sistema de evaluación del alumnado pretende, por lo tanto: 1. Sensibilizar al alumnado sobre la necesidad de su asistencia y presencia activa en las actividades programadas del Magíster. 2. Fomentar la autoevaluación del nivel de conocimientos adquiridos, así como de las destrezas y habilidades necesarias para la aplicación de aquellos. 3. Promover una participación directa y activa en las actividades propuestas, tanto individualmente como en grupo. Para conseguir estos objetivos, se requiere: A. Una asistencia mínima al 85% de las clases. B. La realización suficiente y adecuada de los trabajos y actividades propuestas de formación no presencial. Para la realización de este seguimiento y evaluación, cada alumno/a tendrá asignado un tutor/a que formará parte del Equipo Tutoral del Magíster, quien evaluará la suficiencia de dicho trabajo no presencial. C. La plasmación en la Memoria de Grado de los conocimientos y habilidades adquiridas. Esta Memoria consistirá en el diseño y/o realización de una evaluación de un programa, servicio o política concreta, o bien en una metaevaluación de procesos de evaluación ya realizados.

14 Las memorias serán evaluadas por una Comisión, formada por tres profesores que serán nombrados oportunamente. Para dicha evaluación se contarán con los informes realizados por los tutores/as que hayan tenido los alumnos en el período de realización de la Memoria. Los tutores/as de Memoria serán seleccionados por la Dirección del Magíster entre el profesorado disponible, a propuesta del alumno y de acuerdo con el tema de Memoria elegido. Los tutores/as de Memoria podrán ser diferentes a los tutores/as de trabajo no presencial. D. Aprovechamiento del período de prácticas en su caso. El rendimiento del alumno será evaluado conjuntamente por el tutor que el programa le asigna y por el tutor de la organización que le acoge. Memoria El plazo de presentación de Memorias de Grado finaliza el 15 de diciembre del año 2006 en convocatoria ordinaria y el 30 de abril de 2007 en convocatoria extraordinaria. 5. IMPORTE MATRÍCULA Nº de alumnos/as: 25. Importe matrícula: (posibilidad de pago en 3 plazos). Se concederán tres becas del 50% de la matrícula. 6. PROCEDIMIENTO DE AUTOEVALUACIÓN DEL CURSO El curso será evaluado según los siguientes criterios: claridad de objetivos, estructuración y orden de los temas, coherencia e interrelación de los mismos, interés de los temas tratados para la actividad profesional, utilidad y aplicabilidad de los mismos, materiales y documentación adecuada, organización (suficiente información y

15 documentación, a tiempo), coordinación y dirección del curso y de los temas tratados (facilitación de información y atención a profesorado y alumnado, presencia). El profesorado y los tutores/as del Magíster serán también evaluados según los criterios de claridad expositiva, conocimientos y capacidad docente, atención al alumnado, orientación práctica y material entregado. Para recopilar la información sistemática pertinente para realizar la autoevaluación del curso, se diseñarán los cuestionarios oportunos, dirigidos tanto al alumnado (estos se aplicarán mensualmente) como al profesorado que participe en el curso. Además se realizarán reuniones periódicas con el Equipo Tutoral para valorar el progreso del curso y del grupo y tomar las medidas oportunas. También se propiciará una relación continua y fluida del alumnado con la Dirección y los tutores/as del curso, animando a los participantes a ofrecer información y comentarios sobre la marcha del Máster a través del correo electrónico. 7. INFORMACIÓN E INSCRIPCIONES Edificio B, Mas Ferré. Campus de Somosaguas MADRID Teléfonos: / / Fax.: expeval@cseg.ucm.es mbustelo@cps.ucm.es csegae05@cseg.ucm.es