LAS NUEVAS TECNOLOGÍAS EN EL TRABAJO POR COMPETENCIAS EN LA TITULACIÓN DE PSICOLOGÍA: EVALUACIÓN PSICOLÓGICA ONLINE. Resumen

Transcripción

1 LAS NUEVAS TECNOLOGÍAS EN EL TRABAJO POR COMPETENCIAS EN LA TITULACIÓN DE PSICOLOGÍA: EVALUACIÓN PSICOLÓGICA ONLINE. Noemí GUILLAMÓN, Manuel ARMAYONES, Aida AGUILERA, Ramón ESCOBAR, Rodrigo MARTINEZ-DE UBAGO, Fernando MIRALLES, Elena REQUENA, María Rosa SÁEZ Estudios de Psicología y Ciencias de la Educación Área de Personalidad, Evaluación y Tratamiento Psicológico Universitat Oberta de Catalunya Resumen En el contexto del EEES, el psicólogo debe adquirir una serie de competencias profesionales que le serán exigidas en el mundo profesional, y que se recogen en el mapa de competencias del Grado en Psicología. Entre las competencias relacionadas con el saber hacer, tan importantes en una titulación aplicada como es Psicología, se encuentra la de aplicar las nuevas tecnologías al ámbito de la evaluación psicológica. Con objeto de favorecer la adquisición de esta competencia, hemos llevado a cabo un proyecto piloto realizado con 410 de las asignaturas de Psicopatología y Evaluación Psicológica de la titulación de Psicología de la Universitat Oberta de Catalunya. Los alumnos debían acceder a un sistema de evaluación online, contestar pruebas de evaluación psicológica simulando ser personas con unas determinadas características de personalidad y, a partir de los resultados obtenidos, elaborar un informe psicológico. El equipo docente de la asignatura ha diseñado guías de actuación y encuestas de valoración de la actividad dirigidas a los docentes y los. Unos y otros valoran positivamente la realización de actividades de este tipo y la posibilidad de integrar los conocimientos adquiridos durante el curso mediante un ejercicio que les acerca a la realidad de la profesión. Palabras Clave: evaluación online, competencias, nuevas tecnologías

2 1. Introducción En el contexto del EEES, el psicólogo debe adquirir una serie de competencias profesionales que le serán exigidas en el mundo profesional, y que se recogen en el mapa de competencias del Grado en Psicología. Entre las competencias relacionadas con el saber hacer, tan importantes en una titulación aplicada como es Psicología, se encuentra la de aplicar las nuevas tecnologías (en adelante, NT) al ámbito de la evaluación psicológica. Con objeto de favorecer la adquisición de esta competencia, hemos llevado a cabo un estudio piloto con 410 de las asignaturas de Psicopatología y Evaluación Psicológica de la titulación. En este estudio, los alumnos han aplicado un instrumento de evaluación online y han redactado un informe psicológico a partir de los resultados obtenidos que ofrece el sistema de evaluación de TEA Ediciones. TEA Ediciones ( es la distribuidora oficial de instrumentos de evaluación psicológica más importante de España. Desde hace un tiempo dispone de un servicio de evaluación online que es accesible a todos los profesionales o instituciones interesadas. Entendemos que tanto desde el punto de vista académico como desde el punto de vista de favorecer la adquisición de competencias relacionadas con el uso de las NT en el trabajo aplicado en Psicología puede ser interesante tener en cuenta las posibilidades que nos ofrece la Red. 2. Objetivos En este proyecto hemos planteado objetivos a dos niveles: orientados a los y orientados a la didáctica de las asignaturas. 2.1 Orientados a los : Favorecer la adquisición de una competencia relacionada con el saber hacer de la psicología (Aplicación de las NT a la evaluación psicológica). Acercar a los a un sistema de evaluación psicológica que cada vez es más utilizado por profesionales que se dedican a diferentes ámbitos de la Psicología Aplicada (selección de personal, clínica, etc.): la evaluación psicológica a través de la red. Favorecer el aprendizaje y consolidación de conocimientos adquiridos a lo largo de las asignaturas. Los objetivos específicos fueron: Mejorar el conocimiento de los sobre el instrumento de evaluación. Mejorar el conocimiento de los sobre el sistema de evaluación online. Mejorar el conocimiento de los sobre las personas con las características de personalidad y/o psicopatología que deben simular en la actividad. Adquirir más conocimiento sobre el proceso de evaluación psicológica desde el punto de vista del evaluado. Saber realizar un informe psicológico. Integrar los conocimientos adquiridos a lo largo de la asignatura con una actividad práctica.

3 2.2 Orientados a la didáctica de las asignaturas: Valorar qué momento del semestre y qué tipología de actividad (obligatoria, optativa) es la más adecuada para llevar a cabo esta experiencia Valorar qué estrategia de evaluación es la más adecuada (respuestas al ejercicio de evaluación continuada, confección de informes, aportaciones al debate, etc.). Valorar si la realización de la actividad ofrece una buena relación coste-oportunidad en relación a otro tipo de actividad. Valorar el nivel de aceptación de este tipo de actividades online entre nuestros. 3. Procedimiento 3.1 Participantes Para realizar este estudio participaron los de las asignaturas de Evaluación Psicológica (250) y Psicopatología (160) de la Licenciatura de Psicología de la UOC. Este estudio se realizó durante el segundo semestre del curso , concretamente durante los meses de abril-junio de En ambas asignaturas, la actividad en cuestión se enmarcaba en el contexto de los ejercicios de evaluación continuada que los deben ir entregando de forma periódica para seguir la asignatura. 3.2 Diseño de la actividad El equipo docente de cada una de las asignaturas diseñó la actividad de evaluación online a llevar a cabo por los alumnos Evaluación Psicológica: Los alumnos debían responder el instrumento de evaluación de la personalidad NEO-PI-R[1] simulando ser una persona con una fuerte dependencia de campo (una persona que toma decisiones muy influenciada por el contexto). Se intentó evitar que los respondieran sinceramente a la prueba para no incurrir en una vulneración de la confidencialidad de los datos. Tras responder la prueba, y a partir de los resultados obtenidos, el estudiante debía elaborar un breve informe psicológico con la interpretación de los mismos, además de participar en un debate en el aula sobre la actividad. En el debate se trataron los siguientes aspectos: el uso de las TIC en la evaluación psicológica, ventajas y limitaciones, características de la prueba y de su aplicación online, índices de fiabilidad y validez de la prueba, etc. En esta asignatura la realización de la actividad y la elaboración del informe era obligatoria para todos los, y su participación en el debate podía servir para matizar la nota final del ejercicio, por lo que era altamente recomendable Psicopatología: En el caso de Psicopatología los alumnos debían responder el Cuestionario CAQ[2], una prueba clínica muy utilizada en el campo de la evaluación clínica. La consigna que se dio a los fue la de contestar la prueba simulando sufrir un trastorno antisocial de la personalidad, cuadro del Eje II del Sistema de Clasificación Multiaxial DSM-IV que habían trabajado durante la asignatura. El objetivo de la experiencia en este caso era facilitar la integración de los conocimientos de psicopatología adquiridos en la asignatura mediante la realización de una actividad práctica. Aunque era obligatorio contestar la prueba no se consideró oportuno hacer obligatoria la participación de los alumnos en el debate posterior, como una estrategia para sopesar el nivel real de motivación que la actividad había generado entre los alumnos.

4 3.3 s de valoración de la actividad Una vez finalizada la aplicación de la prueba, se invitó a los y a sus a que respondieran una encuesta de valoración de la actividad. Esta encuesta fue diseñada por los dos profesores responsables de la asignatura a partir de los objetivos generales y específicos planteados en esta experiencia piloto, e informatizada con el programa de creación de encuestas online Netquest Survey Manager. Se trata de una encuesta online que estuvo accesible para los y profesores hasta finales de curso y que incluía preguntas sobre los aspectos que aparecen en la Tabla 1: Tabla 1 Características de las s de valoración de la actividad Tema Items de la encuesta Valoración general de la actividad 1 a 2 Valoración del grado en que se han alcanzado los objetivos de aprendizaje propuestos en la actividad Características de la actividad o carga de trabajo o utilidad de la actividad a nivel personal y profesional o participación en el debate y valoración del mismo o dificultades técnicas de la actividad Valoración de la acción de consultoría: o planificación de la actividad o valoración del docente respecto a su papel en el proceso de aprendizaje Valoración del material y de los recursos disponibles para realizar esta actividad Aspectos de mejora o momento del curso en que se ha realizado la actividad o tiempo dedicado a realizar la actividad 3 a 8 9 a a a 24 En la encuesta a los se pidió, además, que hicieran una valoración de la carga de trabajo que dicha actividad había supuesto para ellos y que consideraran qué elementos de la prueba debían ser evaluables y cuáles no.

5 4. Resultados Los resultados y productos de esta prueba piloto han sido: La elaboración de guías de trabajo para los profesores responsables de los estudios, con objeto de dar a conocer la experiencia y ofrecerles la posibilidad de incorporar este instrumento en las asignaturas que coordinan. La elaboración de guías de trabajo dirigidas a los docentes de las asignaturas () y a los, donde se explica cómo instalar el software y responder el instrumento de evaluación online. Mensajes tipo dirigidos a los alumnos presentando la actividad. El diseño de encuestas de valoración de la actividad dirigidas a y, en las que se evalúa el grado de satisfacción con la experiencia, las dificultades encontradas y la utilidad de las guías de trabajo. La elaboración de un protocolo de evaluación del grado de aprovechamiento de la actividad en el contexto de los ejercicios de evaluación continuada. Evaluación del impacto de la actividad: Número de que realizan la actividad y participan en el debate Valoración cuantitativa y cualitativa del grado de satisfacción expresado por los alumnos y docentes a través de las encuestas de satisfacción 4.1 Evaluación del impacto de la actividad: Número de que realizan la actividad y participan en el debate: La actividad fue realizada por el 85.2 % (213 en total) de los alumnos de Evaluación Psicológica y por el 82.7% (132 en total) de los alumnos de Psicopatología, cifras que corresponden a la práctica totalidad de los alumnos que siguieron la evaluación continuada (el resto realizan el examen final directamente), ya que como se ha comentado la realización de esta actividad era obligatoria para superar la Evaluación Continuada de las asignaturas. Respecto al debate, en la asignatura de Evaluación psicológica participaron el 67% de los alumnos que realizaron la actividad. En la asignatura de Psicopatología el porcentaje de participación de los fue menor y se situó en un 36.4%. Podemos considerar que la participación de los en el debate posterior a la actividad, teniendo en cuenta que no era obligatoria, es notable. Por otro lado, el hecho de que en la asignatura de Evaluación psicológica se explicitara el inicio del debate y se animara a participar indicando que ello podría repercutir en la nota puede haber influido en una mayor participación por parte del alumnado, en comparación a los de Psicopatología. Se observaron niveles diferentes de participación entre las aulas de la misma asignatura, que podría deberse a la mayor o menor dinamización del espacio por parte del docente. Cabe destacar la baja participación de los en contestar la encuesta diseñada para valorar la actividad. Concretamente contestaron la encuesta el 27,6% de los alumnos que realizaron la prueba en la asignatura de Evaluación y el 27,8% de los alumnos que realizaron la actividad en la asignatura de Psicopatología. La encuesta estuvo disponible para los desde el 15 de Junio hasta el 15 de Julio, coincidiendo con el período de exámenes del semestre. En este período la participación del alumnado en las aulas es menor que durante el resto del curso ya que no hay actividad académica y los están inmersos en la preparación de las pruebas finales. Sin duda, esta coincidencia de fechas puede haber repercutido de forma importante en el reducido porcentaje de respuesta a la encuesta.

6 4.1.2 s de valoración de la actividad : Hemos analizado los resultados de esta experiencia desde dos perspectivas. Por un lado los resultados orientados a los alumnos, y por el otro los resultados orientados a mejorar la didáctica de la asignatura. Para expresar los resultados en relación a los objetivos propuestos ofrecemos la siguiente tabla en la que se asocian objetivos, método de recolección de los datos y resultados obtenidos. Tabla 2 Síntesis de resultados de las encuestas de valoración de la actividad. Aspecto evaluado Medición de los resultados Resultados obtenidos Si no se expresa lo contrario los % corresponden a resultados 8 en Escala de.likert 1-10 Evaluación n=59 Psicopatol. 2 Valoración general de la actividad 91,4% positiva 84,4% positiva Valoración de los objetivos de aprendizaje: Mejorar el conocimiento de los sobre el instrumento de evaluación. Mejorar el conocimiento de los sobre el sistema de evaluación online. Mejorar el conocimiento de los sobre las personas con las características de personalidad y/o psicopatología que deben simular en la actividad. Adquirir más conocimiento sobre el proceso de evaluación psicológica desde el punto de vista del evaluado. Saber realizar un informe psicológico. Datos de seguimiento del proceso por parte de profesores coordinadores n=2 81,3% útil o 84,7% útil o 52,5% útil o 66,1% útil o 55,8% útil o 65,7% útil o 75% útil o muy útil 72% útil o muy útil 84,4% útil o 25,1% útil o Integrar los conocimientos adquiridos a lo largo de la asignatura con una actividad práctica. 81,3% útil o 62,5% útil o

7 Aspecto evaluado Tabla 2 Continuación. Medición de los resultados Resultados obtenidos Si no se expresa lo contrario los % corresponden a resultados 8 en Escala de.likert 1-10 Evaluación n=59 Psicopatol. 2 Características de la actividad o carga de trabajo para el estudiante o carga de trabajo para el consultor o utilidad de la actividad a nivel personal y profesional o participación en el debate y valoración del mismo o dificultades técnicas de la actividad Valoración de la acción de consultoría: o planificación de la actividad o valoración del docente respecto a su apoyo en el proceso de aprendizaje Valoración del material y de los recursos disponibles para realizar esta actividad Aspectos de mejora o momento del curso en que se ha realizado la actividad o tiempo dedicado a realizar la actividad o actividades evaluables o no evaluables según el consultor Datos de seguimiento del proceso por parte de profesores coordinadores n=2 69.5% adecuada o muy adecuada Adecuada 76.2% útil o 81.2% adecuada o muy adecuada Adecuada 55.3% útil o 44.1% (Sí) 15.1% (Sí) 98.3% pocas o muy pocas dificultades 89.7% positiva 86.4% positiva 79.6% útil o Profesores valoración alta o muy alta de recursos 98.3% adecuado o muy adecuado 93.2% adecuado o muy adecuado Según alto acuerdo en que las actividades sean evaluables 90.7 pocas o muy pocas dificultades 71.9% positiva 71.9% positiva 56.3% útil o Profesores valoración alta o muy alta de recursos 94.8% adecuado o muy adecuado 96.9% adecuado o muy adecuado Según alto acuerdo en que las actividades sean evaluables

8 Aunque en general existe bastante acuerdo en las apreciaciones que realizan los de ambas asignaturas, sí se observan divergencias en la valoración del grado en que la actividad ha contribuido a la consecución de algunos de sus objetivos específicos. Los de Evaluación Psicológica, por ejemplo, valoran más positivamente que los de Psicopatología la posibilidad de mejorar con la actividad su conocimiento sobre el instrumento de evaluación, saber realizar un informe psicológico y, en general, integrar los conocimientos teóricos adquiridos a lo largo de la asignatura. Sin duda, estos objetivos forman parte de los objetivos de aprendizaje de esta asignatura que se trabajan durante el semestre. Por otro lado, los de Psicopatología valoran más positivamente que sus compañeros de Evaluación el hecho de poder mejorar el conocimiento sobre las características de personalidad / psicopatología que debían simular para responder la prueba, y que forma parte, también, de la materia específica de la asignatura. Por tanto, las divergencias en cuanto al grado en que la actividad ha favorecido la integración de los conocimientos adquiridos a lo largo de la asignatura depende de los contenidos específicos de cada una de las materias objeto de estudio. El análisis cualitativo de los comentarios de los alumnos tanto en las aulas como en las preguntas abiertas de la encuesta nos puede ayudar a interpretar el resto de resultados que aparecen en la tabla. Respecto a la baja participación en el debate, los señalan la falta de tiempo y la coincidencia con la preparación de las pruebas finales como dos de los motivos que han limitado su participación en el mismo. Sin embargo, la mayoría de los que han participado considera enriquecedor poder compartir la experiencia con sus compañeros y el consultor del aula. En cuanto a los materiales y recursos disponibles, algunos alumnos señalan que les habría gustado disponer de más información sobre los instrumentos de evaluación online, en general, y sobre el NEO-PI-R y el CAQ en particular, así como sobre las características de personalidad y de psicopatología que debían simular. A este respecto, muchos comentan que hubieran preferido autoaplicarse los instrumentos en vez de simular ser otra persona. Como se ha indicado anteriormente, en el diseño de la actividad se optó por esta opción para evitar problemas relacionados con la confidencialidad de los datos. Por otro lado, se consideró que la simulación podría ser objeto de discusión en sí misma en las aulas de Evaluación, y debatir acerca de las escalas de validez de la prueba, y una forma adecuada de conocer a fondo el trastorno antisocial de la personalidad, en las aulas de Psicopatología. 5. Conclusiones Nuestra valoración de los resultados es muy positiva, en tanto que los han valorado muy positivamente la realización de una actividad que les ha permitido mejorar el conocimiento sobre los sistemas de evaluación online y han podido realizar una actividad que les permite avanzar en la consecución de competencias profesionales que deberán haber adquirido al finalizar su formación. Los perciben además, en un elevado porcentaje, que han sido capaces de integrar los conocimientos adquiridos a los largo de la asignatura, siendo este un colofón que puede contribuir a aumentar la motivación de los alumnos para continuar su formación y participar en actividades prácticas de esta naturaleza, habiendo podido comprobar como el aprender haciendo es una de las estrategias más válidas en la formación por competencias. Entre el equipo de y profesores responsables de la actividad existía preocupación por saber hasta qué punto la actividad sería bien admitida por los alumnos al final del semestre, con las pruebas de evaluación muy cerca en el calendario, y con la lógica preocupación de los alumnos ante ellas. Cabe destacar que la realización de este tipo de actividad justo al final del semestre ha sido valorada muy positivamente por la mayoría de, y que no han percibido que la carga de trabajo que les suponía fuera demasiado alta. Consideramos que un aspecto que debemos revisar es la obligatoriedad o no de la realización de la experiencia; obligatoriedad que debe estar justificada en el diseño de la actividad, en tanto que esta debe ser siempre diseñada, como ha sido nuestro caso, con la voluntad de contribuir a que los alumnos adquieran competencias propias del licenciado en Psicología. En nuestro caso la participación ha sido muy alta, independientemente de si la experiencia era obligatoria (Evaluación

9 Psicológica) o no (Psicopatología). Pero en el momento de participar en el debate (voluntario), organizado a partir de varias preguntas sobre el instrumento, la dificultad de evaluar online, etc., la participación no ha sido tan alta como cabría esperar, pudiendo haberse dado un efecto de curiosidad del alumno en realizar la prueba, pero no en reflexionar sobre la misma. Este aspecto debe ser corregido a partir de una dinamización en las aulas más orientada que realizaremos junto a los para favorecer que los participen en el debate posterior a la realización de la prueba y también que contesten la encuesta diseñada para evaluar la misma. En este sentido, cabe mencionar que en próximas experiencias la encuesta será puesta a disposición de los alumnos justo a continuación de haber participado en la experiencia y no dos semanas después, cuando los alumnos están más pendientes de sus pruebas de evaluación final. Consideramos finalmente que, en un somero análisis del coste-oportunidad, la experiencia ha sido positiva puesto que con un esfuerzo asumible se ha logrado que los integren una serie de conocimientos que se habían tratado a nivel teórico en las asignaturas, que hayan entrado en contacto con herramientas de evaluación que un gran número de psicólogos utilizan habitualmente, y que haya podido reflexionar, más allá de los manuales de las pruebas respectivas, sobre el proceso de evaluación psicológica en un caso y sobre un trastorno del eje II en otro, yendo un poco más allá de donde hasta ahora habíamos llegado en las asignaturas. 6. Referencias [1] Costa, R.R., y McRae, P.T. (1992). Revised NEO-Personality Inventory (NEO-PI-R) and NEO Five-Factor Inventory (NEO-FFI). Professional manual: Odessa, FL: Psychological Assessment Resources. [2] Krug, S. E. (1994). CAQ. Cuestionario de Análisis Clínico. Manual. Madrid: TEA Publicaciones de Psicología Aplicada.