Elaborado por Psic. Fernando Reyes Baños 1
ALGUNAS APROXIMACIONES A LA MEDICIÓN EN PSICOLOGÍA María Luisa Morales: Con la psicometría se intenta comprender la naturaleza de las personas a través de la medición de la conducta del ser humano (y de los animales). Tiene su origen en el estudio de las diferencias individuales, es decir, en trabajos que investigan en qué difieren las personas y en qué se parecen. Lo que en psicología se mide son los atributos, características, habilidades o rasgos que en las personas se expresan conductualmente de manera externa y observable, para lo cual se usan modelos, esto es, representaciones simplificadas que contienen las características del fenómeno estudiado, que sirven de guía para identificar los elementos del mundo real con los elementos que a estos caractericen. En psicología, por ejemplo, se usa como guía el modelo matemático para la medición de la conducta; para ello, se siguen los siguientes pasos: a) Identificación del objeto que va a ser medido; b) Identificación de las propiedades o conducta que va hacer medida, y c) Identificación de las reglas, mediante las cuales, asignamos un número a tales propiedades o conducta. En conclusión, podemos decir que medición es: un procedimiento, mediante el cual, asignamos números a las propiedades, atributos o características de los objetos, estableciendo las reglas específicas sobre las que se fundamentan tales asignaciones. Lewis R. Aiken: La utilización más rentable del método estadístico ha sido la construcción, aplicación y evaluación de las pruebas psicológicas, particularmente debido a las funciones que estas tienen: de diagnóstico, de selección, de ubicación y promoción, de decisiones prácticas y de investigación. Como nota histórica interesante: en 1991, la cifra total de ventas para los tests estandarizados aplicados en los grados, desde el jardín de niños hasta el bachillerato, se calculó, según la Asociación Americana de Editores, en 134 millones de dólares! Frederick G. Brown Las personas difieren en sus características de personalidad y en sus habilidades psicológicas. Así, los términos usados en psicología para describir a las personas se refieren entonces a características que varían mucho unas de otras: inteligencia, agresividad, habilidades para las matemáticas, intereses mecánicos, introversión, etc. 2
Un problema para el psicólogo es: Cómo descubrir la naturaleza y la amplitud de esas diferencias individuales en forma precisa y exacta? En la descripción de las características de los individuos se ha llegado a identificar más de 40,000 términos, por lo que los psicólogos, han tratado de reducir su cantidad a un número más manejable. Una solución a esto fue la Teoría de los rasgos: término que describe a un grupo de conductas que tienden a producirse juntas. El proceso para identificar un rasgo es hacer que un grupo de personas respondan a un gran número de reactivos, para luego analizar estadísticamente los datos, y poder ver así, cuáles son los reactivos que se agrupan. Ejemplo: interés mecánico en una prueba que cubra actividades vocacionales. Para que los rasgos resulten útiles como construcciones descriptivas tienen que ser relativamente estables en el tiempo y en diferentes situaciones. Debido a esta estabilidad relativa, autores como Burt y Jensen sostienen que los rasgos se determinan genéticamente. Una alternativa a esta opinión es la de Ferguson, quien sostiene que los rasgos son modos habituales de reacción, es decir, patrones de conducta que se han aprendido tan bien que las personas se conducen de manera similar en muchas situaciones. Sin embargo hay quienes opinan, Brown por ejemplo, que los rasgos NO SON características tangibles y directamente mensurables, y por ello, las mediciones psicológicas son siempre indirectas. En cuanto a la naturaleza de las mediciones psicológicas, estas son más bien relativas que absolutas porque comparamos la ejecución de un individuo con la de otros y no con un estándar absoluto; en otras palabras, tenemos un continuo de conductas y tratamos de situar a cada individuo en el lugar que le corresponde a lo largo de él. Dos cosas que se deben de observar siempre: 1) Los numerosos grados de variación de cualquier rasgo, y 2) Que la medición se hará siempre con relación a algún grupo de comparación. Lo que si es definitivo es que, en psicología no hay estándares absolutos. Gloria Benedito Habiendo una importación de las matemáticas a la psicología, Basta con esa importación para decir que la psicología ha adquirido cientificidad? Aún ahora prevalece una suposición de que la cientificidad de una disciplina depende del método que ésta emplee (y más si se trata de la cuantificación). Esta suposición tiene su origen en el positivismo, movimiento filosófico fundado en 1844 por Augusto Comte, quien postulaba ciertos principios para concebir a un conocimiento como científico, tales como un modelo acumulativo, observación de hechos, formulación de leyes, precisión racional y dogma progresista, que en conjunto definían lo que era ciencia, a saber: representación formal del objeto dado empíricamente expresado a través de un código matemático. 3
Sin embargo, a la suposición de que la dimensión cuantitativa es inherente a la naturaleza de los fenómenos y que por lo mismo es susceptible de ser extraída aplicando el método cuantitativo a los datos obtenidos por la experimentación, se opone la idea de que la cuantificación es posible porque antes está el número como objeto formal, el cual, es producto de la práctica científica de la matemática. En cuanto a la medición, los elementos distinguibles en su proceso son: a) Un instrumento o escala de medida; b) Una técnica de medición que está en función del instrumento y de las propiedades del objeto a medir; c) El sistema de números, y d) Interpretación de los datos. Se justifica la cuantificación en psicología por la elección de un objeto de estudio que, supuestamente, lo posibilita: la conducta, pero es precisamente por ello que entonces se omiten ciertos factores que son imprescindibles para el estudio psicológico del hombre: la concepción de un proceso de sujetación, de un aparato psíquico, de un modo de producción, de un conflicto, etc. Descartar esto equivale a hablar de una práctica ideológica, de una reproducción de lo aparente. Una justificación más certera para introducir en psicología la medición como parte de una práctica científica es la elaboración de un objeto formal que aluda a una explicación del fenómeno que se mide y que se constituya por la construcción de una teoría, proceso que reconoce dos momentos: 1) Trabajo teórico-conceptual, y 2) Trabajo conceptualexperimental, eligiéndose entonces el método apropiado a esa práctica científica. Para ello, Gastón Bachelar sugiere tres tipos de vigilancia epistemológica: a) Vigilancia de Primer Grado, ejercida en el campo de lo empírico; b) Vigilancia al Cuadrado, cuidado de la rigurosidad y corrección, y c) Vigilancia al cubo, supervisión de la elección. Finalmente cabe una última pregunta: Por qué se utiliza el método estadístico en psicología? Porque se considera a la conducta humana como un fenómeno de tipo probabilístico. Hernández Sampieri y otros Se dice que medir es asignar números a objetos y eventos de acuerdo con reglas (Stevens, 1951), pero esta definición no es apropiada, según Sampieri, para las ciencias sociales, ya que varios de los fenómenos que son medidos en estas no pueden caracterizarse como objetos o eventos, puesto que son demasiado abstractos para ello. Se sugiere entonces definir a la medición como proceso de vincular conceptos abstractos con indicadores empíricos, proceso que se realiza sistemáticamente para clasificar y cuantificar los datos disponibles en términos del concepto que el investigador tiene en mente. Así, el instrumento de medición o de recolección de datos juega un papel central. Éste queda definido entonces, como el dispositivo que permite registrar datos observables que representan, verdaderamente, los conceptos que el investigador tiene en mente. 4
Kathia Ma. Costa Neiva Un instrumento de medición en psicología es un conjunto de operaciones que nos permite llegar a obtener, objetivamente y con la mayor certeza posible, información acerca de la expresión de los fenómenos que se suceden en esa unidad biológica, social, psicológica, etc., que es la conducta humana. Una prueba psicológica es un instrumento de medición que posee tres características fundamentales: 1. Sirve de estímulo para extraer un segmento de la conducta de un sujeto. 2. Es rigurosamente estandarizado, es decir, se construye, se administra y se califica según reglas preestablecidas. 3. Permite comparar estadísticamente la conducta de un sujeto con un grupo de sujetos de una población definida. La medición de una conducta implica la utilización de ciertos procedimientos, según reglas específicas, para obtener como resultado la asignación de valores numéricos a la ejecución de una persona Anastasi Urbina Un baremo es el resultado que se espera de una persona de determinada edad y que pertenece a determinado grupo, construido según procedimientos estadísticos que, a partir de muestras representativas, determinan cuáles son los rendimientos típicos o promedios de ese grupo que servirá de patrón de comparación. Ejemplo: al querer medir la memoria es preciso hacer una comparación entre el rendimiento de un sujeto respecto a esa facultad y el obtenido por el resto de los individuos que integran el grupo al que pertenece. 5
SOBRE LAS PRUEBAS Utilidad Para la selección. Se identifica a los solicitantes más prometedores (los que tengan mayores probabilidades de éxito). La decisión es la de rechazar o aceptar. Para la clasificación. La meta es la de hacer coincidir los individuos y las alternativas que haya de manera óptima. Para el diagnóstico. Se compara la ejecución de un individuo en varios campos para determinar sus puntos fuertes y débiles. Estos procedimientos implican la identificación de los campos de incapacidad de un individuo y la aplicación de un programa de corrección. Para la prueba de hipótesis en las investigaciones psicológicas, para la construcción de hipótesis durante una asesoría y para la evaluación en las instituciones escolares. Actitudes hacia las pruebas Sobreestimación. Posición cómoda porque no hay que sopesar una gran variedad de factores. Desvalorización. Se cree en la inutilidad de las mismas porque depender de ellas puede traer como consecuencia tomar decisiones erradas. Las pruebas como algo antidemocrático y como una intrusión en la vida privada. Se cree que ciertas características de personalidad no se relacionan necesariamente con el éxito y que las actitudes de un individuo son un asunto exclusivamente suyo. Las pruebas Son métodos para la observación sistemática de la conducta. Son una muestra de todos los reactivos posibles, por lo que se debe determinar si la prueba contiene una muestra adecuada de reactivos del universo de reactivos posibles. Las pruebas pueden servir como Muestras. Los reactivos de la prueba son una muestra de todos los reactivos posibles en un dominio particular. Signos. Enfatizan la naturaleza de la característica que se mide. Predictoras. Predicen una conducta a futuro. 6
TIPOS DE PRUEBAS 1. Según la conducta que miden: - De inteligencia, - De habilidades, - De personalidad, - De intereses y valores, - Psicomotoras, - De rendimiento, - Etc. 2. Según el objetivo: - De ejecución máxima. Exigen del examinado su máximo rendimiento en las distintas tareas que componen la prueba. - De ejecución típica. Llamadas también de clasificación tipológica o cualitativa. 3. Según el tipo de respuesta exigida: - Objetivas. El examinado elige una respuesta entre varias alternativas. - Subjetivas. El sujeto proporciona libremente la respuesta. 4. Según la forma de administración: - De aplicación individual, - De aplicación colectiva y - Autoadministrables. 5. Según la forma de dar las instrucciones: - Orales y - Escritas. 6. Según la libertad de ejecución: - De poder. Exigen que el sujeto emplee toda su capacidad. El tiempo límite a veces es controlado. - De velocidad. Exigen que el sujeto ejecute la tarea asignada lo más rápido posible. La duración de la prueba es rigurosamente controlada. 7. Según el material utilizado: - De papel y lápiz, - Completamente verbal, - De ejecución y - Mixtas. 7
8. Según la forma de calificación: - Manual e - Informatizada. 9. Según la población a la que se destina: - Para bebés, - Para niños preescolares y escolares, - Para adolescentes, - Para adultos, - Las que pueden aplicarse a dos o más etapas del desarrollo. Factores a considerar La estandarización sirve para: a) Reducir al mínimo la posible influencia de variables personales y situaciones irrelevantes. b) Comparar directamente las calificaciones dadas a diferentes personas. Una prueba mide sólo la conducta registrada por ella, esto es, las respuestas dadas por una persona a los reactivos de la prueba. Una prueba contiene solamente una muestra de todos los reactivos posibles. Ninguna prueba incluye todos los reactivos que podrían desarrollarse para medir lo que, a partir de ahora, denominaremos dominio conductual: agrupación hipotética de todos los reactivos posibles que cubren una determinada área. 8
DISEÑO Y ELABORACIÓN DE TESTS Tipo de instrumento Exámenes De capacidad y personalidad Trabajo invertido en la elaboración de un test Propósitos Planeación del contenido antes de redactar reactivos Definición de constructos que se desean medir y establecimiento del contenido Tests de observación Población destino: quienes solicitan empleo Incluye un análisis de puestos: especificación de los componentes de un puesto de trabajo para desarrollar los reactivos del instrumento, y predecir con ellos, el desempeño del empleado. El instrumento resultante es una muestra representativa de los comportamientos que resultan importantes para ocupar un puesto de trabajo determinado Tests de inteligencia Sus reactivos se desarrollan: De acuerdo a una teoría específica del comportamiento inteligente Refiriéndose a los tipos de tareas que se supone las personas más inteligentes realizan con mayor eficacia que aquellas menos inteligentes 9
Escalas o inventarios de personalidad Se basa en planteamientos tales como: Sentido común Teorías de la personalidad Investigación empírica Tests de rendimiento Evalúan y motivan a los estudiantes y proporcionan información sobre el grado de avance de los objetivos educativos En cuanto a las pruebas de rendimiento, mejor conocidas como exámenes (las pruebas escolares que se aplican en las instituciones educativas) deben considerarse varios aspectos: objetivos educativos basados en taxonomías; tabla de especificaciones; contexto curricular, en el cual, este tipo de pruebas se hayan circunscritas; aspectos prácticos, etc. Objetivos educativos: taxonomías Preparar una prueba para medir objetivos educativos específicos resulta más efectivo cuando los comportamientos a evaluar se definen con claridad en la etapa preliminar Existen diferentes sistemas de clasificación para los objetivos educativos. Veamos un ejemplo: CONOCER EVALUAR COMPRENDER OBJETIVOS COGNOSCITIVOS SINTETIZAR APLICAR ANALIZAR 10
OBJETIVOS VERBOS SIGNIFICADO REACTIVO Conocimiento Definir, Identificar, Mencionar, Nombrar, etc. Recuerdo de hechos específicos Comprensión Aplicación Análisis Síntesis Evaluación Convertir, Explicar, Resumir, etc. Calcular, Determinar, Resolver, etc. Entendimiento del significado o propósito de algo Uso de información e ideas en nuevas situaciones Diferenciar, Dividir algo para revelar Relacionar, etc. su estructura y la interrelación de sus partes Diseñar, Desarrollar, Formular, Planear, etc. Comparar, Criticar, Evaluar, etc. Combinar los distintos elementos de un todo estructural Realizar un juicio con base al razonamiento Menciona las seis categorías principales de la taxonomía de Bloom Explique lo que quiere decir el revisor de pruebas cuando dice que una prueba no es confiable Calcule la media y la desviación estándar del siguiente grupo de calificaciones Analiza esta unidad de instrucciones en las distintas categorías conductuales y de contenido Diseñe una tabla de especificaciones para una prueba sobre estadística elemental Evalúa el procedimiento utilizado para la estandarización de esta prueba Dentro de la planeación de un instrumento es importante contar con una tabla de especificaciones, que sirva como guía para elaborar los reactivos. Al respecto: Ejemplo de una tabla de especificaciones: unidad referente al gobierno TEMAS Tendencias sociales Eventos políticos nacionales Métodos de investigación Principales aspectos políticos Total de preguntas HABILIDADES EVALUADAS Comprender Hacer Localizar Interpretar Total de conceptos generalizaciones información gráficas preguntas 4 4 1 1 10 2 3 3 2 10 1 1 2 1 5 3 6 4 2 15 10 14 10 6 40 11
Se sugiere redactar inicialmente más reactivos de los necesarios La objetividad de los reactivos denominados objetivos radica en su calificación La información que se obtenga de los sujetos dependerá de las tareas implicadas en cada reactivo Hablando propiamente de exámenes Si concebimos los exámenes como parte integral y formativa del proceso educativo (Pansza y Hernández, 1990) en lugar de pensar en ellos como una actividad desagradable, que debemos de anexar inevitablemente a dicho proceso, podemos comenzar a vislumbrarlos como herramientas útiles para evaluar el aprendizaje en los estudiantes. MOTIVACIÓN EXÁMENES FUENTE DE INFORMACIÓN Con relación a los exámenes deben considerarse diferentes factores, todos ellos relacionados con los objetivos educativos del programa de estudio de que se trate. Temas y subtemas Las preguntas que deben de hacerse El docente, al momento de hacer una prueba, deberá considerar los siguientes factores El formato Cuándo, dónde y cómo Forma de calificar Objetivos educativos 12
En cualquier caso, uno como docente debe atender siempre a los propósitos que el programa de estudios plantea con relación a los temas y subtemas que se verán en el curso, porque los primeros expresan lo que pretende lograrse en los estudiantes con la revisión de los segundos. Objetivos educativos planteados por el plan de estudios. Objetivos educativos planteados por el programa de estudios. Nivel al que se pretende que los estudiantes aprendan los temas y subtemas: Conocer, comprender, aplicar, analizar, sintetizar o evaluar. Exámenes con reactivos que midan los temas y subtemas según el nivel señalado por el programa de estudios Otras consideraciones acerca de los exámenes Extensión de la prueba, Cuántos reactivos deben incluirse en una prueba?: Eso depende de Los límites de tiempo El Grado de lectura de los sujetos La Extensión y dificultad de los reactivos Si tomamos en cuenta las diferencias individuales entre los estudiantes, debemos estar al tanto además de otra clase de factores: Su Preparación Su Personalidad Su Estado emocional y físico La Naturaleza del contenido de la prueba El Entorno en que se aplica Ordenamiento de las preguntas: Se hacen las siguientes sugerencias: Los reactivos de opción múltiple y falso y verdadero se ordenan de manera que las respuestas no sigan ningún patrón establecido Los reactivos de respuesta corta se colocan en grupos de 5 o una cantidad similar 13
Cuando sean reactivos de aparejamiento, que todas las opciones aparezcan en la misma página Otorgar espacio suficiente para responder reactivos de respuesta corta y de ensayo Las instrucciones: Es importante que expresemos las instrucciones de la prueba o de cada una de las partes que la conforman lo más claramente posible, haciendo mención de cómo deberán los estudiantes registrar sus respuestas. En algunas ocasiones podemos agregar, si se juzga conveniente, cómo serán calificados cada uno de los reactivos. Procedimiento general alternativo para calificar exámenes: Para pruebas objetivas conformadas por reactivos con n opciones de respuesta puede utilizarse la siguiente fórmula de corrección: Aciertos - Errores N Donde N equivale al número de preguntas dividido entre 10 Ahora bien, para usar un procedimiento como éste es recomendable contemplar criterios de acreditación y de evaluación. Véase el siguiente ejemplo: Un profesor, después de haber utilizado el procedimiento anterior, determinó para la acreditación y evaluación de sus alumnos en un examen, los siguientes criterios: a) Acreditación: puntuación igual o superior a 6 en el examen b) Un ejemplo de baremo de la nota final: - Hasta 5.99 = Malo - De 6 a 7.5 = Regular - De 7.6 a 8.5 = Bien - De 8.6 a 10 = Muy Bien Sugerencias para calificar pruebas de ensayo.- Calificar la pregunta como un todo o asignar valores distintos a cada uno de los componentes que conforman al reactivo, considerar la extensión asignada para la tarea que se solicita y su importancia, redactar con anticipación una respuesta ideal para cada reactivo para poder hacer comparaciones, calificar las pruebas sin el conocimiento del nombre del examinado y evitar errores como: dar más importancia a la cantidad que a la calidad de la respuesta, dar por buena una respuesta demasiado general y calificar bien un reactivo sólo porque el estudiante obtuvo calificaciones altas en otros reactivos (o porque ha tenido buenos promedios anteriormente). 14
En cuanto a las hojas de respuesta: En los primeros años escolares se pide a los alumnos que marquen sus respuestas en los folletos de las pruebas. Posteriormente, pueden utilizarse hojas separadas, que pueden calificarse manual o automáticamente Para administrar una prueba se recomienda: Que el aplicador lea las instrucciones generales antes de distribuir los folletos de la prueba Luego, que distribuya las hojas de respuestas y lea en voz alta las indicaciones para marcar estas Después, que distribuya los folletos de la prueba volteados y pida a los alumnos verlos solamente hasta que indique que pueden empezar Finalmente, el aplicador debe expresar las instrucciones de la prueba lo más claramente posible, refiriéndose a: El propósito de la prueba Los límites del tiempo Cómo deben registrarse las respuestas Cómo se va a calificar Pruebas orales. Ventajas: Situación social interactiva Respuestas a un nivel intelectual más alto Práctica en la comunicación oral Revisión más detallada del material El tiempo de evaluación es pequeño Desventajas: Ineficaces Falta de exactitud psicométrica Consumen mucho tiempo Muestra limitada de respuestas Mal planeadas 15
Retro-alimentación Una vez que se califican las pruebas y se hace entrega de los resultados, resulta más útil explicarles a los estudiantes en qué se equivocaron en lugar de explicarles en qué acertaron, pero resulta todavía más útil explicarles por qué se equivocaron. Por qué? Porque de ese modo pueden aprender estrategias más convenientes para la próxima vez. Preguntas guía para mejorar la comunicación de la retro-alimentación RETRO- ALIMENTACIÓN Comentarios específicos sobre errores o estrategias negativas Cuál es el error? Cuál es la razón probable por la que el alumno comete ese error? Cómo puedo guiar al alumno para evitar el error en el futuro? Qué hizo bien el alumno que se pueda hacer notar? Sugerencias sobre cómo mejorar y comentarios sobre aspectos positivos 16
TIPOS DE REACTIVOS Preparación de los reactivos del Instrumento. Todos los reactivos de pruebas representan procedimientos para obtener información sobre los individuos, pero la cantidad y clase de información varia de acuerdo con la naturaleza de las tareas que implican los distintos tipos de reactivos. Pedir a los sujetos que comparen la Batalla Bulges con la Batalla de Hastings exige una clase de respuesta diferente que aquella que se obtiene cuando sólo se les pide que indiquen, de entre una serie de eventos, aquellos que ocurrieron en cada batalla. El primer reactivo o ítem requiere de capacidades complejas de integración y organización, en tanto que para contestar el segundo solo se necesita memoria cognoscitiva. Se han sugerido distintos métodos para clasificar los reactivos de acuerdo con el formato, o la forma en que se requiere la respuesta. Completamiento o llenado contra selección, recuerdo contra conocimiento y construcción de respuesta contra identificación son maneras de diferenciar entre los reactivos en los cuales se requiere que los sujetos escriban o elaboren una respuesta y aquellos en los cuales se les pide indiquen cuál es la alternativa correcta. Otro método popular para clasificar los reactivos es ensayo contra objetivo. Todos los reactivos de ensayo son del tipo de completamiento o llenado porque la respuesta del sujeto es una respuesta construida. Sin embargo, los reactivos objetivos pueden ser del tipo de llenado, completamiento, de selección, dependiendo de si los sujetos deben elaborar una respuesta o sólo seleccionar la mejor respuesta de una serie de alternativas. El rasgo crucial de los reactivos objetivos no es la forma de respuesta, sino qué tan objetivamente pueden calificarse. Con frecuencia, dos o más calificadores de un reactivo de ensayo están en desacuerdo hasta cierto punto sobre lo correcto de una respuesta determinada y cuántos puntos debe recibir. Pero, a excepción de los errores de oficina, los distintos calificadores de una prueba objetiva darán la misma calificación a un reactivo dado. Ejemplos de distintos tipos de reactivos de prueba I. Reactivos de ensayo: escriba una respuesta de media página para cada reactivo. 1. Compare las ventajas y desventajas de los reactivos de ensayo y objetivos para pruebas. 2. Explique las razones para realizar un análisis de reactivos de una prueba aplicable en el salón de clases. II. Reactivos objetivos A. Respuesta corta: escriba la (s) palabras (s) apropiada (s) en cada espacio. 1. Lo único que es objetivo sobre una prueba objetiva es el. 2. Cuál es el primer paso formal en la elaboración de una prueba para predecir el grado de éxito en un trabajo en particular?. 17
B. Falso y verdadero: encierre en un círculo la V si la afirmación es verdadera; encierre en un círculo la F si se trata de una afirmación falsa. V F 1. El sistema de clasificación de pruebas más comprensivo es el de The Mental Measurements Yearbooks. V F 2. El grupo de respuestas de conveniencia social es la tendencia a dar una calificación alta a una persona en un rasgo o característica solo porque se le califica así en otra característica. C. Aparejamiento: escriba la letra que corresponde al nombre correcto en el espacio adecuado del margen. 1. Prueba de inteligencia de grupo 2. Prueba de inteligencia individual 3. Inventario de intereses 4. Inventario de personalidad 5. Correlación producto-momento 6. Pruebas sensoriomotrices A. Binet B. Darwin C. Galton D. Otis E. Pearson F. Rorschach G. Spearman H. Strong I. Woodworth D. Opción múltiple: escriba la letra de la opción correcta en el espacio del margen antes del ítem o reactivo. 1. Los adverbios como nunca, a veces y siempre, que revelan la respuesta a una persona sin información sobre la materia del reactivo, se llaman A. generalidades brillantes B. grupos de respuestas C. adverbios de enlace D. determinantes específicos 2. Jimmy, que tiene 8 años 4 meses de edad, obtiene una calificación de edad mental de 9 años 5 meses. De acuerdo con el texto, cuál es su CI promedio? A. 88 B. 113 C. 90 D. 120 1. Reactivos de ensayo. La ventaja más importante de los reactivos de ensayo es que pueden medir la capacidad para organizar, relacionar y comunicar, comportamientos que no evalúan con facilidad los reactivos objetivos; además, un instrumento de ensayo requiere menos tiempo para prepararse y es poco probable que los sujetos contesten en forma correcta, los reactivos de ensayo mediante la adivinación. Una desventaja de los instrumentos de ensayo es que la cantidad de preguntas que pueden responderse en un tiempo de clase regular (aproximadamente seis respuestas de media página en 50 minutos) 18
tal vez no proporcionen un muestreo adecuado del conocimiento sobre la materia que tienen las personas. Otras desventajas de estos instrumentos son que la calificación es subjetiva; toma mucho tiempo y son susceptibles al engaño por parte de sujetos con facilidad de palabra, pero que carecen de información. Un profesor de historia que conozco, en una ocasión informó haber aplicado un instrumento de ensayo que incluía la pregunta, Cuáles fueron las causas y consecuencias de la Batalla de Hastings? Un alumno flojo que no había tenido tiempo de llegar mas atrás del siglo XVI al estudiar la historia de Inglaterra empezó la respuesta a esta pregunta con la afirmación, No puedo comentar sobre la Batalla de Hastings, pero prestemos atención a la Guerra de los Cien Años. Este es un ejemplo bastante flagrante de la tendencia que presentan personas que no cuentan con información suficiente al responder de manera ligeramente diferente a la pregunta hecha con objeto de enfatizar lo que sí saben, en lugar de lo que no conocen. Por regla general, no deben utilizarse los reactivos de ensayo cuando es posible realizar la misma evaluación con reactivos objetivos. Si se hacen preguntas de ensayo, la persona que redacta los reactivos debe tratar de realizar las preguntas objetivas. Esto puede lograrse al 1) definir la tarea y redactar los reactivos en forma clara, por ejemplo, pidiendo al sujeto que compare y explique en lugar de que analice ; 2) utilizar una cantidad reducida de reactivos, deberán responder todas las personas; 3) estructurar los reactivos de manera que los expertos en la materia estén de acuerdo en que una respuesta es mejor que otra de forma demostrable y 4) pedir a las personas que respondan cada reactivo en una hoja de papel separada. Reactivos de respuesta corta, falso y verdadero y comparación. Los reactivos objetivos no se limitan a las cuatro formas tradicionales (respuesta corta o terminación, falso y verdadero, comparación y opción múltiple), pero estas son las más populares. Algunas de las ventajas que presentan las pruebas objetivas son que pueden calificarse con facilidad y de manera objetiva y que, como se necesita menos tiempo para responder cada reactivo, permiten un muestreo más extenso del material que las pruebas de ensayo. En la preparación de pruebas objetivas, debe ponerse especial cuidado en lograr que los reactivos sean claros, precisos y correctos en el aspecto gramatical. Deben redactarse con un lenguaje apropiado para el nivel de lectura del grupo que presentará la prueba. Deben incluir en el reactivo todos los datos y requerimientos necesarios para seleccionar una respuesta razonable, omitiendo las palabras y frases inútiles o estereotipadas. A pesar de que puede existir una tendencia a elaborar los reactivos objetivos con el uso de afirmaciones de los libros de texto u otras fuentes, esto da mayor importancia al aprendizaje de memoria. Las personas que redactan los reactivos también deben tener Una forma de manejar este problema, aunque representa mucho trabajo tanto para las personas que presentan la prueba como para quienes la califican, es el famoso procedimiento chino para los exámenes en el que se pide a los sujetos que escriban todo lo que saben! 19
cuidado de omitir las claves irrelevantes para la respuesta correcta y evitar reactivos que se interrelacionen y se entrelacen. Los reactivos se interrelacionan cuando la redacción de uno de estos ofrece una clave para la respuesta de otro. Los reactivos se entrelazan cuando es necesario saber la respuesta correcta de uno con objeto de contestar otro en forma correcta. 2. Reactivos de respuesta corta. Un reactivo de respuesta corta es una tarea de tipo de completamiento, en la cual, se pide a las personas que completen o llenen uno o más espacios en blanco de una afirmación incompleta con las palabras o frases correctas o que den una respuesta breve a una pregunta. En términos de la longitud de la respuesta elaborada, los reactivos de respuesta corta se encuentran entre los reactivos de ensayo y de conocimiento. Se cuentan entre los reactivos que se elaboran con mayor facilidad, ya que requieren que las personas den la respuesta correcta en lugar de limitarse a reconocerla. A pesar de que los reactivos de respuesta corta son en especial útiles para evaluar el conocimiento de la terminología, tienen serias limitaciones. No son apropiados para medir objetivos de enseñanza complejos y, ya que puede haber más de una respuesta correcta, la calificación no siempre es por completo objetiva. En la elaboración de reactivos de respuesta corta debe seguirse los lineamientos siguientes: 1. Se prefieren las preguntas a las afirmaciones incompletas. 2. Si se utiliza una afirmación incompleta, debe redactarse de manera que el espacio en blanco quede al final de ésta. 3. Evitar varios espacios en blanco en el mismo concepto, en especial, si hacen que el significado de la tarea no sea claro. 3. Reactivos de falso y verdadero. Uno de los tipos de reactivos para pruebas que son más sencillos de elaborar, pero que quizá sean los que menos agradan a los profesionales que aplican las pruebas, son los de falso y verdadero. Estos reactivos pueden redactarse y leerse con rapidez y, por tanto, permiten un muestreo extenso del contenido. Una desventaja importante de estos reactivos es que, con frecuencia, se ocupan de información trivial o se elaboran con afirmaciones que se toman al pie de la letra de los libros de texto. Como consecuencia, se dice que alientan el aprendizaje de memoria. Otro motivo de crítica para los reactivos de falso y verdadero es que con frecuencia son ambiguos, no pueden utilizarse para medir objetivos de enseñanza más complejos y, al basarse en el aprendizaje de memoria, dan una dirección errónea a los esfuerzos por aprender; además, ya que la calificación total de una prueba de falso y verdadero puede verse afectada por la tendencia del sujeto a adivinar cuando tiene duda o a estar de acuerdo (o en desacuerdo), el significado de ésta puede ponerse en entredicho. La tendencia a estar de acuerdo cuando se tienen dudas (conformidad) es un ejemplo de un grupo de respuestas. Un grupo de respuestas es la tendencia por parte de la persona que presenta la prueba a contestar los reactivos con base a su forma, es decir, en la manera que están redactados, en lugar de su contenido. 20
En promedio, los sujetos responderán en forma correcta 50 por ciento de los reactivos de una prueba de falso y verdadero con sólo adivinar. Las calificaciones pueden aumentar aún más cuando los reactivos contienen determinantes específicos; palabras como todos, siempre, nunca y sólo, que indican que es probable que la afirmación sea falsa, o con frecuencia, algunas veces y por lo general, que indican que es probable que la afirmación sea verdadera. A pesar de estas desventajas, los reactivos de falso y verdadero no tienen que ser triviales ni ambiguos y no necesariamente dan una dirección errónea a los esfuerzos por aprender. En defensa de los reactivos de falso y verdadero, Ebel (1970) sostiene que el grado del dominio por parte de los alumnos de un área del conocimiento en particular está indicado por su éxito al juzgar lo cierto o falso de las propuestas que se relacionan con ésta". Ebel argumentaba que estas propuestas son expresiones del conocimiento verbal, que considera, la esencia del logro educativo. La defensa por parte de Ebel de los reactivos de falso y verdadero puede ponerse en duda, pero no se pone en duda el hecho de que los reactivos de falso y verdadero puedan medir algo más que el aprendizaje de memoria, por ejemplo, al incluir dos conceptos, condiciones o eventos en un reactivo de falso y verdadero, la persona que administra la prueba puede preguntar si es cierto que están relacionados de manera estrecha a moderada. (Diekhoff, 1984). Otras posibilidades son preguntar si: 1) un concepto, condición o evento implica (es consecuencia de) otro; 2) un concepto, condición o evento es un subgrupo, ejemplo o categoría de otro, o 3) ambos conceptos, condiciones o eventos son verdaderos. Estos reactivos pueden medir la comprensión, así como el conocimiento significativo de los conceptos y eventos. Cualesquiera que sean los objetivos de una prueba de falso y verdadero, se aconseja tomar en cuenta las sugerencias siguientes al elaborar reactivos de este tipo: 1. Asegúrese de que las afirmaciones planteen asuntos importantes (no triviales). 2. Redacte las afirmaciones relativamente cortas y verdaderas o falsas sin lugar a dudas. 3. Evite los reactivos en forma negativa, en especial aquellos que contienen doble negación. 4. Evite los reactivos ambiguos y capciosos. 5. Como regla general, evite los determinantes específicos. Si se utilizan determinantes específicos para hacer que cometan errores las personas sin conocimientos pero hábiles, deben incluirse en los reactivos verdaderos con tanta frecuencia como en los falsos. 6. En las afirmaciones de opinión, cite la fuente o el texto del que provienen. 7. Redacte las afirmaciones verdaderas y falsas más o menos con la misma longitud y procure que la cantidad de afirmaciones verdaderas sea aproximadamente igual a la cantidad de afirmaciones falsas. Puede argumentarse que, debido a que las afirmaciones falsas tienden a ser más discriminantes que las verdaderas, la cantidad de afirmaciones falsas debería ser mayor que las verdaderas. Sin embargo, si el maestro sigue esta práctica en pruebas subsecuentes, es probable que los alumnos se den cuenta de ello y empiecen a responder falso cuando tengan duda sobre la respuesta. 21
8. Haga que las respuestas incorrectas sean más atractivas al redactar los reactivos de modo que la lógica superficial, los errores populares y los determinantes específicos sugieran que las respuestas erróneas son correctas. Las afirmaciones falsas que parecen verdaderas también pueden hacer que se equivoquen las personas sin conocimientos. 4. Reactivos de aparejamiento. En cierto sentido, tanto los reactivos de falso y verdadero como los de opción múltiple son una variedad de los reactivos de aparejamiento. En estos tres tipos de reactivos, se compara un grupo de opciones de respuesta a un grupo de opciones de estímulo (premisas). La diferencia es que los reactivos de falso y verdadero y de opción múltiple tienen una sola opción de estímulo (el tronco de la respuesta) y dos o más opciones de respuesta, en tanto que los reactivos de aparejamiento pueden tener opciones de estímulo y de respuesta múltiples. La tarea en un reactivo de aparejamiento es indicar qué opciones de respuesta corresponden a cuáles opciones de estímulo. Por lo general, la comparación es de una a uno (una respuesta por estímulo), pero también puede ser de una a varios, de varias a uno o de varias a varios. Desde luego, los sujetos deben estar informados sobre cuales de estos procedimientos se aplican a un reactivo en particular. Los reactivos de aparejamiento son fáciles de elaborar y cubren el material con más eficacia que otros tipos de reactivos, pero por lo regular miden sólo el aprendizaje de memoria de los hechos; además, la necesidad de hacer que las opciones sean homogéneas (todas las opciones de la misma clase, como fechas, lugares o nombres) limita el tipo de material que puede adaptarse en un contexto de comparación. Los siguientes son algunos lineamientos para la elaboración de reactivos de aparejamiento: 1. Ordene las opciones de estímulo (premisas) y respuesta en un formato de columnas claro y lógico, con las opciones de estímulo en la columna izquierda y las opciones de respuesta en la columna derecha. 2. Numere las opciones de estímulo en forma sucesiva y coloque letras (a, b, c, etcétera) antes de las opciones de respuesta. 3. Utilice entre seis y 15 opciones de estímulo, que tengan de dos a tres opciones de respuesta más que las opciones de estímulo. 4. Especifique con claridad las bases de la comparación. 5. Coloque todos los reactivos de este mismo tipo en una sola página. Un tipo especial de reactivo de aparejamiento es el reactivo de reordenamiento o jerarquización, en el cual se pide a las personas que clasifiquen un grupo de opciones en una cantidad fija de categorías determinadas previamente. Un tipo particular de reactivo de jerarquización es el reactivo de rango, en el cual, se ordena un conjunto de opciones de acuerdo con el rango de primera a última. 5. Reactivos de opción múltiple. Nadie sabe quien elaboró el primer reactivo de prueba de opción múltiple, pero desde el punto de vista de la evaluación psicológica se trató de un 22
evento importante. Los reactivos de opción múltiple son los más versátiles de todos los reactivos para las pruebas objetivas en el sentido que pueden utilizarse para medir los objetivos de aprendizaje complejos y sencillos en todos los niveles y en cualquier materia. A pesar de que la elaboración de una respuesta para un reactivo de ensayo quizá requiera de mayor habilidad para la organización que la respuesta para un reactivo de opción múltiple, responder en forma correcta un reactivo de opción múltiple bien elaborado, requiere de gran capacidad para la discriminación y no sólo para reconocer o recordar la respuesta adecuada. Las calificaciones para este tipo de reactivos se ven menos afectadas por la adivinación y otros grupos de respuesta que las calificaciones para otros tipos de reactivos objetivos. Además, puede obtenerse información de diagnóstico útil a partir de un análisis de las opciones incorrectas (distractores) que eligen las personas. Entre las desventajas de los reactivos de opción múltiple se encuentra que: 1) es difícil elaborar los reactivos adecuados, en especial aquellos donde todas las opciones tengan el mismo atractivo para los sujetos que no conocen 1a respuesta correcta; 2) enfatizan el reconocimiento más que el recuerdo y organización de la información; y 3) requieren de más tiempo para contestarse y quizás ofrecen una muestra menos adecuada del área de la materia que los reactivos de falso y verdadero. También se establece, aunque no se ha comprobado, que las pruebas de opción múltiple favorecen a los lectores astutos, ingeniosos y rápidos y afectan a las personas que piensan con mayor profundidad las respuestas (Hoffman, 1962). Los lineamientos siguientes deben facilitar la elaboración de reactivos de opción múltiple de alta calidad: 1. Debe utilizarse como tronco una pregunta o afirmación incompleta, pero se prefiere el formato de pregunta. En una afirmación incompleta, coloque el espacio en blanco al final del reactivo. 2. Establezca en el tronco, el problema específico de la pregunta o afirmación incompleta de manera clara y en un nivel apropiado para las personas; evite tomar al pie de la letra preguntas o afirmaciones de los libros de texto. 3. Coloque la mayor parte del reactivo en el tronco. No tiene caso repetir las mismas palabras en todos los conceptos. Para las personas es menos difícil revisar las opciones más cortas. 4. Emplee pocas preguntas de opinión; cuando las utilice, cite la fuente o el libro de texto de donde proviene la opinión. 5. Por lo general se utilizan cuatro o cinco opciones, pero también pueden redactarse sólo dos o tres opciones. 6. Si las opciones tienen un orden natural, como fechas o épocas, se recomienda ordenarlos de acuerdo con éste. De otra manera, ordene las opciones de modo aleatorio o alfabéticamente (si esta ultima no proporciona alguna clave para las respuestas correctas). Es probable que el crédito por la creación del formato de reactivos de opción múltiple corresponda a Arthur Otis, quien al parecer, lo utilizó por primera vez en su prueba de inteligencia en grupo en 1916-1917. 23
7. Redacte todas las opciones de respuesta de modo que tengan una longitud, más o menos igual, que sean correctas en el aspecto gramatical y que sean apropiadas en relación con el tronco. Sin embargo, no permita que el tronco revele la opción correcta mediante asociaciones verbales u otras claves. 8. Haga que todas las opciones sean posibles para las personas que no conocen la respuesta correcta, pero que sólo una opción sea la correcta o "la mejor". 9. Al elaborar cada distractor, formule una razón por la cual un sujeto que no conoce la respuesta correcta podría seleccionarlo. 10. Evite, o por lo menos reduzca al mínimo, el uso de expresiones como no tanto en el tronco como en las opciones. 11. A pesar de que es apropiada cierta cantidad de originalidad e incluso humor y puede servir para interesar y motivar a las personas, no deben utilizarse troncos y opciones ambiguas ni capciosas. 12. Use poco las expresiones ninguna de las anteriores, todas las anteriores o más de una de las anteriores. También evite los determinantes específicos como siempre o nunca. 13. Coloque las opciones en formato (párrafo) de grupo en lugar de una tras otra; utilice números para designar los reactivos y letras para las opciones. 14. Prepare la cantidad correcta de reactivos para el grado o nivel de edad que se pondrá a prueba, haciendo que cada reactivo sea independiente de los demás (que no se entrelacen ni se interrelacionen). Con sólo seguir estos lineamientos, que son sobre todo producto de la lógica y la experiencia más que de la investigación, no asegura la elaboración de una prueba de opción múltiple adecuada; en lugar de obedecer a ciegas un conjunto de reglas, la capacidad para redactar reactivos adecuados depende tanto o más del conocimiento de la materia que abarca la prueba, de entender lo que los alumnos deben saber sobre la materia, del arte o la habilidad para hacer preguntas, etc. Aún cuando los lineamientos no se sigan con precisión, los reactivos de opción múltiple tienden a ser bastante eficaces para medir el conocimiento y la comprensión 1. Elaboración de distractores. Un proceso crucial para determinar la efectividad de los reactivos de opción múltiple es la selección o elaboración de distractores (opciones incorrectas). En la selección de reactivos puede emplearse un planteamiento racional o empírico. El planteamiento racional requiere que la persona que elabora la prueba realice juicios personales con respecto de los distractores apropiados. Por el contrario, el planteamiento empírico consiste en seleccionar distractores de acuerdo con la cantidad de respuestas que se dan al tronco del reactivo cuando se aplican como afirmaciones abiertas. No existe un consenso con respecto de qué planteamiento da como resultado mejores distractores, pero el juicio de la persona que aplica el examen parece ser por lo menos tan efectivo como el planteamiento empírico (Owens, Hanna y Coppedge, 1970; Hanna y Jonhson. 1978). 1 Pueden encontrarse ejemplos de esta clase de reactivos en Woolfolk, Anita E. (1999), Psicología educativa. Prentice Hall: México. 24
Elaboración de reactivos complejos. Los creadores de pruebas por lo general tienen más problemas al elaborar los reactivos para medir la comprensión y el pensamiento que aquellos que miden el conocimiento directo de la materia de la prueba. Se han propuesto distintas formas de componer reactivos objetivos para evaluar objetivos de enseñanza más complejos. Las opciones como todas las anteriores, ninguna de las anteriores, dos de las anteriores y "todas las anteriores menos una pueden hacer que la elección sea más difícil; además, hacer que todas las opciones sean correctas (o incorrectas) y pedir que las personas seleccionen la mejor o la opción más apropiada para cada reactivo complica la tarea. Otras formas de hacer que la decisión del sujeto sea más difícil son: 1) incluir reactivos de opción múltiple en los cuales una cantidad variable de opciones sea correcta y en los que la persona deba indicar cuáles opciones son correctas o incorrectas (en caso de haberlas); 2) hacer que seleccionen una respuesta y la mejoren, y 3) pedir que identifiquen el planteamiento correcto (como por ejemplo una ecuación o método de solución) para las tareas de solución de problemas. A continuación se ilustran procedimientos adicionales para aumentar la complejidad de los reactivos de opción múltiple. Todas estas técnicas se diseñaron para hacer que la elección de la opción correcta sea un proceso analítico y que requiera del pensamiento en el cual se emplean distintas capacidades mentales, en lugar de un simple proceso de memoria de reconocimiento. Algunas formas complejas de reactivos de opción múltiple 1. Clasificación. El examinando clasifica una persona, objeto o condición en una de las varias categorías mencionadas en el tronco: Jean Piaget se caracteriza mejor como un psicólogo a. clínico c. psicométrico b. del desarrollo d. social 2. Condiciones si-entonces. El examinando debe decidir la consecuencia correcta de una o más condiciones presentes: Si la varianza real de una prueba aumenta pero la varianza de error permanece constante, cuál de las situaciones siguientes se presenta? a. aumenta la confiabilidad c. disminuye la varianza observada b. disminuye la confiabilidad observada d. no cambian ni la confiabilidad ni la varianza 3. Condiciones múltiples. El examinando utiliza dos o más condiciones o afirmaciones mencionadas en el tronco para llegar a una conclusión: Suponiendo que la calificación bruta de Mary en una prueba es 60, la medida de la prueba es 59 y la desviación estándar es 2, cuál es la calificación z de Mary? 25
a. 2.00 c. 0.50 b. 0.50 d. 2.00 4. Falso y verdadero múltiple. El examinando decide si una, todas o ninguna de las dos o más condiciones o afirmaciones mencionadas en el tronco es (son) correcta (s): Es cierto que 1) Alfred Binet es el padre de las pruebas de inteligencia y 2) su primera prueba de inteligencia se publicó en 1916? a. ambas, 1 y 2 c. 1 no, pero 2 sí b. 1 pero no 2 d. ni 1 ni 2 5. Falta de correspondencia. El Examinando indica cuál de las opciones no pertenece al mismo grupo que las otras: Cuál de los nombres siguientes no corresponde con los otros? a. Alfred Adler c. Carl Jung b. Sigmund Freud d. Carl Rogers Tomado textualmente de: Aiken, Lewis R. (1996). Tests psicológicos y Evaluación. México: Prentice Hall, páginas 29 a 37. 26