HEURÍSTICAS Y SESGOS EN EL RAZONAMIENTO PROBABILÍSTICO. IMPLICACIONES PARA LA ENSEÑANZA DE LA ESTADÍSTICA

Transcripción

1 27 Congreso Nacional de Estadística e Investigación Operativa Lleida, 8-11 de abril de 2003 HEURÍSTICAS Y SESGOS EN EL RAZONAMIENTO PROBABILÍSTICO. IMPLICACIONES PARA LA ENSEÑANZA DE LA ESTADÍSTICA Carmen Díaz Facultad de Psicología Universidad de Granada, España E- mail: mcbatanero@hotmail.com RESUMEN El uso de juicios probabilísticos es fundamental en la toma de decisiones tanto en contextos profesionales, como en investigación y la vida diaria. En este trabajo realizamos una revisión de la bibliografía sobre las heurísticas de representatividad, disponibilidad y ajusteanclaje. Los resultados obtenidos sugieren sesgos generalizados en los juicios sobre frecuencias, percepción de la aleatoriedad, comprensión del tamaño muestral, razonamiento bayesiano, probabilidad compuesta y condicional. La finalidad es proporcionar información a los profesores de estadística y analizar las implicaciones para la enseñanza. Palabras clave: heurísticas, razonamiento probabilístico, enseñanza Código AMS: 97C30 1. Introducción A diario nos surgen problemas que requieren el uso de juicios probabilísticos, como estimar la probabilidad de que llueva mañana, o conocer la probabilidad de ganar en un juego de azar. Además, algunos de estos juicios probabilísticos los realizamos para tomar decisiones sobre sucesos que pueden condicionar en parte nuestra vida, o la de otras personas, como cuando se establece un diagnóstico médico. En la concepción subjetiva o bayesiana, la probabilidad se puede concebir como una medida numérica de la intensidad con que creemos en una determinada proposición. Si pensamos que una proposición es completamente falsa, le asignaremos una probabilidad 0 y si, por el contrario, pensamos que es completamente cierta, la probabilidad de que ocurra será 1. Usaremos el término juicio de probabilidad para indicar la asignación de un número a una creencia. 1

2 La psicología del pensamiento se interesa por conocer si las personas siguen la teoría normativa (teoría de la probabilidad) a la hora de realizar juicios bajo incertidumbre. Ya desde el siglo XVIII los investigadores en la psicología de la decisión se han interesado por saber si las personas son buenos estadísticos intuitivos o no. Estas investigaciones apuntan a que, al realizar juicios de probabilidad, se dejan llevar por una serie de heurísticas que conducen a un conjunto concreto de sesgos (Nisbett y Ross, 1980; Kahneman, Slovic y Tversky, 1982) que son frecuentes en campos tan diversos como la abogacía, educación, economía, medicina o política. Estos errores tienen una base psicológica, y la comprensión de las leyes teóricas de la probabilidad no siempre es suficiente para superarlos, si el sujeto no llega a tomar conciencia de ellos. El conocimiento de este tema es importante para los profesores de estadística, quienes deben tener en cuenta los razonamientos intuitivos correctos e incorrectos de sus alumnos, con objeto de prever sus dificultades y los errores que continúan al finalizar la enseñanza y para poder diseñar actividades didácticas adecuadas para superar estas dificultades. En este trabajo vamos a realizar una revisión de los trabajos más importantes realizados en torno a este tema y de los resultados obtenidos. Analizaremos también las implicaciones para la enseñanza de la estadística. 2. Trabajos sobre razonamiento probabilístico El origen de los primeros trabajos realizados sobre razonamiento probabilístico, se sitúa en el periodo de la Ilustración, cuando los matemáticos equipararon la teoría de la probabilidad al sentido común de las personas instruidas. Así, los teoremas de Bayes y Bernouilli se consideraban descripciones de los juicios humanos reales. Esta opinión fue cambiando, hasta llegar al momento actual. Algunos pasos importantes en esta evolución fueron los siguientes: - Laplace llegó a afirmar que la probabilidad no podría explicar todos los factores relevantes al juicio humano, porque éste se veía interferido por el deseo y la pasión. - Edwards, Lindman y Savage (1963) pusieron por primera vez a prueba experimentalmente si las personas siguen el teorema de Bayes, concluyendo que las inferencias hechas por los sujetos eran proporcionales a las calculadas según el teorema, aunque mostraban un matiz conservador. - Kahneman y Tversky en diferentes trabajos llegaron a la conclusión de que las personas no son bayesianas en absoluto. Estos dos autores propusieron el programa Heurísticos y sesgos donde describen los errores que las personas cometemos a la hora de realizar juicios de probabilidad y atribuyen estos errores a una limitación de la capacidad de procesamiento de la información. A partir de entonces se han realizado muchas investigaciones para estudiar estos errores sistemáticos, así como la forma de evitarlos y ayudar a las personas a mejorar la precisión de sus juicios. A continuación tratamos de resumirlos. 2

3 3. Heurísticos y sesgos Las personas, en general, no tienen un razonamiento estadístico correcto cuando hacen inferencias intuitivas sobre acontecimientos inciertos, bien porque no han aprendido nunca estas leyes, bien porque superan sus capacidades de cálculo mental. En lugar de esto, confían en reglas relativamente simples llamadas heurísticas que son las que guían sus juicios. Estas reglas tienen aparente validez, puede parecer razonables seguirlas, pero a menudo llevan a sesgos predecibles (Kahneman, Slovic y Tversky, 1982). Los procedimientos heurísticos descubiertos por estos autores son tres: representatividad, disponibilidad y ajuste-anclaje Representatividad El razonamiento estadístico en situaciones de inferencia implica la comprensión de dos ideas sobre el muestreo que aparentemente son contrarias: la representatividad de una muestra sugiere que ésta proporciona información sobre la población; la variabilidad muestral indica que las muestras varían entre sí. Los errores se producen cuando se olvida uno de estos dos aspectos. Algunos de los dilemas probabilísticos con los que se enfrentan las personas están relacionados con la pertenencia de un elemento a una categoría ( Qué probabilidad hay de que el elemento A pertenezca a la clase B?). Para resolverlo confiamos en la heurística de representatividad que es la evaluación del grado de correspondencia o similitud entre una muestra y una población, un ejemplar y una categoría, un acto y un actor o, más generalmente, un resultado y un modelo (Tversky y Kahneman, 1983). Las personas se apoyan en la representatividad además para predecir resultados. Con el uso de este heurístico se producen, generalmente, buenas respuestas, ya que las muestras y los resultados más representativos tienen una mayor probabilidad de ocurrencia. Sin embargo, el hecho de fijarnos sólo en la similitud de la muestra con la población de origen puede llevarnos a ignorar otros elementos esenciales de la información, ocasionando algunos errores como los siguientes: Insensibilidad al tamaño de la muestra Consiste en que la probabilidad estimada del estadístico de una muestra será independiente de su tamaño. Propuesto el siguiente problema, si las probabilidades se evalúan por representatividad, se responderá a ambas preguntas dando el valor de la altura media de la población. - Problema 1 Cuál es la altura media más probable de una muestra de 3000 hombres elegidos al azar? Cuál es la altura media más probable de una muestra de 10 hombres elegidos al azar? La teoría estadística nos indica que el valor esperado del estadístico de la muestra es el del parámetro en la población y no depende del tamaño de la muestra, aunque la varianza de la muestra cambia proporcionalmente a su tamaño, cambiando entonces las probabilidades de los sucesos. 3

4 Según indican Tversky y Kahneman (1971), mediante la representatividad se hace una extensión indebida de la ley de los grandes números, creyendo en la existencia de una "Ley de los pequeños números", por la que pequeñas muestras serían representativas en todas sus características estadísticas de las poblaciones de donde proceden. Este error puede tener importantes consecuencias de cara a la investigación experimental, ya que los científicos que creen en la "ley de los pequeños números" sobreestiman la potencia de sus métodos estadísticos, estiman a la baja la amplitud de sus intervalos de confianza y tienen unas expectativas injustificadas en la replicabilidad de experimentos realizados con pequeñas muestras. Concepciones erróneas sobre el azar En un experimento aleatorio, se espera que una secuencia pequeña de resultados represente fielmente sus características. Por ello, secuencias relativamente ordenadas no parecen el resultado de un proceso aleatorio. En el siguiente problema: - Problema 2. Escribe la secuencia producida al lanzar una moneda al aire. se suele ver más probable una secuencia del tipo C+C++C, que la secuencia del tipo +++CCC o CCCC+C. Las personas esperan que las características esenciales del proceso (igual número de cruces y caras en un número infinito de tiradas) estarán representadas no sólo en la secuencia global, sino también en cada una de sus partes. Este error lleva también a la falacia del jugador donde en un juego de azar, después de observar una serie larga de rojos en la ruleta, la mayoría de la gente cree que el negro es el que debe de salir a continuación. El azar se ve como un proceso autocorrector, en el que una desviación en una dirección induce una desviación en la otra dirección para restablecer el equilibrio. Falacia de las tasas base La siguiente tarea, relacionada con las tasas base, ha sido una de las más abordadas en la investigación acerca del juicio bajo incertidumbre. Se la conoce como el problema del taxi. - Problema 3. Un taxi se vio implicado en un accidente nocturno con choque y huida posterior. Hay dos compañías de taxis en la ciudad, la Verde y la Azul. El 85% de los taxis de la ciudad son Verde y el 15% Azul. Un testigo identificó el taxi como Azul. El tribunal comprobó la fiabilidad del testigo bajo las mismas circunstancias que había la noche del accidente y llegó a la conclusión de que el testigo identificaba correctamente cada uno de los colores en el 80% de las ocasiones y fallaba en el 20%. Cuál es la probabilidad de que el taxi implicado en el accidente fuera en efecto Azul? La mayoría de las personas eligen como respuesta 0 80 (estimación que coincide con la fiabilidad del testigo) y un grupo importante elige 0 50, otros creen que es más probable que el taxi sea Azul que Verde. Al resolver el problema mediante el teorema de Bayes se obtiene que la probabilidad de que el taxi implicado sea Azul es de De este error se deduce que las personas ignoran las tasas base de probabilidad de los sucesos. 4

5 Falacia de la conjunción Otro error típico de esta heurística se suele dar en el cálculo de la probabilidad de un suceso en un espacio muestral producto. Se puede llegar a creer que es más probable la intersección de dos sucesos que su unión, lo cual se puede detectar mediante el siguiente problema: - Problema 4. Linda tiene 31 años, es soltera, extravertida y muy brillante. Se licenció en filosofía. En sus tiempos de estudiante estaba muy comprometida con asuntos de discriminación y justicia social, y también solía participar en manifestaciones antinucleares. Ordena las siguientes afirmaciones de acuerdo con su grado de probabilidad: 1) Linda es profesora de enseñanza primaria; 2)Linda trabaja en una librería y asiste a clases de yoga; 3)Linda está asociada al movimiento feminista, 4)Linda trabaja en un centro de salud como psiquiatra, 5) Linda es miembro del Partido Feminista, 6)Linda es cajera de un banco, 7)Linda es agente de seguros, 8)Linda es cajera de un banco y está asociada al movimiento feminista. Ante este problema, las personas evalúan la respuesta (3) como más probable que la (6), pero también evalúan la respuesta (8) como más probable que la (6). El conjunto de mujeres que son simultáneamente cajeras y feministas no puede ser mayor que el conjunto de mujeres que sólo son cajeras, lo más que podría suceder es que fuera igual si todas las cajeras fueran feministas Disponibilidad En ocasiones la gente evalúa la probabilidad de un acontecimiento por la facilidad con que puede recuperarse ejemplos de la misma: generalmente se evocan con más facilidad ejemplos de clases grandes que ejemplos de categorías menos frecuentes (Tversky y Kahneman, 1974). La accesibilidad puede venir dada por la estructura cognitiva de la persona o por factores situacionales. El uso de este heurístico puede encubrir varios errores y está relacionado con la falta de capacidad combinatoria: Sesgos debido a la facilidad para recuperar ejemplos Una categoría cuyos ejemplos se recuperan fácilmente aparecerá más numerosa que una categoría de igual frecuencia pero cuyos ejemplos sean menos recuperables. En el siguiente problema, se suele dar la respuesta b) porque es más fácil recordar comités de 2 personas, aunque la teoría combinatoria nos dice que los dos casos son igualmente numerosos. - Problema 5. Una persona debe seleccionar comités a partir de un grupo de 10 personas (Cada persona puede formar parte de más de un comité). A) Hay más comités distintos formados por 8 persona; B) Hay más comités distintos formados por 2 personas. 5

6 Sesgos debidos a la efectividad de un proceso de búsqueda - Problema 6 Hay más palabras que empiecen con la letra A o palabras con la A en segunda posición? Ante esta pregunta se suele responder que son más frecuentes las palabras que empiezan con esa letra, ya que es más fácil recuperar las palabras por su inicial que por cualquier otra letra de su secuencia total. Experiencia personal Cuando hacemos algo con otra persona, podemos recordar nuestro punto de vista mejor de lo que recordamos el punto de vista de la otra persona. En un experimento de Ross y Sicoly (1979) citado por Ayuso (2001) pidieron a matrimonios que estimaran por separado, en qué medida eran responsables de varias actividades como limpiar la casa, preparar el desayuno... Cada cónyuge tendía a pensar que había tenido más responsabilidad que la que el otro cónyuge le atribuía. Como resultado, la responsabilidad total sumaba más de 100% Ajuste- anclaje Hay situaciones en las que comenzamos a hacer estimaciones a partir de un valor inicial y luego vamos haciendo ajustes hasta llegar a la respuesta final. El valor inicial o ajuste suelen ser típicamente insuficiente y llevan a estimaciones diferentes que están sesgadas por los valores iniciales, llevando a un ajuste erróneo, como en el siguiente problema. - Problema 7. Estimar en cinco segundos los valores de los siguientes productos: 1 x 2 x 3 x 4 x 5 x 6 x 7 x 8 8 x 7 x 6 x 5 x 4 x 3 x 2 x 1 Los valores medios de las estimaciones fueron 512 y 2250 respectivamente, siendo la respuesta correcta. Estas estimaciones se hacen demasiado rápido como para realizar un cálculo completo. Se basan normalmente en la extrapolación a partir de un cómputo parcial realizado en la primera parte de las series de números. Un ajuste insuficiente explica las estimaciones inferiores en los dos casos. La diferencias entre ambas se explica por el hecho de que en la segunda el punto de anclaje (si se empieza a calcular de izquierda a derecha) es mayor. 4. Otros errores en razonamiento 4.1 Juicios sobre frecuencias Estudios como el de Lichtenstein, Slovic, Fischhoff, Layman y Combs (1978) sobre estimación de frecuencias de distintos peligros y enfermedades en las causas de muerte en Estados Unidos concluyen que las personas tendemos a subestimar las frecuencias altas y a sobreestimar las frecuencias bajas en los sucesos aleatorios. Esto quiere decir 6

7 que sobreestimamos la ocurrencia de sucesos muy poco probables como accidentes en plantas nucleares y sin embargo subestimamos la ocurrencia de sucesos muy probables, como, por ejemplo, las coincidencias. 4.2 Calibración de los juicios Decimos que un juicio de probabilidad está bien calibrado si las estimaciones realizadas coinciden con los datos reales. Se ha comprobado que las estimaciones de probabilidades fallan de manera sistemática cuando la gente juzga su propia actuación, teniendo un exceso de confianza sobre los juicios propios, que aumenta con la dificultad de las tareas. Tanto creen las personas que sus juicios son correctos que están dispuestos a asumir un pago cada vez que se equivocan, como en el trabajo de Fischhoff, Slovic y Lichtenstein (1977), resultando finalmente que en la mayor parte de los sujetos perdían dinero en el experimento. Según Koriat, Lichtenstein y Fischhoff (1980) este exceso de confianza se debe a la tendencia a buscar evidencias tan sólo a favor de nuestras creencias iniciales y no en contra. Aún así, esta calibración incorrecta puede ser mejorada con un entrenamiento intenso si la retroalimentación sobre la exactitud del juicio es clara e inmediata. 4.3 El sesgo de equiprobabilidad Lecoutre (1992) describe la creencia de los sujetos en la equiprobabilidad de todos los sucesos asociados a cualquier experimento aleatorio. Lecoutre y sus colaboradores defienden que ello no es debido a la falta de razonamiento combinatorio, sino a que los modelos combinatorios no se asocian fácilmente con las situaciones en que interviene "el azar". - Problema 8. Cuándo lanzamos tres dados simultáneamente, Cuál de los siguientes resultados es más verosímil que ocurra? a)un 5, un 3 y un 6, b)un 5 tres veces, c) Un 5 dos veces y un 3, d)los tres resultados son equiprobables, e)es imposible saberlo. Los alumnos a los que se les pasó la prueba consideran que el resultado del experimento "depende del azar" y en consecuencia todos los posibles resultados son equiprobables. A pesar de variar el contexto y el formato de la pregunta, los resultados siempre coinciden y demuestran la estabilidad de la creencia en que los resultados son equiprobables. 4.4 Outcome approach La investigación de Konold (1989) apunta a que con frecuencia tenemos dificultad de interpretar un experimento como parte de una serie de experimentos repetidos. La dificultad para comprender la probabilidad frecuencial (se ha denominado su conducta "enfoque en el resultado aislado"), consiste en considerar cada una de las repeticiones de un experimento como si estuviese aislada; sin guardar relación con las anteriores o posteriores. Las preguntas sobre la probabilidad se interpretan de forma no probabilística, donde el fin de las situaciones de incertidumbre no es llegar a la probabilidad de 7

8 ocurrencia, sino predecir con éxito el resultado de un ensayo simple. En el siguiente problema los sujetos consideran muy poco probable que los tres hámsters prefieran los cacahuetes. - Problema 9. Al comienzo de un camino se coloca un hámster y se le deja que circule libremente hacia su alimento situado al final de un camino que se bifurca hacia dos puntos A y B. En el punto A ponemos cacahuetes y en el B pipas. Un amigo criador de hámsters nos informa que el 70 % de los hámsters prefiere las pipas a los cacahuetes. Pensarías que tu amigo está bien informado si el hámster prefiere los cacahuetes? Y si de 3 hámsters, los 3 prefieren los cacahuetes? La interpretación frecuencial de la probabilidad se restringe a fenómenos en los que es posible repetir indefinidamente ensayos "idénticos". En estos casos, la probabilidad se estima a partir de la frecuencia relativa del suceso en una serie larga de experimentos. No podemos aplicar esta perspectiva a un experimento del que sólo hay un ensayo aislado y único, a menos que imaginariamente pueda repetirse el experimento. Aunque esta interpretación de la probabilidad se considera dentro de las corrientes objetivas, no significa que esté libre de consideraciones de tipo subjetivo. Por el contrario, esta interpretación requiere que un sujeto considere que los resultados de una larga serie de experimentos puedan ser considerados idénticos, para calcular la frecuencia de aparición de cada suceso particular. 5. Efecto de la enseñanza sobre los razonamientos probabilísticos Otros trabajos se basan en algunos experimentos de enseñanza donde se analiza el efecto de la instrucción sobre las heurísticas y sesgos en el razonamiento probabilístico. En estos estudios se concluye que la simple instrucción en probabilidad no es suficiente para superar los errores que se cometen, sino que es necesaria una confrontación de los razonamientos intuitivos de los alumnos con la realidad mediante simulación y experimentos. Shaughnessy (1977) evaluó los conocimientos de los estudiantes, así como el uso que hacían de las heurísticas, mediante cuestionarios y entrevistas tanto antes como después de la instrucción. La instrucción que llevó a cabo consistió en un curso intensivo donde se realizaban experimentos y simulaciones en grupos reducidos de alumnos. Observó en el grupo experimental una reducción del uso de heurísticas y diferencias importantes respecto al grupo control. El éxito del curso se atribuyó a la posibilidad de comparar los resultados experimentales con las concepciones erróneas que tenían en un principio. Del Mas y Bart (1998) realizaron otro experimento de enseñanza en el que los estudiantes comparaban las predicciones sobre las secuencias aleatorias obtenidas al lanzar una moneda varias veces con los resultados obtenidos. Los estudiantes del grupo experimental, usaron más explicaciones normativas tras la instrucción. Por el contrario, los estudiantes del grupo control que no tuvieron la oportunidad de confrontar sus ideas erróneas, acabaron confiando más en sus heurísticas. 8

9 En estos experimentos, a pesar de que muchos alumnos mejoraban sus concepciones erróneas tras la instrucción, otros estudiantes continuaban manteniendo las interpretaciones no normativas de las tareas. Konold (1989) interpreta estos resultados afirmando que muchas de las intuiciones previas de los alumnos, que son formadas en las numerosas situaciones de incertidumbre a las que se someten las personas en su vida diaria, no pueden ser suficientemente confrontadas en el aula. En la Universidad de Granada se han hecho una primera evaluación del razonamiento probabilístico de los estudiantes de Magisterio. Aunque la muestra es restringida (130 alumno) se encontró un 60% de estudiantes con heurísticas de representatividad, 66% con sesgo de equiprobabilidad, y 73% con outcome approach (Cañizares, Godino y Díaz, en preparación). Estos datos hacen reflexionar, ya que algunos de estos estudiantes serán los responsables de enseñar probabilidad en la escuela y pueden transmitir a sus alumnos estos razonamientos incorrectos. En un experimento de enseñanza, se planteó a los futuros profesores problemas similares al 1 (representatividad) y 8 (equiprobabilidad), en los cuales la mayoría dio la respuesta errónea. A continuación se les proporcionó material manipulativo (monedas) y tablas de números aleatorios para que volvieran a resolver los problemas mediante simulación. En otros experimentos se usó la simulación con ordenador (por medio de Statgraphics y recursos en Internet). En ambos casos los futuros profesores pudieron contrastar los resultados experimentales con sus respuestas erróneas. Una puesta en común sirvió para reflexionar sobre la intuición incorrecta en el campo de la probabilidad y para interesarlos por completar sus conocimientos sobre el tema. 6. Implicaciones para la enseñanza Los errores descritos podrían manifestarse en los siguientes temas en un curso de estadística, dificultando la labor del profesor en el aula: Probabilidad condicional: Algunos puntos conflictivos sobre la independencia y probabilidad condicional son los siguientes: - Apreciar la independencia en ensayos sucesivos de un mismo experimento. - Comprender que la probabilidad de un suceso pueda condicionarse por otro que ocurra después que él. - Confundir las probabilidades P(B/A) y P(A/B) - Confundir sucesos independientes con sucesos mutuamente excluyentes. - No identificar correctamente cual es el suceso que hay que poner como condición en una probabilidad condicional. - Creer que la probabilidad de la intersección de dos sucesos es mayor que cada uno de ellos por separado Teorema de Bayes e inferencia Bayesiana: Además de las dificultades anteriores que pueden manifestarse al calcular las probabilidades condicionales que intervienen en la fórmula de Bayes, la falacia de tasas base nos indica que los alumnos no tienen un 9

10 razonamiento intuitivo en situaciones de aplicación de la inferencia bayesiana. Inferencia clásica: La probabilidad condicional interviene también en la definición de las distribuciones de los estadísticos en el muestreo, definición de las probabilidades de error en un test de hipótesis y las regiones críticas y de aceptación, así como del concepto de potencia. Tanto en este caso, como en la inferencia bayesiana, las dificultades de razonamiento sobre muestreo pueden bloquear la comprensión de los conceptos. Regresión y modelos lineales: La estadística bivariante y multivariante en general se apoya en la idea de dependencia/ independencia y condicionamiento, en las que se basan asimismo los diferentes modelos lineales y otros modelos de análisis de datos experimentales. En consecuencia, prácticamente toda la estadística está imbuída de las ideas de condicionamiento, independencia y muestreo, sobre las que nuestros razonamientos intuitivos nos llevan a sesgos sistemáticos. La enseñanza formal no es suficiente para superar estos errores, sino que los sujetos necesitan experiencia sobre los fenómenos aleatorios. Es importante plantear a los alumnos este tipo de problemas y discutir con ellos sobre sus concepciones erróneas. Puesto que los ordenadores hacen posible una variedad de cálculos y representaciones gráficas, Moore (1997) recomienda dar a los estudiantes la oportunidad de experimentar con estos conceptos. Específicamente, las investigaciones que hemos descrito sugieren también que la simulación con ordenador puede contribuir a mejorar la comprensión del estudiante de las ideas de variabilidad muestral, estadístico y su distribución. Referencias Ayuso, C. (2001): Psicología del pensamiento. Granada: El autor. Cañizares, M. J., Godino, J. D. y Díaz, C. (En preparación): Teaching probability to future primary teachers through simulation. Trabajo a presentar en la 54 Sesión del Instituto Iternacional de Estadística, 2003, Berlín. Del Mas, R. y Bart, M. (1998): The role of an evaluation exercise in the resolution of misconceptions of probability. Focus on learning problems in Mathematics, 11 (3), Edwards, W., Lindman, H. y Savage, L. J. (1963): Bayesian statistical inference for psychological research. Psychological Review, 70, Fischhoff, Slovic y Lichtenstein (1977): Knowing with certainty: The appropriateness of extreme confidence. Journal of Experimental Psychology: Human Perception and Performance, 3, Kahneman, D., Slovic, P. y Tversky, A. (1982): Judgment under uncertainty: Heuristics and biases. New York: Cambridge University Press. Konold, C. (1989): Informal conceptions of probability: Cognition and Instrucction, 6, Koriat, A., Lichtenstein, S. y Fischhoff, B. (1980): Reasons for confidence. Journal of Experimental Psychology: Human Learning and Memory, 6,

11 Lecoutre, M. P. (1992): Cognitive models and problem spaces in purely random situations. Educational Studies in Mathematics. 23, Lichtenstein, S., Slovic, P., Fischhoff, B., Layman, M. y Combs, B. (1978): Judged frequency of lethal events. Journal of Experimental Psychology: Human Learning and Memory, 4, Moore, D. S. (1997): New pedagogy and new content: The case of statistics. International Statistical Review, 65(2), Nisbett, R., y Ross, L. (1980): Human inference: Strategies and shortcomings of social judgments. Englewood Cliffs, NJ: Prentice Hall. Ross, M. y Sicoly, F. (1979): Egocentric biases in availability and attribution. Journal of Personality and Social Psychology, 37, Shaughnessy, J. M. (1977): Misconceptions of probability: An experiment with a small group, activity based, model building approach to introductory probability at the college level. Educational Studies in Mathematics, 8, Tversky, A. y Kahneman, D. (1974): Judgement under uncertainity: Heurístics and biases. Science. 185,