( ) Análisis de la fórmula para la calificación de pruebas tipo test multi-respuesta. J. L. González-Santander y G. Martín

Transcripción

1 ereis Revisa Iberoamericana Inerdisciplinar de Méodos, Modelización y Simulación Análisis de la fórmula para la calificación de pruebas ipo es muli-respuesa Fecha de recepción y acepación: 9 de ocubre de, 5 de noviembre de J L González-Sanander y G Marín Universidad aólica de Valencia San Vicene Márir Valencia (España) ISS Deparameno de iencias Experimenales y Maemáicas Faculad de iencias Experimenales Universidad aólica de Valencia, Valencia marinezgonzalez@ucvs y germanmarin@ucves Absrac We evaluae he approach which usually jusifies how much has o be subraced for every incorrec answer in a muliple choice es We have developed a calculaion which akes ino accoun he possibiliy o blank answer some quesions, which is no possible wih he usual approach We show ha when he number of quesions ends o infiniy, boh approaches are asympoically equivalen KEYwords: muliple choice ess, cenral limi heorem RESUME Se raa de evaluar la aproximación del enfoque que habiualmene se uiliza para jusificar cuáno ha de resar cada respuesa incorreca en la calificación de un examen ipo es muli-respuesa Se ha desarrollado un cálculo que iene en cuena la posibilidad de conesar pregunas en blanco, lo cual no es posible con el enfoque habiual Se comprueba que cuando el número de pregunas iende a infinio, ambos enfoques son asinóicamene equivalenes PALABRAS LAVE: es de elección múliple, eorema del límie cenral ITRODUIÓ Es bien conocido que para calificar un examen ipo es no sólo deben conabilizarse las pregunas aceradas, sino ambién las falladas Si no se desconara algo de punuación por preguna fallada, endría senido conesar al azar las pregunas cuya respuesa se desconoce, pues ello no supondría empeorar la noa, y en consecuencia, el alumno podría obener una sobrenoa que se debería al azar y no a sus conocimienos En ese rabajo se preenden analizar las probabilidades de las disinas calificaciones que se pueden obener en un examen ipo es mulirespuesa, en el supueso de que se conesen las pregunas al azar Modelo simplificado Esperanza y varianza en un examen aleaorio sin pregunas en blanco Supongamos que enemos un examen ipo es con pregunas, y n opciones de respuesa por preguna (n ) Sea c i la calificación de la i-ésima preguna, siendo i {,,, } Supongamos que cada preguna acerada conabiliza puno y cada preguna fallada /α punos Es decir, si aciera c = i α si falla Qué valor ha de ener α para eliar la sobrenoa que se puede obener respondiendo al azar? Si el alumno respondiera al azar odas las pregunas, la calificación esperable debería ser un cero Si consideramos c i como una variable aleaoria discrea, con espacio muesral E = {, /α}, debería ener la siguiene función de probabilidad, p c i n si c i = = n si c i = α Enonces, el valor esperado de la calificación en una preguna sería, n E ( ci ) = + = n α n n α La calificación para un examen sería la suma de las calificaciones obenidas en odas las pregunas, proporcionada a la punuación máxima del examen, que llamaremos Es decir, = ci i= (3) A parir de (3), el valor esperado para la calificación de un examen sería enonces, () () EREIS 3 [Marzo ], 53-59, ISS:

2 54 J L González e al E = i= = i= = n E( c ) = i n n α n α omo la calificación esperable para un examen respondido al azar debe ser, de (4) y (5) se deduce que, E( ) =, (5) α = n (6) Susiuyendo la relación (6) en () se obiene, (4) Además, según (5) y (), µ = σ = De () se deduce que,, ( ) n lim σ = () Por oro lado, la normal se compora asinóicamene como dela de Dirac (J Spanier, K B Oldam, 987), por lo que, ~ δ (3) Según (), la calificación sigue asinóicamene una disribución normal De ese modo, para que en el q% de las ocasiones la calificación caiga en el inervalo (µ kσ, µ + kσ), la probabilidad asinóica ha de ser ( Lebedev, 97), n E ( ci ) = = n n (7) k Pasin ( µ kσ) = erf = q, Al despejar k, se obiene, (4) La relación (7) iene senido pues hemos supueso n La varianza de la variable aleaoria c i vendrá dada por la siguiene relación, Var( ci) = E( ci) + E ( ci) n α n Teniendo en cuena lo obenido en (6) y (7) se obiene, Var ( c i ) = (9) n Parece razonable asumir la hipóesis de independencia de las variables c i, ya que se supone que las respuesas son al azar, por lo que, Var = Var( ci) Var ( ci) = i= = n ( ) (8) () Inervalos de confianza asinóicos Debido a que la variable aleaoria es la suma de variables independienes, odas con peso, por el eorema cenral del límie (W Feller, 996), al hacer que, la función de densidad de será una normal de media µ y desviación ípica σ Es decir, ( µ ) lim f = exp σ π σ () ríica al enfoque simplificado ( q) k = erf (5) Hasa el momeno no se ha considerado la posibilidad de que el exaado deje pregunas en blanco, lo que resula razonable si se desconoce la respuesa Para poder analizar el problema bajo la posibilidad de dejar pregunas en blanco, sería necesario conocer p(c i = ), lo cual depende de los conocimienos que enga el alumno Para sorear esa dificulad, debemos planear el problema de ora manera modelo exaco Exámenes con pregunas aceradas, falladas y en blanco Supongamos un examen ipo es, con pregunas y n opciones por preguna Supongamos que en el examen se producen m acieros, fallos y b respuesas en blanco Enonces, = m + + b (6) Según (6), la calificación de un examen sólo depende de m y, pueso que es conocido y fijo En consecuencia se endrá, ( m, ) = m, α > α (7) El número de respuesas posibles para cada preguna es n +, pueso que, además de las n posibles respuesas para cada preguna, enemos la respuesa en blanco En consecuencia, el número de exámenes que pueden producirse al responder aleaoriamene a odas las pregunas será, EREIS 3 [Marzo ], 53-59, ISS:

3 Análisis de la fórmula para la calificación de pruebas ipo es muli-respuesa 55 VR n + = = n + ( * ) (8) p * VR n m represena las variaciones con repeición de m elemenos formando grupos de n Si b es el número de exámenes con b pregunas en blanco, m el número de exámenes con m pregunas aceradas y b en blanco, y el número de exámenes con pregunas incorrecas, enonces el número de exámenes con m acieros, fallos y b respuesas en blanco, que llamamos b,m,, será, b = = n b m b, m, b m (9) Por oro lado, dado un valor de m (número de respuesas correcas), el número máximo de respuesas incorrecas es, = m (3) Para obener el número mínimo de respuesas incorrecas,, que iene un examen con una clasificación inferior a, podemos usar (7), que despejando se obiene, (m, ) <, < α m, omo b esá deerada por, m y según (6), endremos, m = m b, m,, () Luego ha de ser, > α m en donde el paso de (9) a () se realiza de la siguiene forma, eniendo en cuena (6), = α m +, (4) b! ( b)! = b m b!( b)! m!( b m)!! ( m)! = b!( m)! m!( b m)!! ( m)! = m!( m)! b!( b m)! m! ( m)! = m!( m)!!( m )! m = m Por ano, de () se deduce que dado un examen con pregunas y n opciones de respuesa, debido a la relación (6), enemos dos grados de liberad, uno en m y oro en úmero de exámenes hasa ciera noa Sea el número de exámenes con una calificación inferior a óese que hay muchos exámenes con disino número de acieros m, fallos y pregunas en blanco b, que ienen una calificación inferior a Hemos de sumar odos esos posibles exámenes, enre cieros límies de m y, para obener m m = m= m = m () Además, el número mínimo de respuesas correcas, para cualquier noa, ha de ser, Por oro lado, ano como dependen del número de respuesas aceradas m Podemos usar ese hecho para deerar el número máximo de respuesas aceradas m, pues se ha de cumplir que, es decir, α (m ) = (m ), m += m (5) omo y m son números eneros, la relación (5) se puede escribir de la siguiene forma, es decir, m + + m =, α α < ( α +) m + +< Despejando, α α + < m < + α + α + α + omo α >, enonces (α + ) - <, y por ano resula que, m α = +, m, α + α + (6) m = () EREIS 3 [Marzo ], 53-59, ISS:

4 56 J L González e al donde el número m de respuesas aceradas iene que ser ambién un número enero no negaivo Finalmene, usando las relaciones (), (3), (4) y (6), podemos escribir como, álculo de probabilidades m m m = m= m = (7) Suponiendo que odas las respuesas posibles a un ciero examen ipo es sean equiprobables, enonces, de acuerdo con (8) y (7), la probabilidad de obener un examen con una calificación inferior a es, m m p m= m = P( < ) = = n + (8) omo es habiual, si F es la función de disribución de la variable aleaoria, enonces, De ese modo, endremos que, = ( < ) F P ( < ) = ( < ) ( < ) = F( ) F( ) P P P (9) omo es una variable discrea, la diferencia mínima enre dos calificaciones ε viene dada por, ε = ( m, ) ( m, + ) = α (3) Por ano, podremos deerar la probabilidad de obener exacamene una deerada noa, ( = ) = ( < + ε ) = P( < + ε ) P( < ) P P Función de disribución asinóica (3) En esa sección vamos a ver el comporamieno asinóico cuando el número de pregunas iende a infinio,, de la función de disribución de probabilidad, a parir de la relación que da la probabilidad exaca (8) omporamieno asinóico de la función de disribución en uando <, eniendo en cuena (4) y (6), se iene que, lim m =, lim = Por ano, m m lim P( < ) = lim + m= m = = Por oro lado, cuando >, a parir de (4) y (6) resula que, Por ano, lim m =, lim = m m lim P( < ) = lim + m= m = (3) (33) Desarrollando el sumaorio inerno mediane el binomio de ewon, se obiene, m lim P( < ) = lim n (34) + m= m Obsérvese que como el inverso del facorial de un número negaivo es, la serie dada en (34) se cora en m =, lim P( < ) = lim n + m= m ( n +) ( n +) = lim = m donde se ha aplicado de nuevo el binomio de ewon (35) A parir de (3) y (35), podemos concluir que asinóicamene la función de disribución F() se compora como una función de Heaviside H(), (J Spanier, K B Oldam, 987), ~ F H (36) Por ano, la función de densidad f() de la variable aleaoria será una dela de Dirac (J Spanier, K B Oldam, 987), = ~ δ, f F que es un resulado coherene con el obenido en (3) del modelo simplificado La probabilidad asinóica en = Tomando = en (3) y eniendo en cuena (3), resula que, P = = P < P( <) (37) α EREIS 3 [Marzo ], 53-59, ISS:

5 Análisis de la fórmula para la calificación de pruebas ipo es muli-respuesa 57 Tomando límies en (37) cuando, y eniendo en cuena (3), lim P( = ) = lim P < (38) α La relación (38) indica que, Por ano, según (4) y (6), = = α lim lo que resula acepable, ya que para oda disribución simérica respeco a =, se cumple que, F = = ( ) sim omo la disribución de F es normal (asinóicamene), es simérica, y por ano, lim F( = ) = lim = α m, (39) + lim m = lim = α + (4) Al susiuir (39) y (4) en la relación (8), enonces (38) se conviere en, ( = ) = ( α ) lim P lim,, en donde se ha definido, α + m m (, α ) = + m= m =α m (4) + Figura Función de disribución de F(), para =, 5,, n = 4 y α = n omo según (36), lim P < =, podemos concluir (4) En la figura, se muesra el comporamieno de la función disribución F() con en un enorno de = Se puede observar cómo, cuando va creciendo, F() se va asemejando a una función de Heaviside Figura Represenación de (, α ), con α = n, para valores de n = 3, 4, 5 con respeco a, omado α = n, que es el valor de α que según el enfoque simplificado equilibra la punuación del valor del es, (véase (6)) A la visa de la figura, se puede conjeurar que, En la figura se ha represenado gráficamene (, α ) lim P = =, (4) Figura 3 Represenación gráfica de (, α ), para α =,9, 3, 3,, omando n = 4, para disinos valores de α Se puede observar que una pequeña variación del parámero α con respeco al valor de n hace que la probabilidad asinóica en = En la figura 3, se muesra (, α ) EREIS 3 [Marzo ], 53-59, ISS:

6 58 J L González e al diverja del valor / Eso quiere decir que el parámero α que hace que la disribución F sea asinóicamene simérica, es el que elia la sobrenoa por aciero al azar Evaluación del modelo exaco En esa sección se evalúa en qué medida la aproximación a la normal es una buena aproximación cuando oma valores grandes En la figura 4 se ha obenido el ajuse de la disribución de probabilidad de la variable a una curva gaussiana, omando =, n = 4, = y α = n óese que la calificación mínima en un examen consise en ener odas las respuesas incorrecas, es decir, 3 3 = = En esa misma figura 4 se observa que el ajuse es mucho mejor para calificaciones posiivas que negaivas, exisiendo una ciera asimería en la disribución de los punos del cálculo exaco La desviación ípica σ, según (), es, σ = 57735, n ( ) y según el ajuse sería realizado a los daos del cálculo exaco, σ fi = 58394, a que ora vez debe ser considerado como muy bueno Tomando un nivel de confianza q = 95%, según (5), el parámero k resula ser, k = erf Por ano, el inervalo de confianza al 95% vendría dado por, ( kα, kα) = (,359,,359) (44) Según el cálculo exaco (9), la probabilidad de que la calificación esé en el inervalo de confianza (44) resula ser ligeramene mayor que,95, ( α < α) 9698 > 95 P k k Para evaluar en qué medida el inervalo de confianza asinóico se ajusa al real, podemos definir la siguiene asa r, enre la probabilidad asinóica que ofrece el eorema cenral del límie (4), y la probabilidad exaca en dicho inervalo (9), Pasin ( kα) q ( α < α) ( α < α) r = = P k k P k k Figura 4 Ajuse de log[f()] a una parábola ax + b onsiderando que la gaussiana de ajuse viene dada por la función, En la figura 5 se ha represenado la gráfica de la asa r en función de q, omando = Se puede observar que como r <, el inervalo ( kα, kα), deerado con el enfoque aproximado, esá ligeramene sobresimado ffi a b σ σ fi π fi = exp = exp ( + ), (43) enemos que, a,46959, b 5,73 Para cuanificar la bondad del ajuse, el coeficiene de deeración R es, R,9887 que puede ser considerado como un valor excelene Figura 5 Gráfica de la asa r en función del nivel de confianza q, omando =, n = 4 y α = n EREIS 3 [Marzo ], 53-59, ISS:

7 Análisis de la fórmula para la calificación de pruebas ipo es muli-respuesa 59 conclusiones En ese rabajo se ha abordado el problema de la punuación en un examen ipo es muli-respuesa, de al modo que se elie la posible sobrenoa por el aciero al azar en las respuesas on un modelo simplificado se concluye que si cada preguna correca vale puno hay que desconar /(n ) punos por cada preguna incorreca (n, número de opciones por preguna), para compensar el posible ineno de responder al azar las pregunas que no se saben Ese enfoque simplificado no permie planear el problema con la posibilidad de dejar pregunas en blanco Se aborda ambién el cálculo exaco de la probabilidad de sacar una deerada calificación en un es, suponiendo que odas las maneras de conesarlo son equiprobables Se ha comprobado que ese cálculo exaco coincide con lo predicho por el eorema cenral del límie, cuando, siendo el número de pregunas del examen Además, lo que descuena cada preguna incorreca, según el enfoque simplificado, es lo que permie que la disribución exaca de la calificación obenida al azar sea simérica cuando Por úlimo, se comprueba que los inervalos de confianza en orno a la calificación más probable, rellenando el examen al azar, esán ligeramene sobreesimados, cuando se usa para su obención el eorema cenral del límie Bibliografía FELLER, W, 996 Inroducción a la eoría de las probabilidades y sus aplicaciones, iudad de México: Limusa, 456p SPAIER, J, OLDHAM, K B, 987 An alas of funcions, ew York: Hemisphere Publising orporaion, 7p LEBEDEV,, 97 Special Funcions and heir applicaions, London: Prenice-Hall, Inc Dover Publicaions, 38p EREIS 3 [Marzo ], 53-59, ISS:

8