Generación de números aleatorios

Transcripción

1 Generación de números aleatorios Introducción Existe una cierta variación en cuanto al término (números aleatorios o seudoaleatorios) a utilizar para referirse a las secuencias de números, obtenidos mediante algún método automático de generación digital, que se ajustan a una distribución uniforme en el intervalo [0,1). A partir de ahora utilizaremos el término de números aleatorios para referirnos a áquellos que cumplen lo anterior. En 1951 D.H. Lehmer 1, uno de los pioneros en computación y, especialmente, en teoría computacional de números, proporcionó la siguiente definición para números aleatorios: Una secuencia aleatoria es una noción difusa... en la que cada término es impredecible para el no iniciado y cuyos dígitos deben pasar una serie de pruebas tradicionales para los estadísticos... Aunque los diferentes métodos de generación de números aleatorios aparecen, casi siempre, descritos en libros de simulación, su utilización se extiende a muchas otras aplicaciones de las computadoras, como experimentos estadísticos, juegos de ordenador, criptografía, protocolos de seguridad, etc. Una secuencia de números aleatorios debe tener dos propiedades importantes, uniformidad e independencia. La función densidad de probabilidad debe cumplir: f(x) = { 1 si 0 x 1 0 en el caso contrario E(R) = 1 x2 0 xdx = = 1 2 V (R) = 1 0 x2 dx (E(R)) 2 = x ( 1 2 )2 = = 1 12 Las consecuencias de la uniformidad e independencia referidas anteriormente son: 1 D. H. Lehmer. Mathematical methods in large-scale computing units. In Proc. 2nd Sympos. on Large-Scale Digital Computing Machinery, pages Harvard University Press,

2 - Si (0,1) se divide en n clases o subintervalos de igual longitud, el número esperado de observaciones en cada subintervalo es N/n, donde N es el número total de observaciones. - La probabilidad de observar un valor en un determinado subintervalo es independiente de las anteriores. Definición formal: Un generador de números aleatorios (nomenclatura inglesa: RNG) puede ser definido como una estructura G = (S, s 0, T, U, G), donde S es un conjunto conjunto finito de estados, s 0 S es el estado inicial, T : S S es la función de transición, U es un conjunto finito de símbolos de salida, y G : S U es la función de salida. El generador comienza con el estado inicial s 0 (llamado semilla) y evoluciona de acuerdo con s i := T (s i 1 ), para i 1 y en cada paso i, obtiene la observación u i := G(s i ). Se espera que las observaciones se comporten como si fueran valores de variables aleatorias independientes e idénticamente distribuidas, uniformemente sobre U. El conjunto U es, a veces, un conjunto de enteros de la forma 0,... m 1, o un conjunto finito de valores entre 0 y 1, representación aproximada de la distribución U[0,1). A partir de ahora se va a considerar este último caso. Puesto que S es finito, la secuencia de estados es, al final, periódica. El periodo es el entero positivo mas pequeño ρ tal que, dado algún entero τ 0 y para todo n τ, s ρ+n = s n. El τ mas pequeño con esa propiedad se denomina transitorio. Cuando τ = 0 la secuencia se dice que es puramente periódica. Independientemente de los criterios de calidad estadística, para la elección de un generador de números aleatorios, también se consideran relevantes: la velocidad, las necesidades de memoria, la transportabilidad, la repetibilidad, la facilidad de implementación y la disponibilidad de saltos hacia adelante. En Kahaner 2 se definen cinco características sobre las que se debería valorar cualquier generador de números aleatorios: (1977) Calidad. Se deben satisfacer los tests estadísticos adecuados. Antes de la repetición de la secuencia debiera haber un periodo lo suficientemente largo. Eficiencia. El generador debiera ser rápido. Debe precisar la menor cantidad de almacenamiento posible. Repetibilidad. El método debe depender de una semilla, para permitir que un experimento se pueda repetir. Transportabilidad. Si un método dado se implementa sobre un sitema diferente debe producir los mismos resultados. 2 D. Kahaner. Numerical Methods and Software, Prentice Hall Series in Computational Mathematics 2

3 Simplicidad. El generador debe ser suficientemente sencillo de implementar y utilizar. A continuación se detallan algunos de los métodos de generación, atendiendo a su actualidad más que a su desarrollo histórico. Secuencias lineales recursivas. La mayoría de los RNG están basados en congruencias lineales de la forma: x n = (a 1 x n a k x n k ) mod m donde m se llama módulo, a 1,..., a k son enteros entre m + 1 y m 1 llamados multiplicadores con (a k 0) y k es el orden de la recurrencia. Se puede definir el estado de la recurrencia en el paso n como s n = (x n,..., x n+k 1 ) Zm. k La longitud del periodo máximo es m k 1. Método de congruencias aditivas. Es un método rápido, puesto que no necesita realizar multiplicación. Se precisa una secuencia de números x 1, x 2..., x n. El generador produce una extensión de la secuencia x n+1, x n+2,... de la forma siguiente: x i = (x i 1 + x i n ) mod m Por definición a = bmodm si a b es divisible por m (resto 0). Por ejemplo, en módulo 4, los números 2, 6, 10, 14 son equivalentes porque (10 2), (10 6)... son todos divisibles por 4. Hay que tener en cuenta que, cuando utilizamos módulo m, los valores que resultarán estarán comprendidos entre 0 y m-1. Ejemplo: Sea una secuencia de enteros dados: x 1, x 2, x 3, x 4 y x 5 (57, 34, 89, 92 y 16), por tanto n = 5. Consideremos m = 100. La secuencia anterior puede ser ampliada por este método: x 6 = (x 5 + x 1 ) mod 100 = 73 mod 100 = 73 x 7 = (x 6 + x 2 ) mod 100 = 107 mod 100 = 7 x 8 = (x 7 + x 3 ) mod 100 = 96 mod 100 = Los números aleatorios se obtienen a partir de la relación : U i n = X i m para i = n + 1, n + 2,.... En el caso anterior los números serían: 3

4 U 1 = X = 0,73 U 2 = X = 0,07 U 3 = X = 0,96... En general estos métodos parten de la idea de la secuencia de Fibonacci x n que es generada de la forma siguiente: x n = x n 1 + x n 2 Los números obtenidos por la modificación de la secuencia : x n = (x n 1 + x n 2 ) mod m no tienen buenas propiedades aleatorias. Existe una extensión de esta idea de la forma: x n = (x n 5 + x n 17 ) mod 2 k Marsaglia(1983) considera que este generador pasa la mayoría de los tests estadísticos. Utiliza, sin embargo, 17 posiciones de memoria con 17 enteros no todos impares. La suma ya es módulo 2 k en las máquinas de k bits con complemento a 2. El periodo de este generador es s k (2 17 1). Para k=8, 16, 32 el periodo es 1,6 10 7, 4, y 2, respectivamente. Generadores de congruencias lineales Una gran mayoría de los generadores utilizados actualmente utilizan esta técnica introducida por Lehmer en Una secuencia de números enteros Z 1, Z 2,... está definida por la fórmula recursiva: Z i = (az i 1 + c) mod m donde el módulo m, el multiplicador a, el incremento c y la semilla o valor de comienzo Z 0 son enteros no negativos. Evidentemente, por definición, se verifica que: 0 Z i < m Para obtener un número aleatorio de la distribución uniforme [0,1) se debe hacer U i =. Además de ser no negativos se debe verificar que: Z i m 4

5 0 < m, a < m, c < m, Z 0 < m Objeciones: No es una secuencia aleatoria pura, ya que: Z 1 = (az 0 + c) mod m Z 2 = (az 1 + c) mod m = (a 2 Z 0 + ca + c) mod m Z 3 = (az 2 + c) mod m = (a 3 Z 0 + ca 2 + ca + c) mod m... Por inducción: Z i = (a i Z 0 + ca i 1 + ca i c) mod m Z i = [(a i Z 0 + c(a i 1 + ] a i )) mod m Z i = a i Z 0 + c(ai 1) a 1 mod m por lo que cualquier Z i está completamente determinado por m, a, c y Z 0. A pesar de todo, eligiendo adecuadamente los parámetros, se consigue que los U i obtenidos aparezcan como pertenecientes a una U(0,1) cuando se realizan distintos tests sobre ellos. Otra objeción a realizar es que los números U i solo pueden tomar valores racionales 0, 1 m, 2 m,... (m 1) m, por tanto la probabilidad de obtener un valor de U i entre 0,1 m y 0,9 m es 0 cuando debiera ser 0,8 m > 0. Ahora bien, si se elige un m suficientemente grande los puntos en el intervalo [0,1) serán muy densos, ya que si elegimos un m 10 9 hay como mínimo mil millones de valores posibles para U i espaciados todos la misma distancia. Se considera que esto es una aproximación lo suficentemente buena para la mayoría de los planteamientos. Dada la forma de la expresión Z i es inevitable el comportamiento como un bucle, es decir, que en el momento que se repita un Z i todos los siguentes serán iguales a los obtenidos hasta ese momento. La longitud de cada uno de esos ciclos se conoce como periodo del generador y se representa por p. Como Z i solo depende de Z i 1 y se verifica que 0 Z i m 1 es claro que p m. Si p = m el generador se llama de periodo total. Ejemplo: Sea m = 16, a = 5, c = 3 y Z 0 = 7, la secuencia de los Z i obtenidos será: Z i = (5Z i 1 + 3) mod 16 5

6 i Z i U i i Z i U i i Z i U i i Z i U i Está claro que en simulación se necesitan generadores con periodos largos, fijando un m grande sería conveniente conseguir que tuviera periodo total. Teorema: El generador definido de la forma Z i = (az i 1 + c) mod m tiene periodo total si y solo si se cumplen las siguientes condiciones: c y m son primos entre sí. Si q es un número primo que divide a m entonces q divide a (a-1) Si 4 divide a m entonces 4 divide a (a-1). Dependiendo del valor de c el comportamiento de los generadores puede ser distinto por lo que se distinguen generadores mixtos (c > 0) y generadores multiplicativos (c = 0). Ejemplos: IMSL utliza un generador multiplicativo con los siguientes parámetros: a = 7 5 = 16,807 m = = 2,147,483,647 c = 0 Como m es un número primo, el periodo p, es igual a (m-1). Suponiendo que la semilla fuera X 0 = 123,457 se obtendría : X 1 = 7 5 (123457) mod (2 31 1) = 2,074,941,799 X 1 = 2,074,941,799 U 1 = X = 0,9662 X 2 = 7 5 (2,074,941,799) mod (2 31 1) = 559,872,160 6

7 U 2 = X = 0,2607 NOTA.- La rutina de IMSL divide por (m+1) en lugar de hacerlo por m; sin embargo, para un valor tan grande como el de m, el efecto es despreciable. SIMSCRIPT II.5 utiliza un generador semejante con a = 630,360,016 Java Este es el generador utilizado para implementar el método nextdouble en la clase java.util.random de la biblioteca estándar Java 3. Está basado en una recurrencia lineal con periodo de longitud 2 48, pero cada valor de salida está construido tomando dos valores sucesivos de la recurrencia lineal, de la forma siguiente: x i+1 = ( x i + 11) mod 2 48 u i = (2 27 x 2i / x 2i+1 / 2 21 )/ 2 53 Conviene indicar que el generador rand48 de la biblioteca estándar Unix utiliza la misma recurrencia, pero produce su salida utilizando simplemente: u i = x i /2 48. Visual Basic El generador utilizado en Microsoft Visual Basic 4 es un generador de congruencias lineales (LCG) con un periodo de longitud 2 24, definido por: x i = ( x i ) mod 2 24 u i = x i /2 24 Excel El generador implementado en Microsoft Excel 5 es en esencia un LCG (generador de congruencias lineales), excepto que su recurrencia está dada por: u i = (9821,0u i 1 + 0,211327) mod 1 Está implementado directamente para los u i en la aritmética de punto flotante. Su longitud de periodo depende normalmente de la precisión de los números en coma flotante utilizados para su implementación. En la documentación no está perfectamente definido. A efectos de pruebas de validez no se utiliza el algoritmo sino que se genera una secuencia muy grande que se guarda en un archivo para su comprobación posterior. LCG16807 Este es un generador de congruencias lineales definido por: x i = 16807x i 1 mod (2 31 1) u i = x i /(2 31 1) 3 ( 4 ( 5 ( 7

8 con periodo de longitud , y propuesto originalmente por Lewis, Goodman, and Miller (1969). Este LCG se ha utilizado ampliamente en muchas bibliotecas de software para estadística, simulación, optimización, etc. así como en bibliotecas de sistemas operativos. Se ha recomendado en varios libros, por ejemplo, Bratley, Fox, y Schrage (1987) y en artículos, Law y Kelton (1982). Como curiosidad, este generador es utilizado en Arena y uno similar se utilizó en AutoMod (con el mismo módulo pero con el multiplicador ) hasta hace poco, cuando los gestores de estos productos tuvieron la buena idea de reemplazarlo por MRG32k3a. También se utiliza en otros productos de sofware de simulación. MRG32k3a Este es el generador propuesto por L Ecuyer (1999a). Combina dos generadores multiplicativos de orden 3 y su periodo tiene una longitud de aproximadamente MT19937 Es el generador trenzado Mersene propuesto por Matsumoto y Nishimura 6 (1998). Tiene el periodo de longitud más grande: y unas cualidades estadísticas muy buenas. Es uno de los generadores que oferta actualmente Matlab (versión 7.1). Generadores de Tausworthe. Están relacionados con los métodos criptográficos, operan sobre los bits para formar números aleatorios. Se define una secuencia b 1, b 2,... de dígitos binarios por recurrencia. b i = (c 1 b i 1 + c 2 b i c q b i q ) mod 2 donde c 1, c 2,... c q son contantes que pueden tomar el valor 0 o 1. El periodo máximo es 2 q 1. En casi todas las aplicaciones de los generadores de este tipo se suelen utilizar solo dos coeficientes c k distintos de 0, por tanto b i = (b i r + b i q ) mod 2 para enteros r y q que cumplen 0 < r < q. Hay que tener en cuenta que la suma de bits módulo 2 corresponde a la operación XOR. { 0 si bi r = b b i = i q 1 si b i r b i q 6 Matsumoto, M. y T. Nishimura. Mersene twister: a 623- dimensionally equidistributed uniform pseudo-random number generator. ACM Transactions on Modeling and Computer Simulation 8 (1):3-30 8

9 Para inicializar la secuencia hay que dar valor a los primeros b i hasta q. Esto es equivalente a proporcionar la semilla Z 0 en los geneneradores de congruencias. Ejemplo (Lewis y Payne 1973): Si r = 3 y q = 5 consideremos b 1, b 2,... b 5 = 1 Para i 6 b i = (b i 3 + b i 5 ) mod 2 Los primeros 42 bits son : {}}{ { }} 000 { { 11 }} 01 { { 110 }} 1 { {}}{ {}}{ { 0 }} 101 { { 10 }} 01 { El periodo de los bits es 31 (2 q 1) La cuestión es: una vez obtenida la secuencia de bits b i, como se transforma dicha secuencia en números aleatorios U(0,1). Una posibilidad es juntar l consecutivos b i para formar un número de l bits entre 0 y 2 l 1 que será dividido por 2 l. En el ejemplo anterior si se elige l = 4, se obtiene la secuencia: 15 16, 8 16, 13 16, 13 16, 4 16, 2 16, 5 16, 9 16, 15 16, 1 16,... l debe ser como máximo la longitud de palabra del ordenador, también se pueden elegir secuencias de elementos dejando algunos bits sin utilizar cada vez. Ventajas: - Independientes del ordenador y de su tamaño de palabra. - Se pueden obtener secuencias de longitud considerable como > y aún mayores incluso en micros de 16 bits. Inconvenientes: - Aunque globalmente suelen presentar propiedades de aleatoriedad buenas, a veces, localmente no las tienen. - En general proporcionan malos resultados en las pruebas de rachas hacia arriba y hacia abajo. - Aunque la correlación de primer orden (un número con el siguiente) es casi cero se sospecha que algunos generadores pueden proporcionar valores elevados de correlaciones de orden elevado. - No todos los polinomios primitivos tiene las mismas cualidades. 9

10 Combinaciones de generadores. Si se combinan dos secuencias de números aleatorios X i e Y i se produce una nueva secuencia Z i que reduce la no aleatoriedad. Si X i e Y i están distribuidas sobre el rango 0 (m 1) se podría elegir una de estas opciones: 1. Z i = (X i + Y i ) mod m. 2. Utilizar Y i para barajar X i y hacer Z i igual a la secuencia barajada. 3. Z i = X i XOR Y i. No hay garantía que una combinación del tipo 1 o 3 elimine la no aleatoriedad. Combinando un generador de congruencias con otro de Tausworthe se pueden atenuar muchas de las situaciones no deseadas que se producen. Wichmann y Hill 7 informan de buenos resultados utilizando el método 1), es decir, combinando generadores (en este caso tres): X i+1 = 171 X i mod Y i+1 = 172 Y i mod Z i+1 = 170 Z i mod Por tanto U i+1 = X i Y i Z i El periodo es del orden de Estos cálculos no precisan mas de 16 bits por lo que se considera un buen generador para ordenadores de 16 bits 8. L Ecuyer (1988) 9 recomienda combinar: en la forma: X i+1 = X i mod Y i+1 = Y i mod Z i+1 = (X i Y i ) mod { Z i+1 El número aleatorio devuelto es: U i+1 = 2,147,483,563 si Z i+1 0 2,147,483,562 El periodo obtenido 2,147,483,563 si Z i+1 = 0 es (m 1 1) (m 2 1)/ , con m 1 = y m 2 = L Ecuyer 7 Wichman, B.A. and I.D. Hill, Algorithm AS 183: An Efficient and Portable Pseudo-Random Number Generator, Applied Statistics, 31, , En una nota publicada por Microsoft, indican que la versión del RANDU de 2003 implementa este algoritmo. 9 P. L Ecuyer. Efficient and portable combined random number generators. Communications of the ACM, (31), 6, ,

11 y otros autores han planteado, como se ha indicado anteriormente, nuevas combinaciones de generadores para obtener periodos mucho más largos. Consideraciones sobre la selección de la semilla. Normalmente la selección de la semilla para el comienzo de una secuencia de un generador no debe afectar a los resultados de la simulación. Si el generador es de periodo total y solo se precisa una variable, cualquier semilla es válida. Cuando se precisan distintas semillas por necesitar varias variables aleatorias diferentes en la misma simulación, se debe tener bastante cuidado. Casi todas las simulaciones usuales pertenecen a este tipo, por ejemplo, para simular una cola se necesita una llegada aleatoria y un tiempo de servicio aleatorio. Las normas que se dan a continuación son para este tipo de casos. Las dos primeras valen para el caso de una sola variable. 1. No utilizar el cero Aunque puede ser una semilla válida para los generadores de congruencias lineales mixtos, llevará a cero a los generadores de congruencias lineales multiplicativos o a los de Tausworthe. 2. Prohibir valores pares En teoría los valores pares son igual de buenos que los impares. De hecho para los generadores de periodo total, todos los valores de semilla no cero son igualmente buenos. Si un generador no es de periodo total, por ejemplo uno multiplicativo con módulo m = 2 k, la semilla debe ser impar. Para impedir este tipo de situaciones por desconocimiento del tipo de generador es recomendable utilizar semillas impares. 3. No subdividir una serie (stream) Utilizar una única serie para todas las variables es un error muy común. por ejemplo, si u 1, u 2,... es la secuencia generada por u 0, se podría pensar en utilizar u 1 para generar los tiempos entre llegadas y u 2 los tiempos de servicio y así sucesivamente u 3, u 4... Esto puede producir una correlación muy fuerte entre las variables. 4. Utilizar series (stream) no solapadas Cada serie precisa una semilla separada. Si las semillas son tales que las series se solapan, existirá una correlación entre las series y las secuencias obtenidas no serán independientes. La idea es que si precisamos números disponemos de una semilla para u 0 y otra para u 10,000. En función de la recursividad de los números aleatorios se puede conocer cual es el número siguiente : x n = a n x 0 + c(an 1) a 1 mod m 11

12 En algunos libros (Jain 91, pag 455) se proporcionan relaciones de semillas para secuencias de en , para el generador x n = 7 5 x n 1 mod (2 31 1) 5. Reutilizar semillas para sucesivas réplicas de la misma simulación 6. No utilizar semillas aleatorias No se recomienda seleccionar semillas aleatorias. En particular no utilizar dos números aleatorios sucesivos, obtenidos del generador, como semillas. Utilizar, por ejemplo, la hora del día produce dos problemas: La simulación no puede ser reproducida. No es posible garantizar que series múltiples no se solapen entre si. 12

13 Referencias Las referencias básicas para este punto son: Jerry Banks, John S. Carson, Barry L. Nelson Discrete-Event System Simulation Prentice-Hall, James E. Gentle Random Number Generation and Monte Carlo Methods Springer- Verlag, Raj Jain The Art of Computer Systems Performance Analysis Techniques for Experimental Design, Measurement, Simulation, and Modeling John Wiley & Sons, 1992 Averill M. Law, W. David Kelton Simulation Modeling and Analysis McGraw-Hill, Otras referencias son: P. Bratley, B.L. Fox y L. Schrage A Guide to Simulation. 2 a edición Springer-Verlag, George S. Fishman Discrete-Event Simulation. Tiene un tratamiento teórico muy completo respecto a la selección de los parámetros de los generadores. Springer- Verlag, Pierre L Ecuyer Software for Uniform Random Number Generation: Distinguishing the good and the bad Winter Simulation Conference, 2001 En la dirección hay documentación y distintos tipos de pruebas para números aleatorios. 13