Simulación Computacional Tema 1: Generación de números aleatorios

Transcripción

1 Simulación Computacional Tema 1: Generación de números aleatorios Irene Tischer Escuela de Ingeniería y Computación Universidad del Valle

2 Contenido 1 Introducción 2 3 4

3 ?Porqué números aleatorios? Uso en simulación de sistemas con componente estocástica Uso en algoritmos probabiĺısticos (algoritmos genéticos, redes neuronales,...) Algoritmos probabiĺısticos son a veces la única manera viable de resolver problemas complejos

4 Números aleatorios Apariencia de números aleatorias en sistemas naturales: Ruido blanco Movimiento de esporas de helecho Resultados del lanzamiento de un dado o una moneda... Para usar números aleatorios en el computador, se debe hacer el experimento y copiar los datos al computador (existen grandes bases de datos de números aleatorios) o conectar el computador a un sistema externo con componente aleatorio.

5 Números pseudoaleatorios Cada intento de generar datos aleatorios por computador resulta en números pseudoaleatorios la máquina tiene un número finito de estados, en algún momento repite exactamente el estado y por eso se vuelve periódico cada algoritmo de generación consiste de un conjunto finito de reglas, por eso el resultado es predecible Se busca generadores de números pseudoaleatorios, lo más parecidos a números aleatorios.

6 Propiedades de aleatorios Los números aleatorios se encuentran generalmente estandarizados para encontrarse en el intervalo [0,1]. Secuencias de números aleatorios tienen una distribución uniforme (en [0,1]), es decir, subintervalos de igual longitud deben tener aproximadamente la misma cantidad de datos (no hay datos acumulados). No hay ninguna clase de patrón en la secuencia Cada subsecuencia es por si mismo una secuencias de números aleatorios.

7 Ejemplo de una secuencia aleatoria

8 Ejemplos de secuencias que NO son aleatorias (1) No es uniforme (en el intervalo [0.2, 0.4] hay muchos puntos)

9 Ejemplos de secuencias que NO son aleatorias (2) Hay un patrón de valores por encima y por debajo de la media (a un punto en [0, 0.5]) siempre le sigue un punto en [0.5, 1])

10 Ejemplos de secuencias que NO son aleatorias (3) Hay un patrón de valores crecientes-decrecientes (a 4 puntos en orden creciente les siguen 4 puntos en orden decreciente)

11 Problemas que se pueden presentar con pseudoaleatorios Números aleatorios Son datos continuos Siguen distribución uniforme U(0,1) media 1/2 varianza 1/12 Los datos son independientes: una observación no depende de las observaciones anteriores; no hay ninguna clase de patrón Números pseudoaleatorios Puede resultar en datos discretos (si son generados en el computador, siempre son discretos) Si se divide el intervalo [0,1] en subintervalos iguales pueden resultar intervalos donde caen significativamente más o menos datos que el número esperado media por encima o por debajo de 1/2 varianza por encima o por debajo de 1/12 Se pueden presentar regularidades como: periodicidad autocorrelación patrones de crecimiento-decrecimiento patrones de valores encima o por de bajo de la media...y muchos más

12 Exigencias a un generador de números pseudoaleatorios En cuanto a los datos generados: distribución uniforme período largo no hay regularidad En cuanto al algoritmo: rápido (generalmente se necesitan muchos números) poca memoria requerida

13 Contenido 1 Introducción 2 3 4

14 Generador linear congruente Definido por la relación de recurrencia X n+1 = (a X n + c)mod m; X 0 : semilla R n = X n m donde a se llama el multiplicador; c es el incremento y m el módulo. Se tiene 0 X n < m, por eso 0 R n < 1. OJO Las características de un generador linear congruente dependen fuertemente de la selección de sus parámetros a, c, m.

15 Ejemplo Introducción X 0 = 27, a = 17, c = 43, m = 100. n X n X n+1 = (a X n + c) mod 100 R = X m 0 27 ( ) mod 100=502 mod 100= ( ) mod 100=77 mod 100= ( ) mod 100=1352 mod 100= ( ) mod 100=927 mod 100= Obviamente la recurrencia genera números entre 0 y 99, por eso, el período del generado es 100. Como vemos en este ejemplo, el período es de longitud 4.

16 Ejercicio en clase Generar números pseudoaleatorios usando un generador lineal congruente con X 0 = 5, a = 5, c = 13, m = 7. Cuál es su período?

17 Ejemplos 100 números aleatorios generados con diferentes generadores lineales congruentes X 0 = 5 a = 255 c = 100 m = X 0 = 5 a = 255 c = 100 m =

18 Ejemplos Aplicando los mismos generadores para generar números X 0 = 5 a = 255 c = 100 m = X 0 = 5 a = 255 c = 100 m =

19 Ejemplo: Un generador linear congruente bueno 100 a = 106 c = 1283 m = 6075 X 0 =

20 Análisis de este generador Ventajas: El generador parece dar números con distribución uniforme en [0,1]. Para cualquier semilla genera todos los números (período máximo m = 6075). Limitaciones: 1.0 Por su período relativamente pequeño, el generador sirve sólo si 0.8 se requiere pocos números aleatorios Parece tener regularidades (luego 0.2 veremos una prueba de independencia), como se nota del gráfico de los puntos generados

21 Un generador de estándar mínimo: Exigencias Se buscan los parámetros específicos del generado (a, c y m), tal que cumple las siguientes exigencias: es rápido; usa poca memoria; tiene un periodo largo; genera datos con distribución uniforme en [0,1); el período es completo (se generan todos los números antes de repetir); genera datos pseudoindependientes : no hay patrones evidentes (pasa la gran mayoría de pruebas estadísticas, que permiten excluir patrones).

22 Un primer generador de estándar mínimo GEM Propuesto por Park y Miller (1988) a = 7 5 = c = 0 m = = Cumple con las exigencia a un buen generador. Se debe garantizar que no se use 0 como semilla (la semilla 0 genera una secuencia de 0 s). Su periodo es m 1 = (se usan todos los números del rango con excepción de 0).

23 El generador de estándar mínimo GEM: Desempeño Se generaron puntos con el generador de estándar mínimo. Histograma: Plot de puntos generados: Histograma con valores centrados en 100, con varianza razonable Plot de puntos generados sin regularidades visibles

24 Conclusiones (1) 1 De un buen generador de números aleatorios se espera: la generación de datos uniformes en [0,1] con período grande sin evidencia de regularidades computacionalmente eficiente con poco requerimiento de memoria 2 El generador de estándar mínimo de tiene GEM estas propiedades, y es por ende apropiado para situaciones donde se depende de la generación de muchos datos (ej.: algoritmos probabiĺısticos).

25 Conclusiones (2) 3 Los generadores modernos tiene un períodos aun más grande; agregan mecanismos sofisticados para mejorar la pseudoindependencia. 4 Antes de usar un generador se deben verificar que cumpla con las exigencias mínimas. 5 Al desarrollar un nuevo generador se deben realizar pruebas cuantitativas (estadísticas) para verificar sus propiedades.

26 Contenido 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia 1 Introducción 2 3 4

27 Pruebas para pseudoaleatorios 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia Números aleatorios tienen la propiedad de uniformidad y de independencia. Estas propiedades se pueden verificar estadísticamente. Pruebas de uniformidad: comprueban que los datos siguen una distribución uniforme (generalmente U[0, 1]) Pruebas de independencia: Hay una cantidad de pruebas que permiten verificar que un tipo determinado de patrón no está presente en los datos Los pseudoaleatorios generados deben tener (estadísticamente) estas propiedades.

28 Pruebas de uniformidad 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia Números aleatorios se distribuyen uniformemente en el intervalo [0,1]: No son densos en una parte del intervalo, escasos en otras. Si se reparte el intervalo en subintervalos de igual longitud, se espera encontrar aproximadamente la misma cantidad de datos en cada subintervalo. Como se exige que los pseudoaleatorios tengan el mismo comportamiento que los aleatorios, se tiene que verificar si un generador produce datos uniformes. La pruebas uniformidad comparan la cantidad de datos encontrados en cada subintervalo con la cantidad que teóricamente debería tener suponiendo la distribución uniforme.

29 Pruebas de independencia 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia Un ejemplo: El diagrama de frecuencia de 100 pseudoaleatorios resulta en 10 datos en el intervalo [0, 0,1), 10 datos en [0,1, 0,2), etc. Entonces los números pasan las pruebas de uniformidad sin problema. Pero si se revisa los datos específicos, se encuentra que los primeros 10 números están entre 0 y 0.1, los segundos 10 entre 0.1 y 0.2 etc. Obviamente NO son aleatorios por falta de independencia. Existen muchas pruebas para la independencia que analizan si hay estructura o regularidad en los datos.

30 Tipos de pruebas 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia Pruebas de uniformidad Comparan el comportamiento de los datos generados con la distribución uniforme U[0, 1]. Prueba χ 2 (Prueba de Kolmogorov-Smirnov) Pruebas de independencia Analizan si las datos generados se comportan como datos verdaderamente aleatorios. Algunos ejemplos son: Pruebas de serie Pruebas de corridas Prueba de poker (...y muchos más)

31 1. Prueba χ 2 para la uniformidad 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia OJO Revisar material adicional sobre la prueba χ 2 Principio: Se aplica la prueba χ 2 específica, que contrasta los datos generados con una distribución uniforme U[0, 1] Detalles: el número de clases debe ser aproximadamente igual a cantidad de datos no se requieren estimaciones de parámetros, por eso se tiene: grados de libertad = número de clases 1

32 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia Prueba χ 2 de uniformidad (proceso) (1) 1 Se los clasifican los n datos observados en n clases FO. 2 Se determina la frecuencia esperada de cada clase. Como se trata de la distribución U[0, 1], la frecuencia observada es igual para cada clase: FE = número de datos número de calses 3 Se determina el valor calculado de la χ 2 χ 2 calc = i (FE i FO i ) 2 FE i

33 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia Prueba χ 2 de uniformidad (proceso) (2) 4 Se determinan los grados de libertad: Como no se usan los datos para estimar parámetros de la distribución, se tiene gl = clases-1 5 Se determina el valor crítico de la χ 2 con gl grados de libertad, para un nivel de confianza α, usando la función de distribución acumulado F y su inversa: F ( χ 2 crit) = 1 α χ 2 crit = F 1 (1 α)

34 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia Prueba χ 2 de uniformidad (proceso) (3) 6 Se toma la decisión: si χ 2 calc χ 2 crit si χ 2 calc > χ 2 crit 0.12 Rango de aceptación se acepta la hipótesis de que los datos se distribuyen con U(0, 1] se rechaza la hipótesis de que los datos se distribuyen con U(0, 1] Χ crit

35 Ejemplo: Problema 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia El generador definido por a = 106, c = 1283, m = 6075 se ha descrito como bueno.?pasa la prueba de uniformidad? Se considera adecuado un nivel de confianza de α = 0,05.

36 Ejemplo: Proceso 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia 1 Se generan n = 100 datos y se los clasifican en n = 10 clases. Esto es la frecuencia observada de los datos. (son muy pocos datos para poder mostrar el cálculo) 2 Se determina la frecuencia esperada de cada clase: FE = = 10 3 Se determina el valor calculado χ 2 calc =10.6 (ver cálculo) 4 Se determinan los grados de libertad gl = clases-1=9 5 Se determina el valor crítico de la χ 2 con 9 grados de libertad, para un nivel de confianza α = 0,05: χ 2 crit = 16,92

37 Ejemplo: Cálculo 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia rango FO FE (FE FO) 2 FE χ 2 calc = 10.6

38 Ejemplo: resultado 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia Decisión: Como χ 2 calc < χ2 crit U(0, 1). se acepta la hipótesis que los datos tienen distribución Conclusión: El generador es bueno en cuanto a uniformidad.

39 Ejemplo para otro generador 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia (FE FO) rango FO FE FE χ 2 calc = 17.4 Grados de libertad gl = 9. Valor crítico para α = 0,05: χ 2 crit = 16,92 Decisión: Como χ 2 calc > χ2 crit se rechaza la hipótesis que los datos tienen distribución U(0, 1). Conclusión: El generador es malo en cuanto a uniformidad.

40 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia 2. Pruebas de corridas para independencia Una corrida es una sucesión de eventos similares. La longitud de una corrida es el número de eventos similares en la corrida. Ejemplo: Se lanza una moneda 10 veces, observando C S S C C S S S C S Las corridas son los sucesiones de eventos C y de eventos S. En el experimento obtenemos 6 corridas (3 corridas de longitud 1, 2 corridas de longitud 2 y 1 corrida de longitud 3). El número de corridas es una variable aleatoria con distribución conocida, si el experimento es un experimento Bernoulli.

41 Pruebas de corridas: Principio 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia A partir de una secuencia de números pseudoaleatorios, se construye una secuencia de eventos provenientes de un experimento Bernoulli. Se determina el valor de la variable aleatoria número de corridas, que se obtiene con la secuencia de pseudoaleatorios (corridas observadas) Dado que se conoce teóricamente esta variable aleatoria, se determina si el valor observado está suficiente suficiente cercano al a la media de esta variable aleatoria (dentro de un intervalo con alta significancia)

42 Tipos de pruebas de corrida 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia Existen varias pruebas de corrida, por ejemplo: respecto al crecimiento o decrecimiento observado en la secuencia de pseudoaleatorios respecto a obtener valores encima o por debajo de la media (1/2) (también se pueden comparar las longitudes de las corridas con las obtenidas aleatoriamente)

43 Ejemplo inicial (1) Corrida respecto a crecimiento/decrecimiento 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia Consideramos los datos 0.08, 0.09, 0.23, 0.29, 0.42, 0.55, 0.58, 0.72, 0.89, 0.91, 0.84, 0.74, 0.73, 0.71, 0.53, 0.41, 0.31, 0.18, 0.16, 0.11, 0.01, 0.09,0.30, 0.32, 0.45, 0.47, 0.69, 0.74, 0.91, 0.95, 0.91, 0.88, 0.86, 0.68, 0.54, 0.38, 0.36, 0.29, 0.13, 0.12 Son independientes? Corridas respecto al crecimiento o decrecimiento: *

44 Desarrollo 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia Es poco probable que una secuencia de aleatorios tiene muchas o que tiene pocas corridas: El número mínimo de corridas es 1 (para una secuencia creciente) El número máximo de corridas en una secuencia de N números es N 1 (cuando cambia cada vez) El números de corridas es una variable aleatoria a, que se puede describir estadísticamente. Una secuencia de pseudoaleatorias debe tener el mismo comportamiento.

45 Variable aleatoria: número de corridas 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia La variable aleatoria a que describe el número de corridas en una secuencia aleatoria tiene los parámetros: µ = 2n 1n 2 n 1 + n σ 2 = 2n 1n 2 (2n 1 n 2 n 1 n 2 ) (n 1 + n 2 ) 2 (n 1 + n 2 1) (media) (varianza) donde n 1 y n 2 son la cantidad de valores positivos y negativos en la secuencia. Y si hay suficiente datos (N > 20), se puede asumir que la variable aleatoria a tiene una distribución normal.

46 Ejemplo inicial (2) 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia Los 39 datos de la secuencia anterior tienen 18 valores + y 21 valores -. Si la secuencia fuera aleatoria, debería tener alrededor de µ = 2n 1n = n 1 + n = 20,4 corridas. Tiene 4. Es 4 suficiente cerca a 20.4? Hay que emplear la varianza o su raíz, la desviación estándar: 2n 1 n 2 (2n 1 n 2 n 1 n 2 ) σ = (n 1 + n 2 ) 2 (n 1 + n 2 1) = 3,06

47 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia Rango de aceptación para el número de corridas observadas Si se observa una cantidad de corridas a obs cercana de la media, la secuencia pseudoaleatoria es similar a una secuencia de aleatorias en cuanto a este tipo de corridas Rango de aceptación Σ Σ Para un nivel de confianza de α = 0,05, el rango de aceptación está dado por Inf crit Sup crit Μ [Inf crit, Sup crit ] = [ 1,96 σ + µ, 1,96 σ + µ] Si a obs se encuentra en el rango de aceptación (intervalo de confianza), no se puede rechazar la hipótesis que los datos son independientes. Se tiene un indicio para independencia, pero sólo en el aspecto de la corridas. En el otro caso, se tiene evidencia que hay dependencia en los datos (y se puede rechazar el generador).

48 Ejemplo inicial (3) 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia El intervalo de confianza para el ejemplo inicial es [Inf crit, Sup crit ] = [ 1,96 σ + µ, 1,96 σ + µ] = [14,38, 26,39] Se observaron 4 corridas, lo que es atípico para una secuencia aleatoria (no dentro del rango de aceptación). Se encontró un indicio para la dependencia entre los datos, por eso hay que rechazar el generador.

49 Ejercicio (1) 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia Aplicar una prueba de corridas en cuanto a crecimiento-decrecimiento a la secuencia de los 40 datos siguientes para determinar si se tiene que rechazar la hipótesis de independencia (usando α = 0,05). Secuencia 0.41, 0.68, 0.89, 0.94, 0.74, 0.91, 0.55, 0.62, 0.36, 0.27, 0.19, 0.72, 0.75, 0.08, 0.54, 0.02, 0.01, 0.36, 0.16, 0.28, 0.18, 0.01, 0.95, 0.69, 0.18, 0.47, 0.23, 0.32, 0.82, 0.53, 0.31, 0.42, 0.73, 0.04, 0.83, 0.45, 0.13, 0.57, 0.63, 0.29 Comportamiento *

50 Ejercicio (2) 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia Los 39 datos de la secuencia tienen 19 valores + y 20 valores -. Por eso σ = µ = 2n 1n = 20,5 n 1 + n 2 2n 1 n 2 (2n 1 n 2 n 1 n 2 ) (n 1 + n 2 ) 2 (n 1 + n 2 1) = 3,08 El intervalo de confianza para las corridas observadas por eso es: [Inf crit, Sup crit ] = [ 1,96 σ + µ, 1,96 σ + µ] = [14,5, 26,5] Dado que hay 26 corridas (a obs = 26), el generador pasa este prueba de corrida (puede ser que otras pruebas no puede pasar).

51 Ejercicio (3) Corridas encima y por debajo de Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia Aplicamos una prueba de corridas por encima y por debajo de la misma a la secuencia para determinar si se tiene que rechazar la hipótesis de independencia (usando α = 0,05). Secuencia 0.41, 0.68, 0.89, 0.94, 0.74, 0.91, 0.55, 0.62, 0.36, 0.27, 0.19, 0.72, 0.75, 0.08, 0.54, 0.02, 0.01, 0.36, 0.16, 0.28, 0.18, 0.01, 0.95, 0.69, 0.18, 0.47, 0.23, 0.32, 0.82, 0.53, 0.31, 0.42, 0.73, 0.04, 0.83, 0.45, 0.13, 0.57, 0.63, 0.29 Comportamiento

52 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia Ejercicio (3) corridas encima y por debajo de 0.5 se obtienen 18 valores + (n 1 ) y 22 valores - (n 2 ). Por eso σ = µ = 2n 1n = 20,8 n 1 + n 2 2n 1 n 2 (2n 1 n 2 n 1 n 2 ) (n 1 + n 2 ) 2 (n 1 + n 2 1) = 3,09 El intervalo de confianza para las corridas observadas por eso es: [Inf crit, Sup crit ] = [ 1,96 σ + µ, 1,96 σ + µ] = [14,8, 26,9] Se observan 17 corridas, lo que significa que el generador pasa esta prueba de corrida.

53 3. Pruebas de serie para independencia 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia Principio Este tipo de pruebas mide si las subsecuencias, tomando cada k ésimo dato, son uniformes en [0, 1]. Si lo son, el generador pasa la prueba. Si no lo son, hay que rechazar el generador. Proceso La prueba agrupa los datos de k en k, interpretando cada grupo como los coordenados de un vector en el intervalo unitario k-dimensional [0, 1] k. Los vectores deben ser uniformes en [0, 1] k (el intervalo unitario k-dimensional). Si no son uniformes, los datos originales no son independientes.

54 Pruebas de serie: proceso (1) 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia 1 Se divide el intervalo unitario k-dimensional en subintervalos (clases), teniendo en cuenta que número de clases= cantidad de datos Dado que se agrupa de k en k, la cantidad de datos es longitud de la secuencia k o sea, la cantidad de subintervalos es longitud de la secuencia entonces se debe dividir el intervalo [0,1] en cada dimensión en la k ésima raíz de esta cantidad, o sea se obtiene k longitud de la secuencia subdivisiones en cada dimensión k k

55 Pruebas de serie: proceso (2) 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia 2 Se cuentan las frecuencias observadas (FO) en cada clase. 3 Se determinan las frecuencias esperadas (FE), suponiendo la uniforme multidimensional. 4 Se aplica la prueba χ 2 con grados de libertad gl = número de clases 1 5 Conclusión: Si se acepta la hipótesis que los datos siguen una distribución uniforme multidimensional, entonces no hay evidencia para dependencia en los datos. El generador pasa la prueba. En el otro caso se encontró una dependencia en los datos y se debe rechazar el generador.

56 Ejemplo para 2 dimensiones (1) 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia Se tiene 1200 datos pseudoaleatorios: Se forman los 600 pares: (0.41, 0.68), (0.89, 0.94), (0.74, 0.91), (0.55, 0.62), (0.36, 0.27), ( )... Se agrupan los datos en clases. Como el histograma es 2-dimensional, se requieren 25 = 5 clases en cada dimensión

57 Ejemplo para 2 dimensiones (2) 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia 0,1 1,1 0,0 1,0

58 Ejemplo para 2 dimensiones (3) 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia Tabla de frecuencias de 2 dimensiones: La probabilidad teórica de cada celda es 1/25, por eso la frecuencia esperada FE es 600/25= 24. Con esta información se puede aplicar la prueba χ 2.

59 Ejemplo para 2 dimensiones (4) 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia En la tabla se muestra el valor de (FE FO)2 FE Se obtiene χ 2 calc =29.19

60 Ejemplo para 2 dimensiones (5) 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia Grados de libertad gl: Como no se usa los datos para estimar parámetros de la distribución, se tiene gl = 24. El valor crítico de la χ 2 con 24 grados de libertad con α = 0,05 es: χ 2 crit =36.42 Decisión: Como χ 2 calc χ2 crit se acepta la hipótesis que los datos tienen distribución uniforme bidimensional Conclusión: El generador pasa esta prueba de serie de dimensión 2.

61 Ejemplo para 3 dimensiones (1) 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia En la prueba 3-dimensional con los mismos 1200 datos pseudoaleatorios se obtienen 400 tripletas; por eso se debe usar clases. Y dado que se quiere agrupar los datos en 3 dimensiones, se debe partir en el intervalo en cada dimensión; resultando en un total de 27 clases. Se determina la frecuencia observada FO en cada clase por conteo. La frecuencia esperada FE de cada clase es =14.8. Se obtiene un valor calculado de x calc = (prox. páginas) El valor crítico de la χ 2 con 26 grados de libertad es x crit = Siendo x calc > x crit se rechaza la hipótesis de uniformidad. El generador no pasa la prueba y debe ser descartado.

62 Ejemplo para 3 dimensiones (2) 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia clase FO clase FO clase FO Para los subintervalos se escribe 1 :[0, 1 /3], 2 :[ 1 /3, 2 /3],3 :[ 2 /3, 1] y para la clase 3D [0, 1 /3] [ 1 /3, 2 /3] [ 2 /3, 1] se escribe 1-2-3

63 Ejemplo para 3 dimensiones (3) 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia clase χ 2 clase χ 2 clase χ χ 2 calc =42.74 Para los subintervalos se escribe 1 :[0, 1 /3], 2 :[ 1 /3, 2 /3],3 :[ 2 /3, 1] y para la clase 3D [0, 1 /3] [ 1 /3, 2 /3] [ 2 /3, 1] se escribe 1-2-3

64 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia 4. Pruebas de Poker para independencia Principio Se interpreta los k dígitos decimales de un número pseudoaleatorio como una mano de k cartas de un juego de cartas, que están numeradas de 0 a 9. Si los números son independientes, se deben ocurrir los mismos patrones que en un juego de poker, con las mismas probabilidades: todas las cartas iguales, cartas en orden creciente o decreciente,...(de acuerdo con k). en este caso, el generado pasa la prueba. Si los dígitos de los números no son semejantes a las manos del juego, se debe rechazar el generador.

65 Pruebas de Poker: Proceso (1) 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia 1 Se buscan patrones que pueden ocurrir en secuencias aleatorias conformadas por los números de 0 a 9, agrupados en subsecuencias de tamaño k (las manos). Los patrones ser mutuamente disjuntos (una mano no debe contabilizarse en 2 patrones) y exhaustivos (cada mano concuerda con uno de los patrones). 2 Se calculan las probabilidades p i teóricas de cada patrón i (suponiendo aleatoriedad).

66 Pruebas de Poker: Proceso (2) 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia 3 Se generan n números pseudoaleatorios con k dígitos (manos). 4 Se aplica una prueba χ 2, donde las clases corresponden a los patrones, las frecuencias observadas FO se determinan con las manos, las frecuencias esperadas FE de un patrón i corresponde a p i n.

67 Pruebas de Poker: Proceso (3) 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia 5 Conclusión: Si se acepta igual distribución entre los datos generados y los patrones observados, el generador pasa la prueba; si no pasa, debe ser rechazado por falta de independencia.

68 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia Pruebas de Poker: Ejemplo para k = 3 (1) Tenemos los eventos teóricos del juego: 3 cartas iguales probabilidad: 10/10 3 = 0,01 2 iguales, 1 diferente probabilidad: /10 3 = 0,27 3 diferentes probabilidad: /10 3 = 0,72 Se genera una secuencia (n = 40): 0.959, 0.713, 0.178, 0.427, 0.299, 0.153, 0.087, 0.615, 0.188, 0.972, 0.239, 0.425, 0.372, 0.015, 0.316, 0.532, 0.216, 0.466, 0.808, 0.444, 0.084, 0.577, 0.166, 0.182, 0.904, 0.296, 0.854, 0.317, 0.051, 0.229, 0.299, 0.199, 0.185, 0.222, 0.954, 0.582, 0.283, 0.324, 0.913,

69 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia Pruebas de Poker: Ejemplo para k = 3 (2) Se aplica la prueba χ 2 : clase FO FE χ 2 3 cartas iguales 2 0,01 40 = 0, iguales, 1 diferente 10 0,27 40 = 10, diferentes 28 0,72 40 = 28,8 1.6 x calc = 9.6 El valor crítico de la χ 2 con 2 grados de libertad es x crit = 6.0. Como x calc > x crit, la distribución observada es distinta de la distribución esperada, por ende se descarta el generador. Nota: Para fines didácticos se usaron muy pocos datos y muy pocos patrones (recuerden: clases datos), para que valga la prueba en un caso real hay que pensar en más clases y más datos.

70 Conclusiones 1. Prueba χ 2 para la uniformidad 2. Pruebas de corridas para independencia 3. Pruebas de serie para independencia 4. Pruebas de poker para independencia Entre las pruebas principales para revisar la uniformidad de un generador se encuentra la prueba χ 2 (es una prueba que sirve en términos generales para verificar si una variable aleatoria sigue una distribución hipotética). Existen muchas pruebas de independencia para mostrar que los datos generados tiene un comportamiento que es similar a una secuencia aleatoria; cada prueba chequea un solo aspecto de una posible regularidad. Por eso se debe realizar con éxito una gran variedad de pruebas de independencia para verificar la bondad del generador en cuanto a ausencia de regularidades. Si una de estas pruebas resulta en el rechazo de la hipótesis de independencia, el generador debe ser rechazado. El generador de estándar mínimo ha sido probado exitosamente una cantidad grande de pruebas de independencia.

71 Contenido 1. Método de la transformada inversa 2. Método de convolución 3. Método de de aceptación y rechazo 1 Introducción 2 3 4

72 1. Método de la transformada inversa 2. Método de convolución 3. Método de de aceptación y rechazo OJO Revisar material adicional sobre distribuciones Principio: Se generan pseudoaleatorios con distribución uniforme U(0, 1); luego se convierten para seguir la distribución deseada. Métodos: 1 Método de la transformada inversa 2 Método de la convolución 3 Método de aceptación y rechazo

73 Método de la transformada inversa (1) 1. Método de la transformada inversa 2. Método de convolución 3. Método de de aceptación y rechazo Idea: Sea F la función de distribución acumulada de la distribución que se quiere generar. Sea F (a) = r. Sea p U ([0, r]) la probabilidad del intervalo [0, r], suponiendo distribución la uniforme, y p F ((, a]) la probabilidad del intervalo (, a], suponiendo distribución deseada: p U ([0, r]) = p F ((, a]) = r

74 Método de la transformada inversa (2) 1. Método de la transformada inversa 2. Método de convolución 3. Método de de aceptación y rechazo Es decir: si r i es una secuencia de aleatorios U[0, 1], entonces a i = F 1 (r i ) es una secuencia de números que siguen la distribución deseada F. 1 r a FHxL

75 La distribución exponencial por el método de la transformada inversa 1. Método de la transformada inversa 2. Método de convolución 3. Método de de aceptación y rechazo La función de distribución acumulada de la distribución exponencial con parámetro λ está dada por: F (x) = 1 e λx F (a) = r 1 e λa = r a = F 1 (r) = 1 ln (1 r) λ Datos con distribución exponencial: a = 1 λ ln r si r es uniforme en (0,1]} Nota: (1 r n) n N tiene las mismas propiedades respecto a uniformidad y independencia que la secuencia (r n) n N. Por eso se pudo simplificar la generación del dato exponencial.

76 1. Método de la transformada inversa 2. Método de convolución 3. Método de de aceptación y rechazo Ejemplo: distribución exponencial con λ = 1,5 Para r = 0,5520, se obtiene a = F 1 (0,5520) = 1 ln (0,5520) = 0,3961 1,5 r a Diagrama de frecuencias de 100 números pseudoaleatorios con distribución exponencial

77 La distribución uniforme U(A, B) por el método de la transformada inversa 1. Método de la transformada inversa 2. Método de convolución 3. Método de de aceptación y rechazo La función de distribución acumulada de la distribución uniforme U(A, B) está dada por: F (x) = x A B A F (a) = r a A B A = r a = F 1 (r) = r(b A) + A Es decir, simplemente se multiplica el aleatorio en [0,1] con la longitud B A y se suma el punto inicial A de la uniforme U(A,B). para r aleatorio en [0,1]. Datos con distribución uniforme: a = (B A)r + A si r es uniforme en (0,1]}

78 1. Método de la transformada inversa 2. Método de convolución 3. Método de de aceptación y rechazo Ejemplo: distribución uniforme U(10, 20) Para r = 0,5520, se obtiene a = F 1 (0,5520) = 0, r a Diagrama de frecuencias de 100 números pseudoaleatorios con distribución U(10, 20)

79 1. Método de la transformada inversa 2. Método de convolución 3. Método de de aceptación y rechazo La distribución Normal estandarizada N(0, 1) (1) por el método de la transformada inversa La función de distribución acumulada de la normal F N(0,1) (x) = 1 x 2π e 1 2 t2 dt, se tiene que determinar por integración numérica. Como resultado se obtiene una tabla de puntos, las valores intermedios se obtiene por interpolación lineal. A esta aproximación de la función de distribución acumulada se puede aplicar el método de la transformada inversa.

80 1. Método de la transformada inversa 2. Método de convolución 3. Método de de aceptación y rechazo La distribución Normal estandarizada N(0, 1) (2) por el método de la transformada inversa Ejemplo: x F (x) Método de la inversa transformada, aplicada para la aproximación de F 1 r a 1 2 (En realidad se debe tabular F en muchos puntos)

81 1. Método de la transformada inversa 2. Método de convolución 3. Método de de aceptación y rechazo La distribución Normal estandarizada N(0, 1) (3) por el método de la transformada inversa Para r U(0, 1) se busca en la tabla el intervalo [F (x k ), F (x k+1 )] que contiene r. r es combinación de las extremos del intervalo: r = λf (x k ) + (1 λ)f (x k+1 ); despejando λ se obtiene λ = F (x k+1) r F (x k+1 ) F (x k ). a es la combinación correspondiente de x k y x k+1 : a = λx k + (1 λ)x k+1.

82 1. Método de la transformada inversa 2. Método de convolución 3. Método de de aceptación y rechazo Ejemplo: distribución normal N(0, 1) (1) Para r = 0,5520, se obtiene r [0,5, 0,8413]; λ = 0,8413 0,5520 0,8413 0,5 = 0,847641; a = 0, (1 0,847641) 1 = = Para r = 0,4881, se obtiene r [0,1586, 0,5]; λ = 0, ,8413 0,5 = 0, ; a = 0, ( 1)+(1 0, ) 0 = = r intervalo de r λ intervalo de a a [0,5, 0,8413] [0, 1] [0,1586, 0,5] [ 1, 0] [0,5, 0,8413] [0, 1] [0,1586, 0,5] [ 1, 0] [0,5520, 0,8413] [0, 1] [0,5520, 0,8413] [0, 1] [0,8413, 0,9772] [1, 2]

83 1. Método de la transformada inversa 2. Método de convolución 3. Método de de aceptación y rechazo Ejemplo: distribución normal N(0, 1) (2) Diagrama de frecuencias de 100 números pseudoaleatorios con la distribución que aproximan(0, 1): Notas: Obsérvese que esta aproximación no es buena dado que se usa muy pocos puntos. Para aplicaciones prácticas se deberían usar mucho más puntos tabulados. Existen otros métodos para generar datos con distribución N(0,1) que no requieren la tabulación de la normal (ver más adelante).

84 Otras distribuciones Normales a partir de la Normal estandarizada 1. Método de la transformada inversa 2. Método de convolución 3. Método de de aceptación y rechazo Si se tiene datos que siguen la distribución normal estandarizada, se pueden convertir a datos con distribución N(µ, σ), sumando la media µ(traslada la distribución) y multiplicando por σ (anchura de la distribución) Datos con distribución normal N(µ, σ): a N(µ,σ) = a N(0,1) σ + µ

85 Ejemplo: distribución N(10, 2) 1. Método de la transformada inversa 2. Método de convolución 3. Método de de aceptación y rechazo Convertir los datos del ejemplo anterior a datos con N((10, 2)) r a N(0,1) a N(10,2)

86 Distribuciones discretas por el método de la transformada inversa Aunque la función de distribución acumulada de una distribución discreta no tiene inversa, se puede aplicar un procedimiento parecido al método de la transformada inversa para generar distribuciones discretas. 1. Método de la transformada inversa 2. Método de convolución 3. Método de de aceptación y rechazo Para la distribución discreta dada por sus valores y su probabilidad (v i, p i ) se usa la probabilidad acumulada pa i en lugar de la función de distribución F : v i p i pa i v 1 p 1 p 1 v 2 p 2 2 i=1 p i... v n p n n i=1 p i = 1 Dato uniforme Para r U[0, 1] se define a = v i si r [pa i 1, pa i )

87 1. Método de la transformada inversa 2. Método de convolución 3. Método de de aceptación y rechazo Ejemplo 1: una distribución discreta empírica v i p i pa i Para r U[0, 1] se define: 1 si r < 0,2 5 si 0,2 r < 0,3 a = 8 si 0,3 r < 0,8 10 si 0,8 r < 1 Por ejemplo: r a

88 Ejemplo 2: distribución Bernoulli 1. Método de la transformada inversa 2. Método de convolución 3. Método de de aceptación y rechazo La generación de datos con distribución Bernoulli con parámetro p es muy sencillo y rápido Dato con distribución Bernoulli { éxito si r < p a = fracaso en el otro caso Ejemplo para p = 0,7 r a éxito éxito fracaso éxito éxito fracaso fracaso

89 Ejemplo 3: distribución Binomial (1) 1. Método de la transformada inversa 2. Método de convolución 3. Método de de aceptación y rechazo Ejemplo: n = 6, p = 0,7 Definición ( de) las probabilidades, usando n p(i) = 0,7 i 0,3 n i, 0 i n i Datos a con distribución (0,3, 6): binomial valor probabilidad probabilidad acumulada r a

90 Ejemplo 3: distribución Binomial (2) 1. Método de la transformada inversa 2. Método de convolución 3. Método de de aceptación y rechazo El método de la inversa transformada para generar una binomial (n, p) es eficiente, si n es pequeño. Si n es grande (por ejemplo n = 200) se tiene que calcular muchas probabilidades p(i) y probabilidades acumuladas pa(i). En este caso se recomienda otro método de generación: el método de convolución para generar la distribución binomial.

91 2. Método de convolución 1. Método de la transformada inversa 2. Método de convolución 3. Método de de aceptación y rechazo Principio Se expresa la variable aleatoria con distribución deseada como función de otras con distribuciones que se generan fácilmente. Se generan estas variables aleatorias y se aplica la función. El resultado es un valor de la variable aleatoria deseada

92 Distribución binomial por el método de convolución 1. Método de la transformada inversa 2. Método de convolución 3. Método de de aceptación y rechazo Dado un experimento Bernoulli con probabilidad de éxito p, la variable aleatoria X : número de éxitos en n repeticiones del experimento Bernoulli sigue una distribución binomial con parámetros p y n. Es decir, generando n números con distribución Bernoulli, y contando el número de éxitos se obtiene un número con distribución binomial.

93 1. Método de la transformada inversa 2. Método de convolución 3. Método de de aceptación y rechazo Ejemplo: La binomial con parámetros p = 0,7; n = 6. r 1, r 2,..., r 6 a

94 Distribución normal por el método de convolución 1. Método de la transformada inversa 2. Método de convolución 3. Método de de aceptación y rechazo El promedio de n datos con igual distribución cualquiera tiende a una distribución normal (teorema central de ĺımite). El método de convolución usa este teorema para generar datos normalmente distribuidos con promedio de datos U[0, 1]. La distribución uniforme U[0, 1] tiene media 1/2 y varianza 1/12, por eso: la suma de 12 datos U[0, 1] tiene media 6 y varianza 1, por eso ( 12 ) a = r i 6 N[0, 1] i=1

95 Ejemplo: Distribución normal 1. Método de la transformada inversa 2. Método de convolución 3. Método de de aceptación y rechazo r 1, r 2,..., r 12 a

96 1. Método de la transformada inversa 2. Método de convolución 3. Método de de aceptación y rechazo 3. Método de aceptación y rechazo para la distribución Poisson La distribución Poisson está definida para los enteros 0 por: α αi p(i) = e, es decir, no se pueden tabular las probabilidades discretas. i! Por eso se vuelve sumamente lento un método de de transformada inversa. En su vez, se usa la relación entre la distribución Poisson y Exponencial: Si el tiempo entre llegadas sigue una distribución exponencial con parámetro α, entonces la probabilidad de obtener i llegadas en un intervalo de tiempo de longitud 1 sigue una distribución Poisson con parámetro α. Entonces: para generar un número de llegadas de acuerdo con la probabilidad Poisson, se generan y suman la cantidad necesaria de números con distribución exponencial hasta pasar por el intervalo unitario.

97 1. Método de la transformada inversa 2. Método de convolución 3. Método de de aceptación y rechazo Ejemplo: distribución Poisson con α = 2 r tiempo entre llegadas tiempo de llegada n (Poisson)

98 1. Método de la transformada inversa 2. Método de convolución 3. Método de de aceptación y rechazo Cálculo eficiente de la distribución Poisson (1) Para calcular más eficientemente se usa que la exponencial con parámetro α se genera por a = 1 αln(r); r U{0, 1] Se busca n tal que tal que 1 (ln(r1) + ln(r2) ln(rn)) α 1 < 1 (ln(r1) + ln(r2) ln(rn+1)) α ln(r 1) + ln(r 2) ln(r n) α > ln(r 1) + ln(r 2) ln(r n+1) ln(r 1 r 2... r n) α > ln(r 1 r 2... r n+1) r 1 r 2... r n e α > r 1 r 2... r n+1

99 1. Método de la transformada inversa 2. Método de convolución 3. Método de de aceptación y rechazo Cálculo eficiente de la distribución Poisson (2) Algoritmo (generación de números con distribución Poisson): (random[0, 1] llama generador de uniforme) A e α ; n 0; R 1; while R A R R random[0, 1]; n ++ n n 1; devolver n

100 Conclusión 1. Método de la transformada inversa 2. Método de convolución 3. Método de de aceptación y rechazo Basado en un generador de aleatorios uniformes en [0,1] se pueden generar datos que siguen otras distribuciones de probabilidad. Se aplican procesos específicos de transformación de los datos uniformes generados, apoyándose en conceptos generales estadísticos. Por ende, la calidad de las distribuciones generadas depende de la calidad del generador original. Otra vez se recomienda el generador de estándar mínimo. Para verificar si la distribución generada por este procedimiento es la deseada, se puede aplicar una prueba χ 2 (reemplazando FE por los valores que corresponden a la distribución deseada)