Espacios, Funciones y Multifunciones

Apéndice A Espacios, Funciones y Multifunciones Denotaremos por B () a la -álgebra de Borel de un espacio topológico ; es decir, la mínima -álgebra de subconjuntos de que contiene a todos los abiertos. De nición A.1 Un espacio de Borel es un subconjunto de Borel de un espacio métrico, separable y completo. El listado a continuación menciona algunos ejemplos de espacios de Borel. - R n con la topología usual. - Un conjunto numerable con la topología discreta. - Un espacio métrico compacto. - El producto nito o numerable de una sucesión de espacios de Borel. De nición A.2 Sea un espacio topológico y v una función de en R[ f1g. Se dice que la función v es: (a) semi-continua inferiormente (s.c.i.) si el conjunto es cerrado en para cada r 2 R. fx 2 : v (x) rg (b) semi-continua superiormente si el conjunto es cerrado en para cada r 2 R. fx 2 : v (x) rg 53

54 APÉNDICE A. Espacios, Funciones y Multifunciones Observación A.1 Sea un espacio topológico y v una función de en R[ f1g. Entonces, respecto a la de nición previa, se tiene que i) v es s.c.i. si y sólo si v es s.c.s., y ii) v es continua si y sólo si v es simultáneamente s.c.i. y s.c.s. Proposición A.1 Sea un espacio métrico y v una función de en R[ f1g, entonces v es s.c.i. si y sólo si para cada sucesión fx n g en, tal que x n! x 2 se tiene que lmnf v(x n) v(x): n Demostración: Véase, por ejemplo, [1] Apéndice A6. De nición A.3 Sean y A espacios de Borel. Una multifunción o correspondencia ' de en A es una función de nida en y cuyo valor ' (x), para cada x 2, es un subconjunto no vacío de A. De nición A.4 Se dice que la multifunción ' es medible de Borel, si para cada conjunto cerrado F A, el conjunto fx 2 : ' (x) F g es un subconjunto de Borel en. De nición A.5 Se dice que la multifunción ' es s.c.i., si para cada conjunto cerrado F A, el conjunto fx 2 : ' (x) F g es un cerrado en. De nición A.6 Se dice que la multifunción ' es s.c.s., si para cada conjunto abierto G A, el conjunto fx 2 : ' (x) Gg es un abierto en.

Apéndice B Kernel Estocástico y Esperanza Condicional B.1. Kernel Estocástico Sean e Y espacios de Borel. De nición B.1 Un kernel estocástico o probabilidad de transición sobre dado Y se de ne como una función Q (dx j y) ; tal que: (a) Q ( j y) es una medida de probabilidad sobre para cada y 2 Y ; (b) Q (B j ) es una función medible sobre Y para cada B 2 B (). De nición B.2 Sea Q (dx j y) un kernel estocástico sobre dado Y. Se dice que:. (a) Q es fuertemente continuo si la función: y 7! v (x) Q (dx j y) (B.1) es continua y acotada en y 2 Y; para cada función medible y acotada v sobre (b) Q es débilmente continuo si la función en (B.1) es continua y acotada en y 2 Y; para cada función continua y acotada v sobre. En- Observación B.1 Sea Q (dx j y) un kernel estocástico sobre dado Y. tonces, respecto a la de nición previa, se tiene la siguiente relación: (a) ) (b) 55

56 APÉNDICE B. Kernel Estocástico y Esperanza Condicional B.2. Esperanza Condicional De nición B.3 Sea (; D; P ) un espacio de probabilidad, y sea S D una sub--álgebra de D. La esperanza condicional de la variable aleatoria ; E jj < 1; dado S, se de ne como la única c.s. variable aleatoria denotada por E [ j S] tal que sea S-medible y además: E [ j S] dp = dp para cada B 2 S: B B Proposición B.1 Sean y 0 dos variables aleatorias sobre (; D; P ) tales que E jj < 1 y E j 0 j < 1; y sean b 1 ; b 2 y b 3 constantes reales: Entonces (a) E [b 1 + b 2 0 + b 3 j S] = b 1 E [j S] + b 2 E [ 0 j S] + b 3 (b) 0 c.s. implica que E [ j S] E [ 0 j S] c.s. (c) n 0 para cada n es tal que n % c.s. implica que c.s. E [ n j S] % E [ j S] : B. (d) E [I B j S] = P [B j S] ; donde I B es la función indicadora del conjunto (e) Sean S 1 ; S 2 dos sub--álgebras de D tales que S 1 S 2 D. Entonces: E [E [ j S 1 ] j S 2 ] = E [ j S 1 ] y E [E [ j S 2 ] j S 1 ] = E [ j S 1 ] : (f) es S-medible implica que E [ j S] =. (g) E [E [ j S]] = E []. Demostración: Véase, por ejemplo, [1] Capítulo 6.

Apéndice C Teorema de C. Ionescu Tulcea Proposición C.1 Sea 0 ; 1 ; ::: una sucesión de espacios de Borel y, para n 2 N 0 ; defínanse Y n := 0 1 n y Y := 0 1 Sea una medida de probabilidad arbitraria en 0 y, para cada n 2 N 0 ; sea Q n (dx n+1 j y n ) un kernel estocástico sobre n+1 dado Y n. Entonces existe una única medida de probabilidad Q sobre Y tal que, para cada rectángulo medible B 0 B n en Y n, Q (B 0 B n ) = (dx 0 ) B 0 Q 0 (dx 1 j x 0 ) B 1 B 2 Q 1 (dx 2 j x 0 ; x 1 ) B n Q n 1 (dx n j x 0 ; :::; x n 1 ) : Más aún, para cada función medible no negativa u en Y, la función x 7! u (y) Q x (dy) es medible sobre 0, donde Q x denota a Q cuando es la probabilidad concentrada en x 2 0. Demostración: Véase, por ejemplo, [1] p.109. 57

58 APÉNDICE C. Teorema de C. Ionescu Tulcea

Apéndice D Otros resultados Proposición D.1 (Lema de Fatou "Generalizado") Supóngase que para cada x 2 se satisfacen las Hipótesis 1.3(c) y 1.3(e), y sea fu n g una sucesión uniformemente acotada en B W () ; es decir, existe una constante C tal que ku n k W C para cada n, y defínanse u I (x) := lmnf u n (x) ; y u S (x) := lm supu n (x) : Entonces, para cada x 2 en cada sucesión fa n g A (x) tal que a n! a 2 A (x) se tiene y lmnf u n (y)q(dy j x; a n ) u I (y)q(dy j x; a); lm sup u n (y)q(dy j x; a n ) u S (y)q(dy j x; a): De aquí, si u n! u (es decir u I = u S ), entonces lm u n (y)q(dy j x; a n ) = u(y)q(dy j x; a): Demostración: Véase, por ejemplo, [9] p.49. 59

60 APÉNDICE D. Otros resultados Proposición D.2 Sean g n y g funciones integrables tales que g n! g c.d. cuando n! 1. Entonces jg n gj! 0 si y sólo si jg n j! jgj : En particular, si g n y g son funciones de densidad de probabilidad, entonces el resultado establecido se conoce como Teorema de Sche é. Demostración: Véase, por ejemplo, [32] p.55. Proposición D.3 Sea f i g i2i una sucesión de variables aleatorias integrables sobre (; D; P ): Si h : [0; 1)! [0; 1) es medible, y h (t) t! 1 supe [h (j i j)]! 1; i2i entonces i son uniformemente integrables. Demostración: Véase, por ejemplo, [1] p.301.

Bibliografía [1] Ash R.B. (1972) Real Analysis and Probability. Academic Press, New York. [2] Bhattacharya R.N., Majumdar M. (1989) Controlled semi-markov modelsthe discounted case. J. Statist. Plann. Inference 21: 365-381. [3] Devroye L. (1987) A Course in Density Estimation. Birkhäuser Verlag, Boston. [4] Dynkin E.B., Yushkevich A.A. (1979) Controlled Markov Processes. Springer-Verlag, New York. [5] Gordienko E.I., Minjárez-Sosa J.A. (1998) Adaptive control for discretetime Markov processes with unbounded costs: discounted criterion. Kybernetika 34: 217 234. [6] Hasminskii R., Ibragimov I. (1990) On density estimation in the view of Kolmogorov s ideas in approximation theory. Ann. of Statist. 18: 999-1010. [7] Hernández-Lerma O. (1989) Adaptive Markov Control Processes. Springer- Verlag, New York. [8] Hernández-Lerma O., Lasserre J.B. (1996) Discrete-Time Markov Control Processes: Basic Optimality Criteria. Springer-Verlag, New York. [9] Hernández-Lerma O., Lasserre J.B. (1999) Further Topics on Discrete- Time Markov Control Processes. Springer-Verlag, New York. [10] Hilgert N., Minjárez-Sosa J.A. (2006) Adaptive control of stochastic systems with unknown disturbance distribution: discounted criteria. (Por aparecer en Math. Meth. of Oper. Res.) [11] Köthe G. (1969) Topological Vector Spaces I. Springer-Verlag, New York. [12] Lippman S.A. (1973) Semi-Markov decision processes with unbounded rewards. Management Sci. 19: 717-731. [13] Lippman S.A. (1975) On dynamic programming with unbounded rewards. Management Sci. 21: 1225-1233. 61