Curso de Inferencia y Decisión

Transcripción

1 Curso de Inferencia y Decisión Guadalupe Gómez y Pedro Delicado Departament d Estadística i Investigació Operativa Universitat Politècnica de Catalunya Enero de 2006

2

3 Índice abreviado Capítulo 1. Introducción Capítulo 2. Principios para reducir los datos Capítulo 3. Estimación puntual 1: Construcción de estimadores. 45 Capítulo 4. Estimación puntual 2: Evaluación de estimadores Capítulo 5. Contrastes de hipótesis Capítulo 6. Estimación por intervalos Capítulo 7. Introducción a la Teoría de la Decisión Referencias i

4

5 Índice general Índice abreviado I Índice general II Prólogo VII 1. Introducción Datos y modelos Variable aleatoria Variables y vectores aleatorios Distribución de una variable aleatoria. Funciones de distribución, de probabilidad y de densidad Esperanza y varianza Muestra aleatoria simple Modelo paramétrico Sumas de variables aleatorias Dos familias de distribuciones importantes Familias de localización y escala Familias exponenciales Muestreo de una distribución normal Distribuciones asociadas a la normal Leyes de los Grandes Números y Teorema Central del Límite Leyes de los grandes números Teorema central del límite Versiones multivariantes Lista de problemas iii

6 iv ÍNDICE GENERAL 2. Principios para reducir los datos Principio de suficiencia Estadísticos suficientes r-dimensionales Estadísticos suficientes minimales Estadísticos ancilares Estadísticos completos Principio de verosimilitud Lista de problemas Estimación puntual 1: Construcción de estimadores La función de distribución empírica y el método de los momentos Teorema de Glivenko-Cantelli Principio de sustitución El método de los momentos Estimadores de máxima verosimilitud Cálculo del estimador máximo verosímil Cálculo numérico de los estimadores de máxima verosimilitud Principio de invariancia del estimador máximo verosímil Estimación Bayesiana Distribuciones a priori y a posteriori Distribuciones conjugadas Funciones de pérdida Estimadores de Bayes Lista de problemas Estimación puntual 2: Evaluación de estimadores Error cuadrático medio Eficiencia relativa Mejor estimador insesgado Teorema de Cramér-Rao. Información de Fisher Versión multivariante del teorema de Cramér-Rao Teorema de Rao-Blackwell. Teorema de Lehmann-Scheffé 108

7 ÍNDICE GENERAL v 4.3. Comportamiento asintótico Consistencia Normalidad asintótica Método delta Eficiencia relativa asintótica Teoría asintótica para el estimador máximo verosímil Lista de problemas Contrastes de hipótesis Definiciones básicas. Contraste de hipótesis simples Tipos de errores Lema de Neyman-Pearson Conclusiones de un contraste: el p-valor Contrastes uniformemente más potentes Lema de Neyman-Pearson para alternativas compuestas Razón de verosimilitud monótona. Teorema de Karlin-Rubin Contrastes insesgados. Contrastes localmente más potentes Consistencia y eficiencia para contrastes Test de la razón de verosimilitudes Relación con el Lema de Neyman-Pearson Propiedades de los contrastes de razón de verosimilitudes Contrastes relacionados con el de máxima verosimilitud Test del score Test de Wald Contrastes en presencia de parámetros secundarios Contrastes bayesianos Ventaja a priori y a posteriori. Factor de Bayes Contraste de dos hipótesis simples Contraste de dos hipótesis compuestas Contraste de hipótesis nula simple frente a alternativa compuesta Lista de problemas

8 vi ÍNDICE GENERAL 6. Estimación por intervalos Intervalos de confianza Métodos para construir intervalos de confianza Inversión de un contraste de hipótesis Cantidades pivotales Intervalos bayesianos Intervalos de verosimilitud Evaluación de estimadores por intervalos Intervalos de longitud mínima Relación con contrastes de hipótesis y optimalidad Intervalos de confianza asintóticos Intervalos basados en el estimador de máxima verosimilitud Intervalos basados en la función score Lista de problemas Introducción a la Teoría de la Decisión Elementos básicos en un problema de decisión Comparación de reglas de decisión Teoría de la decisión e inferencia estadística Estimación puntual Contrastes de hipótesis Estimación por intervalos El problema de decisión bayesiano Admisibilidad de las reglas de decisión Comparación de reglas de decisión Búsqueda de reglas admisibles y clases completas Admisibilidad de la media muestral bajo normalidad Reglas minimax Lista de problemas Referencias 243

9 Prólogo Este documento es el fruto de nuestra experiencia como docentes de la asignatura Inferencia y Decisión (Licenciatura en Ciencias y Técnicas Estadísticas, Universitat Politècnica de Catalunya) durante los cursos Cuando se preparó por primera vez la docencia de Inferencia y Decisión se pensó en seguir lo más fielmente posible algún libro de texto que por contenidos y profundidad se adaptase a los objetivos de esta asignatura. Ante la inexistencia de libros en castellano o catalán dirigidos específicamente para alumnos de Inferencia y Decisión, se optó por usar como texto de referencia el libro de Casella y Berger (1990). Durante el desarrollo del curso se vio en varias ocasiones la necesidad de completarlo con otros libros. Ante esta situación (ausencia de textos en castellano y cierta insatisfacción con el libro elegido) consideramos conveniente escribir este documento. En él se recogen y amplían los apuntes preparados para las clases teóricas y las listas de problemas resueltas en las clases prácticas. El objetivo principal de la asignatura Inferencia y Decisión es proporcionar una sólida base teórica de los fundamentos de la Inferencia Estadística y de la Teoría de la Decisión. Confiamos en que este Curso de Inferencia y Decisión contribuya a lograrlo. vii

10

11 Capítulo 1 Introducción Referencias: Casella-Berger: 1.4, 2.1, 2.2, 2.3, capítulo 3, 5.1, 5.2, En este curso de Inferencia y Decisión se desarrollan ideas y herramientas matemáticas que la estadística utiliza para analizar datos. Se estudiarán técnicas para estimar parámetros, contrastar hipótesis y tomar decisiones. Es importante no perder de vista que en la aplicación de la estadística se necesita mucho más que el conocimiento matemático. La recogida y la interpretación de los datos es un arte. Requiere sentido común y puede llegar a plantear cuestiones filosóficas Ejemplo 1 Se desea estimar la proporción de estudiantes universitarios que no se duchan desde hace dos días o más. Supongamos que podemos entrevistar a 20 estudiantes. Qué se entiende por estudiante? Cómo se puede asegurar que la muestra sea aleatoria? Querrán contestar a la pregunta? Problema de falta de respuesta (missing data). Dirán la verdad? Problema de error de medida (measurement error). Si resulta que entre los 20 estudiantes no hay ninguna mujer, estaremos satisfechos con el estimador que obtengamos? Supongamos que ˆp = 5/20. Qué valores son plausibles para p? En este caso el problema se plantea en términos de la variable aleatoria X = número de personas que no se ducharon ayer ni hoy B(20, p) 1

12 2 CAPÍTULO 1. INTRODUCCIÓN y es un ejemplo de estimación en un contexto de inferencia paramétrica... Ejemplo 2 Estudio de la aspirina. Con el fin de determinar si la aspirina tiene algún efecto preventivo en los ataques cardíacos se desarrolló un estudio controlado entre médicos (aproximadamente ) entre 40 y 84 años que tomaron bien una aspirina (325 mg.) bien un placebo durante cinco años. Los resultados del estudio fueron los siguientes: Sufren ataques No sufren Ataques por cardíacos ataques cardíacos cada 1000 personas Aspirina Placebo Hay suficiente evidencia para concluir que la aspirina protege contra los ataque de corazón? Se plantea aquí un problema de decisión o el contraste de una hipótesis Datos y modelos Los datos que aparecen en los problemas estadísticos pueden suponerse provenientes de un experimento, es decir, son valores en un espacio muestral. Experimento: Término de acepción muy amplia que incluye cualquier procedimiento que produce datos. Espacio muestral: Conjunto de todos los posibles resultados de un experimento. Ejemplo 3 Se desea estudiar la proporción de enfermos que responde positivamente a una nueva terapia. Se podría pensar en administrar la medicina a todos los enfermos que lo deseen y utilizar como resultado del estudio las respuestas de los pacientes tratados con la nueva terapia, aunque esta muestra responde a un experimento no controlado y puede ser difícil obtener resultados extrapolables a toda la población. Sería más aconsejable identificar la población a la que está dirigida la

13 1.2. VARIABLE ALEATORIA 3 nueva terapia y tratar a un subconjunto aleatorio de tamaño n de esa población relevante con la nueva medicina. En los dos casos el espacio muestral es una secuencia de responde/no responde. En el primer caso el número de pacientes es variable y el espacio muestral debería incluir las secuencias de todas las posibles longitudes (tantas como posibles números de pacientes), mientras que en el segundo caso el espacio muestral consistirá en las secuencias de longitud n... Definimos un modelo para un experimento como una colección de distribuciones de probabilidad sobre el espacio muestral. Ejemplo 3, página 2. Continuación. Sea p la proporción de individuos que responden positivamente a la nueva terapia. Hay una probabilidad p de observar una respuesta positiva en cada caso muestreado. Si el tamaño de la población de referencia es mucho más grande que el de la muestra, n, es razonable suponer que las respuestas de los individuos son independientes. Entonces el modelo es P = {P (X 1 = x 1,..., X n = x n ) = n p xi (1 p) 1 xi, 0 < p < 1}. Se trata de un modelo paramétrico de dimensión finita. El espacio paramétrico es {p : 0 < p < 1} IR. Los problemas de inferencia en este modelo consistirán en hacer afirmaciones (en forma de estimación puntual, estimación por intervalos o contrastes de hipótesis) sobre cuán verosímiles son los posibles valores del parámetro p Variable aleatoria Variables y vectores aleatorios Consideramos un experimento aleatorio cuyos resultados pertenecen al espacio muestral Ω. Modelizamos este proceso suponiendo que existe una terna (Ω, A, P), donde Ω es el espacio muestral, P(Ω) es el conjunto de partes de Ω, A P(Ω) es una σ-álgebra, y P : A [0, 1] es una medida de probabilidad que refleja las características aleatorias del experimento realizado. A esa terna se le llama espacio de probabilidad. Los resultados de un experimento aleatorio no son analizados en bruto, sino que se les da una representación numérica que facilita su tratamiento. Esto se

14 4 CAPÍTULO 1. INTRODUCCIÓN hace mediante la definición de variables aleatorias. Dado un espacio de probabilidad (Ω, A, P) y el espacio medible (IR, B), donde B es la σ-álgebra de Borel definida sobre la recta real IR, una variable aleatoria es una función X : Ω IR medible, es decir, X 1 (B) A para todo B B. Si el espacio muestral Ω es finito o numerable, diremos que es un espacio discreto y las variables aleatorias asociadas al experimento normalmente estarán definidas como X : Ω Z. Si Ω es no numerable, entonces diremos que es un espacio continuo y X : Ω IR. A partir de un mismo experimento se pueden definir diferentes variables aleatorias. Por ejemplo, si lanzamos dos monedas simultáneamente, el espacio muestral asociado a este experimento es Ω = {CC, C+, +C, ++}. Se pueden definir diversas variables aleatorias: X 1 = número de caras, X 2 = número de cruces, X 3 = cuadrado del número de caras = X 2 1, etc. Usualmente los datos están modelizados por un vector de variables aleatorias X = (X 1,..., X n ), donde las X i toman valores en Z o en IR. A X le llamaremos vector aleatorio o también variable aleatoria multidimensional Distribución de una variable aleatoria. Funciones de distribución, de probabilidad y de densidad La realización de un experimento aleatorio da lugar a un resultado ω Ω que es aleatorio. Por lo tanto X(ω) es un valor de IR también aleatorio. Es decir, la variable aleatoria X induce una medida de probabilidad en IR. A esa medida de probabilidad se le llama distribución de X o ley de X. Una de las formas de caracterizar la distribución de una variable aleatoria es dar su función de distribución F X, que está definida así: F X (x) = P(X x) = P({ω Ω : X(ω) x}) = P(X 1 (, x]). En el caso de que X sea una variable aleatoria discreta, es decir, en el caso de que X sólo tome una cantidad finita o numerable de valores de IR, su distribución también puede caracterizarse por su función de probabilidad (o función de masa de probabilidad) f X, definida como f X : IR [0, 1], f X (x) = P(X = x). Esa función sólo es no nula en un conjunto finito o numerable. Supondremos en adelante, sin pérdida de generalidad, que ese conjunto está contenido en Z. A

15 1.2. VARIABLE ALEATORIA 5 partir de la función de masa de probabilidad se puede calcular la probabilidad de que la variable aleatoria X tome valores en cualquier elemento A de B: P(X A) = x A f X (x). La función de distribución y la función de masa de probabilidad se relacionan de la siguiente forma: F X (x) = u x f X (u), f X (x) = F X (x) F X (x ), donde F X (x ) = lím h 0 + F (x h). Una clase relevante de variables aleatorias no discretas son las que poseen función de densidad, es decir, aquellas cuya distribución de probabilidad puede caracterizarse por una función f X (x) 0 que cumple que P(X A) = f X (x)dx, para todo A B. x A La relación entre F X y f X es la siguiente: F X (x) = x f X (u)du, f X (x) = d dx F X(x) salvo quizás en un número finito de puntos x IR. Las variables aleatorias que poseen función de densidad se llaman variables aleatorias absolutamente continuas. Abusando del lenguaje, aquí nos referiremos a ellas como variables aleatorias continuas Esperanza y varianza Si se desea describir totalmente la distribución de probabilidad de una variable aleatoria X acabamos de ver que podemos dar su función de distribución o su función de masa o de densidad, según el caso. Una descripción parcial puede efectuarse calculando algunas características de la variable aleatoria X, como por ejemplo medidas de posición o de dispersión. Estudiaremos algunas de ellas. Se define la esperanza de una variable aleatoria X como la integral de Lebesgue de X: E(X) = X(w)dP(w). Ω En el caso de variables aleatorias discretas la esperanza puede calcularse como E(X) = w Ω X(ω)P(ω) = kp (X = k) = kf X (k). k Z k Z Por otro lado, la esperanza de una variable aleatoria continua se puede calcular así: E(X) = IR xf X(x)dx.

16 6 CAPÍTULO 1. INTRODUCCIÓN La esperanza de una variable aleatoria X es una medida de posición de X: es el centro de gravedad de la distribución de probabilidad de X. Si h es una función medible h : IR IR, entonces Y = h(x) es también variable aleatoria y su esperanza se puede calcular a partir de la distribución de X: E(h(X)) = h(x(ω))dp(ω) que en el caso de que X sea discreta puede reescribirse como Ω E(h(X)) = k Z h(k)f X (k). Si X es una variable aleatoria continua entonces E(h(X)) = IR h(x)f X(x)dx. Si existe µ = E(X) y es finita puede definirse una medida de dispersión de la variable aleatoria X a partir de una transformación h de X. Es lo que se denomina varianza de X y se define así: V (X) = E((X µ) 2 ) = E(X 2 ) µ 2 = E(X 2 ) (E(X) 2 ) Muestra aleatoria simple Sea = (X 1,..., X n ) un vector aleatorio. Se dice que sus componentes X (X 1,..., X n ) son independientes si P (X 1 x 1,..., X n x n ) = P (X 1 x 1 ) P (X n x n ) para cualesquiera valores x 1,..., x n. Si además la distribución de las n variables aleatorias X i es la misma, se dice que X 1,..., X n son variables aleatorias independientes e idénticamente distribuidas, o bien que son v.a.i.i.d o simplemente i.i.d. Si = (X 1,..., X n ) y X 1,..., X n son i.i.d. con función de densidad (en su X caso, de masa) f X, la distribución conjunta de viene dada por la función de X densidad (en su caso, de masa) conjunta f X ( ) = f (X1,...,X n )(x 1,..., x n ) = f X1 (x 1 ) f Xn (x n ) = n f X (x i ). A un vector = (X 1,..., X n ) de v.a.i.i.d. con distribución igual a la de X la variable aleatoria X se le denomina también muestra aleatoria simple de X (m.a.s de X). Esto responde al hecho siguiente. Supongamos que se desea estudiar la característica X de los individuos de una población de tamaño infinito. Definimos el experimento consistente en elegir aleatoriamente un individuo de la población y llamamos X al valor de la característica de interés en

17 1.2. VARIABLE ALEATORIA 7 ese individuo. X es una variable aleatoria. Si definimos un nuevo experimento consistente en elegir una muestra aleatoria de n individuos y se anota X i, el valor de la característica en el individuo i-ésimo, entonces X = (X 1,..., X n ) es una colección de n v.a.i.i.d. con distribución igual a la de la variable aleatoria X, es decir, X 1,..., X n es una m.a.s. de X Modelo paramétrico Usualmente la ley de probabilidad de una variable aleatoria se supone perteneciente a un modelo matemático que depende sólo de un número finito de parámetros: f X {f(x θ) : θ Θ IR k }. Escribiremos alternativamente f(x; θ), f(x θ) o f θ (x). El conjunto de distribuciones dadas por f θ (x), θ Θ se llama familia paramétrica de distribuciones. Θ es el conjunto de parámetros. La correspondiente distribución conjunta de una muestra aleatoria simple de X viene dada por la función de densidad (o función de masa de probabilidad, según el caso) n f ( θ) = f θ (x i ). X A esta función la llamaremos función de verosimilitud de la muestra X. Utilizaremos este término para referirnos indistintamente a la función de densidad conjunta (si las variables aleatorias son continuas) o a la función de masa conjunta (si son discretas). Ejemplo 4 Si X N(µ, σ 2 ), f X (x µ, σ 2 ) = 1 2πσ 2 e 1 2σ 2 (x µ)2. La distribución de X es conocida salvo por dos parámetros, µ y σ 2. En este caso k = 2, θ = (µ, σ 2 ) 2 y Θ = IR IR + IR 2. La distribución conjunta de n v.a.i.i.d. con la misma distribución es f X ( µ, σ 2 ) = 1 1 n 1 (2πσ 2 ) n e 2σ 2 (xi µ)2 1 = (2πσ 2 ) n e (2πσ 2 ) n x 1nµ 2 donde 1 n = (1,..., 1) t IR n...

18 8 CAPÍTULO 1. INTRODUCCIÓN Sumas de variables aleatorias Cuando se obtiene una muestra aleatoria simple X 1,..., X n normalmente se calculan a partir de ellas cantidades que resumen los valores observados. Cualquiera de estos resúmenes se puede expresar como una función T (x 1,..., x n ) definida en el espacio X n IR n donde están las imágenes del vector (X 1,..., X n ). Esta función T puede devolver valores de IR, IR 2 o, en general, IR k. Ejemplo 5 n T (X 1,..., X n ) = X i, X, X + 3, mín{x 1,..., X n } n n T (X 1,..., X n ) = ( X i, (X i X) 2 ) n n T (X 1,..., X n ) = (mín{x 1,..., X n }, X i, (X i X) 2 ) T (X 1,..., X n ) = (X 1,..., X n ).. Las funciones T que dependen de una muestra aleatoria simple X 1..., X n se llaman estadísticos. Dependen de los valores observados, pero no de los parámetros desconocidos que determinan la distribución de X i. Cuando un estadístico T es utilizado con el propósito de estimar un parámetro θ diremos que T es un estimador de θ. Ejemplo 6 T (X 1,..., X n ) = X es un estimador de µ = E(X)... En inferencia estadística interesa saber qué estadísticos son suficientes para recoger toda la información que la muestra aporta sobre la distribución de la variable aleatoria X muestreada. La respuesta depende de la distribución de X. Dado que X = (X 1,..., X n ) es una variable aleatoria, se tiene que Y = T (X 1,..., X n ) será también una variable aleatoria. La ley de probabilidad de Y se denomina distribución en el muestreo de Y (o distribución muestral). Los siguientes resultados dan información sobre algunas características de estadísticos definidos a partir de sumas de variables aleatorias.

19 1.2. VARIABLE ALEATORIA 9 Teorema 1 Sean x 1,..., x n n números reales, sea x = 1 n n x i su media aritmética y sea S 2 = n (x i x) 2 /(n 1) su varianza muestral. (a) mín a n (x i a) 2 = n (x i x) 2. (b) (n 1)S 2 = n (x i x) 2 = n x2 i nx2. Demostración: (a) n (x i a) 2 = n (x i x) 2 + n (x i x) 2 + n (x i x + x a) 2 = n n (x a) (x i x)(x a) = (observar que n (x i x) = 0) n (x i x) 2 + n n (x a) 2 + 2(x a) (x i x) = n (x a) 2 Por lo tanto el mínimo se alcanza si a = x. n (x i x) 2. (b) Trivial. Lema 1 Sea X 1,..., X n una muestra aleatoria simple de X y sea g(x) una función tal que E(g(X)) y V (g(x)) existen. Entonces, (a) E( n g(x i)) = ne(g(x)), (b) V ( n g(x i)) = nv (g(x)), Demostración: (a) Trivial, por propiedades básicas del operador esperanza. (b) Trivial, observando que las variables aleatorias g(x i ) son independientes y aplicando propiedades básicas del operador varianza. Teorema 2 Sea X 1,..., X n una muestra aleatoria simple de una población X con esperanza µ y varianza σ 2 <. Sean X = 1 n n X i, S 2 = 1 n 1 n (X i X) 2, la media y la varianza muestrales, respectivamente. Entonces,

20 10 CAPÍTULO 1. INTRODUCCIÓN (a) E(X) = µ, (b) V (X) = σ 2 /n, (c) E(S 2 ) = σ 2. Demostración: (a), (b) Triviales, por el lema anterior y las propiedades básicas de la esperanza y la varianza. (c) (n 1)S 2 = n Xi 2 nx 2 = (n 1)E(S 2 ) = ne(x 2 ) ne(x 2 ) = n(v (X) + E(X) 2 ) n(v (X) + E(X) 2 ) = nσ 2 + nµ 2 n 1 n σ2 nµ 2 = (n 1)σ 2 = E(S 2 ) = σ 2. El siguiente resultado expresa la función generatriz de momentos (f.g.m.) de la media muestral en función de la f.g.m. de la variable aleatoria muestreada. Es muy útil cuando esta última f.g.m. es conocida, porque permite determinar completamente la distribución de la media muestral. Teorema 3 Sea X 1,..., X n una muestra aleatoria simple de una población X con función generatriz de momentos M X (t). La función generatriz de momentos de X es M X (t) = (M X (t/n)) n. Demostración: La f.g.m. de X se define como M X (t) = E(e tx ) para los valores de t para los que esa esperanza existe. Así, ( ( M X (t) = E e tx) ( = E e t n ) n ) n Xi = E e t n X i = (independencia de las v.a. X i ) n ) E (e t n Xi = (las X i son idénticamente distribuidas) n M Xi (t/n) = n M X (t/n) = (M X (t/n)) n.

21 1.2. VARIABLE ALEATORIA 11 Ejemplo 7 X 1,..., X n m.a.s. de X N(µ, σ 2 ). Entonces, Así, M X (t) = M X (t) = exp(µt + σ2 t 2 2 ). ( exp( µt n + σ2 (t/n) 2 2 ) n ) = exp(µt + σ2 t 2 2n ) y, por tanto, X N(µ, σ 2 /n)... Ejemplo 8 X 1,..., X n m.a.s. de X γ(α, β). Entonces, Así, f X (x) = xα 1 e x/β Γ(α)β α, x > 0, E(X) = αβ, V (X) = αβ2, M X (t) = ( ) α 1, t < 1 1 βt β. (( ) α ) n ( 1 1 M X (t) = = 1 βt/n 1 (β/n)t y, por lo tanto, X γ(nα, β/n). ) αn Un caso particular de distribución gamma es la distribución exponencial. Si X es exponencial de media µ, entonces X γ(1, µ). Así que la media de exponenciales de media µ será una γ(n, µ/n) que tendrá E(X) = n µ n = µ, V (X)nµ2 n 2 = µ2 n... Si el Teorema 3 no se puede aplicar porque o bien la f.g.m. no existe, o bien porque la f.g.m resultante no se corresponde con ninguna distribución conocida, siempre es posible intentar alguna de las dos estrategias siguientes para tratar de determinar la distribución de la media muestral. En primer lugar, se puede trabajar con la función característica que siempre existe. En segundo lugar se puede tratar de calcular directamente la función de densidad de la suma como la convolución de las n funciones de densidad (ver el ejemplo de la distribución de Cauchy, Casella-Berger, páginas ).

22 12 CAPÍTULO 1. INTRODUCCIÓN 1.3. Dos familias de distribuciones importantes Familias de localización y escala Sea Z una variable aleatoria con distribución conocida. A la colección de distribuciones de probabilidad de las variables aleatorias X que se pueden definir de la forma X = µ + σz, µ, σ IR σ > 0 se la denomina familia de localización y escala construida a partir de la distribución de Z. En particular, si Z es variable aleatoria absolutamente continua con función de densidad f(x), la familia de funciones de densidad { f(x µ, σ) = 1 ( ) } x µ σ f : µ IR, σ > 0 σ forman la familia de localización y escala de f(x). El parámetro de escala dilata la distribución si σ > 1 y la contrae si σ < 1. El parámetro de posición µ traslada la densidad µ unidades a la derecha (si µ > 0) o a la izquierda (si µ < 0). Proposición 1 (a) Z f(x) X = σz + µ f(x µ, σ). (b) X f(x µ, σ) X µ σ f(x). Demostración: Trivial, aplicando la fórmula de la función de densidad de la transformación biyectiva de una variable aleatoria univariante. Ejemplo 9 Las siguientes son algunas de las familias de distribuciones usuales que son de localización y escala y se parametrizan habitualmente como tales: normal, doble exponencial, Cauchy. La distribución uniforme U(a, b) también es una familia de localización y escala. En este caso µ = (a + b)/2 y σ = b a podrían servir como parámetros de posición y escala... Corolario 1 Sea Z 1,..., Z n una m.a.s. de Z f(x) y sea X 1,..., X n una m.a.s. de X f(x µ, σ). Si la ley de Z es g(z) entonces la ley de X es 1 σ g ( ) x µ σ. Demostración: Observar que X i σz i + µ, luego X σz + µ. Aplicando la proposición anterior se tiene el resultado.

23 1.4. MUESTREO DE UNA DISTRIBUCIÓN NORMAL Familias exponenciales X pertenece a la familia exponencial si su función de densidad o función de masa de probabilidad depende de un parámetro θ Θ IR p y puede escribirse así: k f(x θ) = h(x)c(θ) exp w j (θ)t j (x) para ciertas funciones h, c, w j y t j. Si p = k y w j (θ) = θ j, j = 1,..., p, entonces diremos que la familia exponencial está parametrizada de forma natural. En ese caso, el espacio paramétrico natural de esa familia es el conjunto k Θ = {θ IR k : h(x) exp θ j t j (x) dx < }. j=1 j=1 Si X 1,..., X n es muestra aleatoria simple de X, en la familia exponencial, entonces ( n ) k n f(x 1,..., x n θ) = h(x i ) (c(θ)) n exp w j (θ) t j (x i ). j=1 Observar que si definimos T j (X 1,..., X n ) = n t j(x i ), j = 1,..., p, entonces la distribución de (T 1,..., T k ) viene dada por k f T (u 1,..., u k θ) = H(u 1,..., u k ) (c(θ)) n exp w j (θ)u j, es decir, T también pertenece a la familia exponencial. j=1 Ejemplo 10 Ejemplos de familias exponenciales son éstos: binomial, geométrica, Poisson, binomial negativa, exponencial, normal, gamma, beta Muestreo de una distribución normal En el resto del tema supondremos que X 1,..., X n N(µ, σ 2 ). es una m.a.s. de una (a) X y S 2 n son variables aleatorias in- Teorema 4 (Teorema de Fisher) dependientes.

24 14 CAPÍTULO 1. INTRODUCCIÓN (b) X N(µ, σ 2 /n). (c) (n 1)S 2 n/σ 2 χ 2 n 1. Demostración: Suponemos, sin pérdida de generalidad, que µ = 0 y σ = 1, puesto que la familia normal es una familia de posición y escala. (b) Se ha demostrado en el ejemplo 7. (a) Obsérvese que (n 1)S 2 n = n (X i X) 2 = (X 1 X) 2 + (como n (X i X) = 0) ( n 2 (X i X)) + i=2 n (X i X) 2 = i=2 n (X i X) 2 de donde se deduce que S 2 n es función de (X 2 X,..., X n X). Probaremos ahora que (X 2 X,..., X n X) y X son independientes, lo cuál implicará que (a) es cierto. Hacemos el cambio de variable y 1 = x x 1 = nx n i=2 y 2 = x 2 x x i = x n i=2 (x i x) = y 1 n i=2 y i x 2 = y 2 + y 1. =... y n = x n x x n = y n + y 1 El jacobiano del cambio de x a y es 1/n. Luego la densidad de la variable aleatoria transformada es f Y (y 1..., y n ) = f X (y 1 i=2 n y i, y 2 + y 1,..., y n + y 1 )n = i=2 ( ) { } n 1 n exp 1 n 2π 2 (y 1 y i ) 2 1 n (y i + y 1 ) 2 2 i=2 i=2 { n ( 2π) exp 1 } { ( n 2 ny2 1 exp 1 n )} n yi 2 + ( y i ) 2. 2 Por lo tanto Y 1 es independiente de (Y 2,..., Y n ) y de aquí se sigue que X es independiente de S 2 n. i=2 ( ) Falta por justificar el paso marcado con un ( ): (y 1 n y i ) 2 + i=2 n (y i + y 1 ) 2 = i=2 i=2 ( ) =

25 1.4. MUESTREO DE UNA DISTRIBUCIÓN NORMAL 15 y ( n y i ) 2 2y 1 i=2 n i=2 ny ( y i + n yi 2 + (n 1)y y 1 i=2 n y i ) 2 + i=2 n yi 2. i=2 n i=2 y i = (c) La demostración de este apartado se seguirá mejor después del apartado siguiente en el que se tratan las distribuciones de probabilidad asociadas a la normal. Denotaremos por X n y por S 2 n, respectivamente, la media muestral y la varianza muestral calculadas a partir de una muestra de tamaño n. En primer lugar probaremos que se verifica la siguiente fórmula recursiva: En efecto, (n 1)S 2 n = (n 1)S 2 n = (n 2)S 2 n 1 + n 1 n (X n X n 1 ) 2. n n 1 (X i X n ) 2 = (X i X n 1 + X n 1 X n ) 2 + (X n X n ) 2 = (n 2)S 2 n 1 + (n 1)(X n 1 X n ) 2 + (X n X n ) 2 = ( ) (teniendo en cuenta que (n 1)X n 1 = nx n X n = (n 1)(X n 1 X n ) = n(x n X n ) y que (n 1)(X n 1 X n ) = (X n X n ) = ((n 1)/n)(X n 1 X n )) ( ) = (n 2)S 2 n 1 + (n 1) 1 n 2 (X n 1 X n ) 2 + (n 2)S 2 n 1 + n 1 n (X n X n 1 ) 2. (n 1)2 n 2 (X n 1 X n ) 2 = Una vez probada la relación entre S 2 n y S 2 n 1 probaremos por inducción que (n 1)S 2 n/σ 2 χ 2 n 1. Para n = 2, la fórmula recursiva nos da S 2 2 = 1 2 (X 2 X 1 ) 2. Como X 1 y X 2 son N(0, 1) independientes, entonces (X 2 X 1 )/ 2 N(0, 1) y de ahí que S 2 2 = ((X 2 X 1 )/ 2) 2 χ 2 1, con lo que queda probado el resultado para n = 2. Supongamos que el resultado es cierto para n = k, es decir, (k 1)S 2 k/σ 2 χ 2 k 1.

26 16 CAPÍTULO 1. INTRODUCCIÓN Probemos que es también cierto para n = k + 1. Observar que ksk+1 2 = (k 1)Sk 2 + k } {{ } k + 1 (X k+1 X k ) 2. χ 2 k 1 Así, el resultado quedará demostrado si se prueba que (k/(k+1))(x k+1 X k ) 2 es una χ 2 1, puesto que esta variable es independiente de Sk 2, al ser X k independiente de Sk 2 (apartado (a)) y ser X k+1 independiente de las k primeras observaciones. Por esta misma razón, X k+1 N(0, 1) es también independiente de X k N(0, 1/k). Así que X k+1 X k N ( 0, k + 1 ) ( ) 2 k = k k + 1 (X k+1 X k ) χ 2 1 que es precisamente lo que queríamos probar. Existen demostraciones alternativas de este teorema basadas en la función generatriz de momentos o en la función característica Distribuciones asociadas a la normal En esta sección se recuerdan las definiciones de las leyes χ 2, t de Student y F de Fisher-Snedecor. También se enuncian algunas de sus propiedades. Las demostraciones pueden encontrarse en la sección 5.4 de Casella-Berger. La ley χ 2 ν Diremos que X tiene distribución χ 2 con ν grados de libertad y se denota X χ 2 ν si su función de densidad es f ν (x) = es decir, X γ(ν/2, 2). 1 Γ(ν/2)2 ν/2 x(ν/2) 1 e x/2, 0 < x <, Lema 2 (a) Si X N(µ, σ 2 ) entonces (X µ) 2 σ 2 χ 2 1. (b) Si X 1,..., X n son variables aleatorias independientes y X i χ 2 ν i entonces donde ν = n ν i. Y = n X i χ 2 ν,

27 1.4. MUESTREO DE UNA DISTRIBUCIÓN NORMAL 17 (c) Sean X 1,..., X n variables aleatorias independientes e idénticamente distribuidas según una N(0, 1). La variable aleatoria Y = n Xi 2 χ 2 n. (Nota: esta propiedad se usa a veces como definición de la distribución χ 2 ). La ley t p Diremos que X sigue una distribución t de Student con p grados de libertad y lo denotaremos X t p, si su función de densidad es f p (x) = Γ((p + 1)/2) Γ(p/2) Si p = 1 se trata de la distribución de Cauchy. 1 1, < x <. πp (1 + t 2 /p)(p+1)/2 Lema 3 (a) Z N(0, 1), Y χ 2 p, Z e Y independientes, entonces, X = Z Y/p t p. (Nota: esta propiedad se usa a veces como definición de la distribución t de Student.) (a) Sean X 1,..., X n una m.a.s. de una N(µ, σ 2 ). Entonces X µ S/ n t n 1. La distribución t de Student no tiene f.g.m. porque no tiene momentos de todos los órdenes. Si X t p entonces sólo existen los momentos de orden estrictamente inferior a p: existe E(X α ) para α < p. Si X t p, entonces E(X) = 0 si p > 1 y V (X) = p/(p 2) si p > 2. La ley F p,q Diremos que X sigue una distribución F con p y q grados de libertad y lo denotaremos X F p,q, si su función de densidad es f p,q (x) = Γ ( ) p+q 2 Γ ( ) ( p 2 Γ q ) 2 ( ) p/2 p x (p/2) 1 q ) p+q, 0 < x <. (1 + pq x 2 Lema 4 (a) Si U χ 2 p, V χ 2 q y U y V son independientes, entonces X = U/p V/q F p,q. (Nota: esta propiedad se usa a veces como definición de la distribución F.)

28 18 CAPÍTULO 1. INTRODUCCIÓN (b) Sean X 1,..., X n m.a.s. de N(µ X, σ 2 X ), Y 1,..., Y m m.a.s. de N(µ Y, σ 2 Y ), dos muestras independientes. Entonces S 2 X /σ2 X S 2 Y /σ2 Y F n 1,m 1. (c) Si X F p,q, entonces X 1 F q,p. (d) Si X t p,entonces X 2 F 1,p. (e) Si X F p,q, entonces p q X ( p 1 + p q X Beta 2, q 2 ). (f) Si X F n 1,m 1, entonces ( χ 2 ) E(X) = E n 1 /(n 1) χ 2 = E m 1 /(m 1) ( χ 2 ) n 1 E n 1 ( ) ( ) n 1 m 1 = m 1 n 1 m 3 m 3. ( ) m 1 = χ 2 m 1 (g) Si las distribuciones de partida tienen simetría esférica, entonces el cociente de las varianzas muestrales sigue una F (Casella-Berger, p. 227) Leyes de los Grandes Números y Teorema Central del Límite En esta sección se enuncian dos resultados fundamentales en inferencia estadística: la Ley Fuerte de los Grandes Números y el Teorema Central del Límite. Dada una sucesión de variables aleatorias definidas sobre el mismo espacio muestral, se llaman leyes de los grandes números a los resultados sobre convergencia de las sucesiones de sus medias aritméticas a una constante. Se conoce como problema del límite central el estudio de la convergencia débil de la sucesión de medias muestrales centradas y tipificadas a una distribución no degenerada Leyes de los grandes números Se enuncia a continuación una versión de ley débil de los grandes números que establece la convergencia en media cuadrática (y por tanto, en probabilidad) de la media aritmética de una sucesión de variables aleatorias incorreladas.

29 1.5. LEYES DE LOS GRANDES NÚMEROS Y TEOREMA CENTRAL DEL LÍMITE19 Teorema 5 (Ley débil de los grandes números) Sea {X n } n IN una sucesión de variables aleatorias incorreladas con momentos de segundo orden acotados por una constante C, independiente de n. Sea S n = n X i. Entonces ( S n E(S n ) 2) E C n n y, como consecuencia S n E(S n ) lím = 0 n n en el sentido de la convergencia en media cuadrática. La demostración de este resultado puede verse, por ejemplo, en Sanz (1999). Como caso particular del teorema anterior, se puede probar la convergencia en probabilidad de la frecuencia relativa de un suceso a su probabilidad (ver Sanz 1999). Este resultado se conoce como ley débil de Bernoulli. Los resultados que garantizan la convergencia casi segura de la media muestral se conocen como leyes fuertes de los grandes números. Se enuncia a continuación una ley fuerte para variables con segundos momentos finitos e incorreladas. Teorema 6 (Ley fuerte de los grandes números) Bajo las hipótesis del teorema 5 se tiene que S n E(S n ) lím = 0 n n en el sentido de la convergencia casi segura. En Sanz (1999) puede encontrarse la demostración de este resultado. En ese mismo texto se recoge una versión más general de la ley fuerte de los grandes números, conocida como ley fuerte de los grandes números de Kolmogorov: en el caso i.i.d. basta con que haya eseranza finita para que se dé la convergencia casi segura de la media muestral a la esperanza Teorema central del límite En esta sección se presenta el teorema central del límite de Lévy- Lindeberg, válido para sucesiones de variables aleatorias independientes e idénticamente distribuidas con momento de segundo orden finito. Teorema 7 (Teorema central del límite) Sea {X n } n IN una sucesión de variables aleatorias independientes e idénticamente distribuidas con momento de segundo orden finito. Sea µ la esperanza común y σ 2 la varianza común, que supondremos estrictamente positiva. Sea S n = n X i. Se tiene que S n nµ σ n D Z, donde Z N(0, 1) y D indica convergencia en distribución.

30 20 CAPÍTULO 1. INTRODUCCIÓN Este resultado puede demostrarse utilizando funciones generadoras de moementos o funciones características, como se hace en Casella-Berger. En Sanz (1999) se da una demostración (más laboriosa) que no requiere el uso de estas transformaciones. En Casella-Berger puede encontrarse una versión más fuerte del teorema central del límite. El Teorema de De Moivre-Laplace, que establece la convergencia débil de la binomial tipificada a la normal estándar, es una aplicación directa del teorema central del límite de Lévy-Lindeberg. Ejemplos del uso habitual de la aproximación de la binomial por la normal son la estimación del error de aproximar la frecuencia relativa por la probabilidad y el cálculo de tamaños muestrales en encuestas Versiones multivariantes Se enuncian a continuación versiones multivariantes de la ley de los griandes números y del teorema central del límite. Teorema 8 Sea { n} X n IN una sucesión de variables aleatorias p-dimensionales independientes e idénticamente distribuidas. Sea el vector p-diemensional X n media aritmética de las n primeras variables: X = 1 n n Se tiene lo siguiente: n i. X 1. Si existe E( X i) = µ, entonces X n converge a µ casi seguramente. 2. Si, además, X i tiene matriz de varianza y covarianzas finita Σ, entonces n( X n µ) D N p (0, Σ). La demostración de este resultado puede encontrarse, por ejemplo, en Arnold (1990). Como corolario se puede probar la convergencia de la distribución multinomial (centrada y tipificada) a una normal multivariante (ver Arnold 1990).

31 1.6. LISTA DE PROBLEMAS Lista de problemas Variables aleatorias. Muestras 1. (Casella-Berger, 5.2) Sean X 1, X 2... v.a.i.i.d. cada una de ellas con densidad f(x). Supongamos que cada X i mide la cantidad anual de precipitaciones en un determinado emplazamiento. Da la distribución del número de años que transcurren hasta que las lluvias del primer año, X 1, son superadas por primera vez. 2. (Casella-Berger, 5.5) Sean X 1,..., X n v.a.i.i.d. con densidad f X (x). Sea X su media muestral. Prueba que f X (x) = nf X1+ +X n (nx). 3. (Examen parcial 2000; Casella-Berger, 5.9) Sea X 1,..., X n una muestra aleatoria simple de X, a partir de la que se calcula la media y la varianza muestral de la forma usual: X = 1 n n X i, S 2 = 1 n 1 n (X i X) 2. a) Prueba que S 2 = 1 2n(n 1) n j=1 n (X i X j ) 2. Supongamos que E(X 4 ) <. Sean θ 1 = E(X) y θ j = E((X θ 1 ) j ), j = 2, 3, 4. b) Prueba que V (S 2 ) = 1 n ( θ 4 n 3 ) n 1 θ2 2. c) Da la expresión de Cov(X, S 2 ) en términos de θ 1,..., θ 4. Bajo qué condiciones son X y S 2 incorreladas? d) Si la distribución de X es simétrica respecto de θ 1, es posible que la covarianza de esos estadísticos sea no nula? e) Si la distribución de X no es simétrica respecto de θ 1, es posible que la covarianza de esos estadísticos sea nula? 4. (Casella-Berger, 5.16) Llamemos X n y S 2 n a la media y la varianza muestrales calculadas a partir de n observaciones X 1,..., X n. Supongamos que se observa un nuevo valor X n+1. Demuestra las siguientes fórmulas recursivas. a) X n+1 = 1 n + 1 (X n+1 + nx n ).

32 22 CAPÍTULO 1. INTRODUCCIÓN b) ns 2 n+1 = (n 1)S 2 n + n n + 1 (X n+1 X n ) (Casella-Berger, 5.18) Sean X 1 y X 2 las medias muestrales calculadas a partir de dos muestras independientes de tamaño n de una población con varianza σ 2. Halla el menor valor de n que garantiza que ( P X 1 X 2 < σ ) 5 es al menos Para ello, utiliza tanto la desigualdad de Chebychev como el Teorema Central del Límite. Comenta los resultados obtenidos. 6. (Casella-Berger, 5.29) Sean X i N(i, i 2 ), i = 1, 2, 3, tres variables aleatorias independientes. Construye a partir de estas variables aleatorias otras que tengan las siguientes distribuciones. a) χ 2 3. b) t 2. c) F 1,2. 7. (Casella-Berger, 5.36) Sean U i, i = 1, 2,..., variables aleatorias independientes con distribución U(0, 1). Sea X una variable aleatoria con distribución 1 P (X = x) =, x = 1, 2, 3,... (e 1)x! Da la distribución de Z = mín{u 1,..., U X }. Indicación: Observar que Z X = x es el primer estadístico de orden de una muestra de tamaño x de una U(0, 1). 8. (Casella-Berger, 5.37) Sea X 1,..., X n una muestra aleatoria simple de una población con densidad f X (x) = 1 θ I (0,θ)(x). Sean X (1),..., X (n) los estadísticos orden. Prueba que X (1) /X (n) y X (n) son independientes. 9. Demuestra los lemas 2, 3 y 4. Familias exponenciales 10. (Casella-Berger, 3.28, 3.29) Prueba que las siguientes son familias exponenciales y describe el espacio paramétrico natural de cada una de ellas. a) Familia normal con alguno de los parámetros µ o σ conocidos.

33 1.6. LISTA DE PROBLEMAS 23 b) Familia gamma con alguno de los parámetros α o β conocidos. c) Familia beta con alguno de los parámetros α o β conocidos. d) Familia Poisson. e) Binomial negativa con el parámetro r conocido y 0 < p < (Casella-Berger, 3.30) Considera la familia exponencial expresada en términos de su espacio paramétrico natural con densidad Prueba que f(x; η ) = h(x)c( η ) exp{ k η i t i (x)}. E (t i (X)) = log(c( )). η η i η Indicación: Usa el hecho de que para una familia exponencial se tiene que j η j f (x)dx = i η η j f (x)dx. i η 12. Considera la familia de distribuciones normales con media θ y varianza θ 2, donde θ puede tomar cualquier valor real. Prueba que esta familia es una familia exponencial y determina el espacio paramétrico natural. 13. Sean X 1,..., X n v.a.i.i.d. con distribución perteneciente a una familia exponencial expresada en términos del espacio paramétrico natural. Prueba que la distribución conjunta de las n variables también pertenece a la familia exponencial. 14. (Arnold 1990, Ex. A1, pg ) Sean X 1,..., X n v.a. independientes tales que X i Poisson(iθ), θ > 0. Prueba que la familia de distribuciones conjuntas de las n variables es una familia exponencial. 15. (Arnold 1990, Ex. A2, pg ) Sean X 1,..., X n v.a. independientes tales que X i N(iθ, 1), θ R. Prueba que la familia de distribuciones conjuntas de las n variables es una familia exponencial. 16. (Arnold 1990, Ex. A3, pg ) Sean X 1,..., X n v.a. independientes tales que X i Exp(1/(iθ)), E(X i ) = iθ, θ > 0. Prueba que la familia de distribuciones conjuntas de las n variables es una familia exponencial. Familias de localización y escala 17. (Casella-Berger, 3.31) Considera la función de densidad f(x) = 63 4 (x6 x 8 ), 1 < x < 1. Dibuja el gráfico de ( ) 1 x µ σ f σ para los siguientes valores de µ y σ en el mismo sistema de ejes cartesianos. j

34 24 CAPÍTULO 1. INTRODUCCIÓN a) µ = 0, σ = 1. b) µ = 3, σ = 1. c) µ = 3, σ = (Casella-Berger, 3.32) Muestra que si f(x) es una función de densidad simétrica alrededor de 0, entonces la mediana de la densidad ( ) 1 x µ σ f σ es µ. 19. (Casella-Berger, 3.33) Sea Z una variable aleatoria con densidad f(z). Se define z α como un número que satisface que α = P (Z > z α ) = z α f(z)dz. Sea X una variable aleatoria con densidad en la familia de localización y escala de f ( ) 1 x µ σ f σ y sea x α = µ + σz α. Prueba que P (X > x α ) = α. (Nota: Así, los valores de x α se calculan fácilmente para cualquier miembro de la familia de localización y escala si se dispone de una tabla de valores z α.) 20. (Casella-Berger, 3.34) Considera la distribución de Cauchy, con densidad f(x) = 1 π(1 + x 2 ), x IR, y la familia de localización y escala definida a partir de ella: X tiene distribución de Cauchy con parámetros µ y σ si su densidad es f(x; µ, σ) = σ π(σ 2 + (x µ) 2 ), x IR. No existen la esperanza ni la varianza de estas distribuciones, luego µ y σ 2 no son la media y la varianza. No obstante, tienen un importante significado. a) Prueba que µ es la mediana de X. b) Prueba que µ σ y µ + σ son los cuartiles primero y tercero, respectivamente, de X. 21. (Casella-Berger, 3.35) Sea f(x) una función de densidad con media µ y varianza σ 2. Indica cómo crear una familia de localización y escala basada en f(x) tal que la densidad estándar de la familia, f (x), tenga esperanza 0 y varianza 1.

35 Capítulo 2 Principios para reducir los datos Referencias: Casella-Berger, capítulo 6. En algunos puntos se han seguido también Cristóbal (1992) (capítulo 7), Schervish (1995) (capítulo 2) y García-Nogales (1998) (capítulo 3). El uso de cualquier estadístico T ( X ) implica una reducción de los datos muestrales. Sea = (X 1,..., X n ) una muestra aleatoria simple (un vector X aleatorio) y sean = (x 1,..., x n ), ỹ = (y 1,..., y n ) muestras observadas (rea- lizaciones de X ). Si decidimos usar el estadístico T ( X ) en vez de toda la muestra, serán tratadas igual dos muestras observadas cualesquiera, ỹ, siempre que T ( ) = T ( ỹ ). Es decir, al usar el estadístico T, en lugar de toda la muestra, se pierde información. Se plantea así el problema de buscar estadísticos T tales que la información que se pierde al usarlos sea irrelevante para los fines que nos hayamos marcado. Dado el espacio muestral X, la imagen de Ω mediante el vector aleatorio X, reducir los datos en términos de un estadístico T es equivalente a dar una partición de X. En efecto, sea T = {t : t = T (x), para algún x X }, la imagen de X mediante el estadístico T. Entonces {A t = T 1 (t) : t T } es una partición de X inducida por T. Al observar y limitarnos a registrar el valor de T ( ), podremos saber que hemos observado un elemento de A T ( ), pero desconoceremos cuál de ellos. Ejemplo 11 Se lanza una moneda n veces y se anota cada vez X i = 1 si sale cara y X i = 0 si sale cruz. El espacio muestral es X = { = (x 1,..., x n ) : x i {0, 1}}. 25

36 26 CAPÍTULO 2. PRINCIPIOS PARA REDUCIR LOS DATOS Se define T ( ) = n x i. Entonces T = {0, 1, 2,..., n}. El estadístico T ha creado una partición en X de forma que todas aquellas secuencias de resultados con igual número de unos están en la misma clase: A t = { = (x 1,..., x n ) T : n x i = t}. No podemos distinguir entre (1, 0, 0,..., 0) y (0, 1, 0,..., 0), por ejemplo... En este tema estudiaremos dos principios para reducir los datos que garantizan que en el proceso de reducción no se pierde información relevante sobre los aspectos en estudio de la variable aleatoria de interés. Estos principios son el principio de suficiencia y el principio de verosimilitud. A ellos puede añadirse el principio de invariancia, que no trataremos aquí (puede consultarse la sección 6.3 del Casella-Berger como material de lectura). En adelante supondremos que la variable aleatoria X en estudio tiene distribución perteneciente a una familia paramétrica: X {f(x θ), θ Θ IR k }. Se supondrá además que se toma una muestra aleatoria simple de X y que a partir de ella se calculan estadísticos Principio de suficiencia Un estadístico T es suficiente para un parámetro θ si captura toda la información que sobre θ contiene la muestra. Cualquier información adicional (es decir, aparte del valor del estadístico T ) que la muestra pueda aportar, no proporciona información relevante sobre θ. Estas consideraciones se concretan en el siguiente principio: Principio de suficiencia: Si T es un estadístico suficiente para θ, cualquier inferencia sobre θ ha de depender de la muestra = (X 1,..., X n ) sólo a través del valor T ( ). Es decir, X X si e ỹ son tales que T ( ) = T ( ỹ ), entonces la inferencia que se haga sobre θ será la misma tanto si se observa como si se observa ỹ. Formalmente, diremos que un estadístico T es suficiente para θ si la distribución condicionada de X dado el valor T ( X ), no depende de θ. Veamos, en el caso discreto, que la información que sobre un parámetro aporta un estadístico suficiente es toda la información que aportaría la muestra

37 2.1. PRINCIPIO DE SUFICIENCIA 27 completa. En primer lugar, si t es uno de los posibles valores de T ( X ), es decir, si P θ (T ( X ) = t) > 0, entonces P θ ( X = T ( X ) = t) = { Pθ ( X = T ( X ) = T ( )) si T ( ) = t 0 si T ( ) t Así que sólo son de interés las probabilidades condicionadas P θ ( X = T ( X ) = T ( )). Si T es suficiente estas probabilidades no dependen de θ, luego, P θ ( X = T ( X ) = T ( )) = P ( X = T ( X ) = T ( )) para todo θ. En este sentido entendemos que T captura toda la información sobre θ. Supongamos que dos científicos se interesan por la variable aleatoria X cuya distribución depende del parámetro desconocido θ. Supongamos además que el primer científico observa toda una muestra de X, mientras que el segundo sólo puede estudiar el fenómeno a través de una revista que publica el valor del estadístico suficiente T ( ). La cuestión relevante entonces es saber si ambos científicos tienen o no la misma información sobre θ. Veamos que así es. Como P ( = T ( ) = T ( )) no depende de θ, esta distribución condicional puede calcularse a partir del modelo que sigue X. Por lo tanto ambos X X científicos conocen P ( = ỹ T ( ) = T ( )), para todo y A = {y : T ( ỹ ) = T ( )}. X X T ( ) Si el segundo científico quisiera, podría generar un vector aleatorio Ỹ siguiendo esa distribución y se satisfaría que P ( Ỹ = ỹ T ( X ) = T ( )) = P ( X = ỹ T ( X ) = T ( )), para todo y A T ( ) Por lo tanto X e Y tendrían la misma distribución condicionada a que T ( ) = X T ( ). Además, ambas variables tienen la misma distribución incondicional: P θ ( = ) = P θ ( =, T ( ) = T ( )) = X X X (porque { = } {T ( ) = T ( )}) X X P θ ( = T ( ) = T ( ))P θ (T ( ) = T ( )) = X X X P θ ( Ỹ = T ( ) = T ( ))P θ (T ( ) = T ( )) = X X P θ ( Ỹ =, T ( ) = T ( )) = X (teniendo en cuenta que { Ỹ = } {T ( ) = T ( )}) X P θ ( Ỹ = )