M Dolores Redondas Febrero 2010

Transcripción

1 al al M Dolores Redondas dolores.redondas@upm.es E.U. Arquitectura Técnica U.P.M. Febrero 2010

2 2 Problemas básicos de la estadística aplicada al Algunos problemas básicos que suelen presentarse en la investigación cientíca son los siguientes: 1. Ordenación de la información. (Estadística descriptiva.) 2. Búsqueda de un modelo que explique el comportamiento de una variable. ( e.) 3. Análisis de la veracidad de una conjetura. (.) 4. Estudio de la relación causal entre distintas variables. (Análisis de la varianza, diseño de experimentos y regresión.)

3 Técnicas de estadística descriptiva al En función de las características de la variable, las herramientas habituales de la estadisitica descriptiva son: 1. Tablas 2. Índices numéricos: De centralización: Media, mediana, moda, percentiles. De dispersión: Rango, varianza, desviación típica. 3. : Diagramas de barras, histogramas, diagramas de cajas, de dispersión,...

4 4 de Centralización al La media es el valor promedio de los datos. x = x x n n Por ejemplo: tomamos el número de plantas que tienen en casa 10 personas tomadas al azar La media de estos datos es (3, 2, 6, 4, 1, 0, 1, 0, 9, 3) x = = 2,9

5 de centralización La moda es el valor más frecuente. Puede haber ninguno, uno o muchos. En este caso, el valor 0 y el valor 1 aparecen dos veces, son los más frecuentes. La mediana es el valor central de los datos ordenados. Si n es par es el promedio de los dos valores centrales, si n es impar, es el valor central. Por ejemplo en los datos anteriores: (0, 0, 1, 1, 2, 3, 3, 4, 6, 9) = 3,5 al Si fuesen sólo 9 observaciones: (0, 0, 1, 1, 2, 3, 4, 6, 9) 2.

6 de dispersión al El rango R = max {x i } min {x i } La varianza s 2 = 1 n La desviación típica n (x i x) 2 i=1 s = s 2 Tiene la ventaja de que las unidades de medida son las mismas que la de la variable.

7 de dispersión al La cuasi-varianza ŝ 2 = 1 n 1 La cuasi-desviación típica n (x i x) 2 i=1 ŝ = ŝ 2

8 8 Gráficos Histograma. Consiste en dividir los datos en clases contiguas y representamos la frecuencia (absoluta o relativa) con que cada clase aparece. frequency Histogram for Plantas Plantas al

9 9 Gráficos Diagrama de cajas La caja contiene al 50 % central de los datos. En el medio de la caja, se dibuja la mediana y la media. Dibuja los atípicos y da una buena idea de la simetría de los datos. Box-and-Whisker Plot al plantas

10 Ejemplo I El archivo coleop contiene las longitudes de los élitros de una muestra de una especie de insectos, así como el sexo de cada uno de ellos. Se trata de resumir la información contenida en estos datos, en base a: Conocer cuáles son los valores más comunes en la muestra. Establecer el valor medio de los mismos. Determinar su rango de variación. al Analizar la existencia de valores atípicos. Discutir si existen diferencias entre los valores de los élitros de los machos y de las hembras.

11 Ejemplo II En el archivo países se encuentran la supercie y la población de un conjunto de países. Se trata de resumir la información contenida en estos datos, en base a: Conocer cuáles son los valores más comunes en la muestra. Establecer el valor medio de los mismos. Determinar su rango de variación. al Analizar la existencia de valores atípicos. Discutir si existe alguna relación entre las variables del archivo.

12 Ejemplo III al Los datos del archivo salarios informan de los salarios de un conjunto de hombres y mujeres que trabajan en una misma empresa. Existe la percepción social de que, en general, los hombres reciben mayores salarios que las mujeres. Se trata de analizar si los datos del archivo corroboran esta idea.

13 13 Observaciones I al En el análisis de datos es necesario tener presente que algunas elecciones del investigador pueden condicionar los resultados del análisis: Las escalas de los grácos. El número de clases de los histogramas. El estudio de los datos transformados...

14 4 Observaciones II al La desigualdad de Chebychef establece que si un conjunto de datos tiene de media x y desviación típica s, en el intervalo: ( x ks, x + ks), se encuentra, al menos, el (1 1 k 2 ) 100 % de los datos. Esta desigualdad dota a la desviación típica de un conjunto de datos en una referencia de distancia entre los mismos.

15 al Variables aleatorias De una manera poco rigurosa se admitirá que una variable aleatoria es el resultado numérico de un experimento que depende del azar. Ejemplos de variables aleatorias: Tiempo de vida de un ordenador. Dureza de una probeta de hormigón. Número de mensajes diarios recogidos en un ordenador,...

16 6 La probabilidad es una medida de la incertidumbre. Cualquier probabilidad verica las siguientes propiedades: Si S es un suceso cualquiera de un experimento aleatorio: Si E es el suceso seguro 0 P(S) 1 P(E) = 1 Si S 1,..., S n,... es un conjunto numerable de sucesos disjuntos, (S i S j =, para todo i, j), se cumple que: al P ( ) S i = P(S i ). i=1 i=1

17 al Conocer una variable aleatoria signica poder precisar: Los posibles valores de la misma. Las probabilidades con las que la variable toma cualquier valor, o conjunto de valores. El conocimiento de una variable aleatoria se adquiere, en general, identicando su comportamiento con el de un modelo de probabilidad, (objeto matemático ideal construído de forma abstracta).

18 al Los modelos de probabilidad, al igual que las variables aleatorias, de manera general se clasican en: Modelos (variables) discretos: Bernoulli, Binomial, Poisson,... Modelos (variables) continuos: Normal, Exponencial, t de Student, Chi cuadrado,...

19 19 al La descripción de un modelo (o variable aleatoria) se realiza utilizando: En el caso de los modelos (variables) discretos, la función de probabilidad. En el caso de los modelos (variables) continuos, la función de densidad. En ambos casos la función de distribución.

20 al Si X es una variable aleatoria discreta, que toma los valores a 1,..., a k,... su función de probabilidad viene denida por: f (a k ) = P(X = a k ). Dada una variable aleatoria continua, X, su función de densidad, f (x), verica que: P(a X b) = b a f (x) dx. Para cualquier variable aleatoria, X, su función de distribución, F (x), es tal que: F (x) = P(X x), para todo x.

21 al Distribución Bernoulli x Be (p) Una variable aleatoria es Bernoulli queda denida por { 0 aceptable x = 1 defectuoso Donde la probabilidad de defectuoso, P (x = 1), es p y la probabilidad de aceptable, P (x = 0), es q = 1 p.

22 2 al Distribución Binomial x Bi (n, p) Podemos denir la Binomial a partir de la Bernoulli como el número de elementos defectuosos al observar n. ( ) n P (x = r) = p r q n r r

23 3 al Distribución Geométrica x Ge (p) Mide el número de elementos hasta el primer defectuoso P (x = n) = pq n 1 A diferencia de la binomial, el conjunto de posibles valores de la variable geométrica es innito.

24 Distribución de Poisson x Po (λ) Mide la aparición de sucesos sobre un tiempo continuo. x = número de sucesos en un intervalo de longitud ja Por ejemplo: averías de una máquina, llamadas a una centralita, número de defectos de una plancha por unidad de medida... al P (x = r) = λr r! e λ

25 25 al Distribución Exponencial t exp (λ) Mide el tiempo que transcurre entre la ocurrencia de dos sucesos contiguos. f (t) = λe λt Donde λ es la tasa media de sucesos por unidad de tiempo.

26 26 El modelo de probabilidad normal es un modelo de probabilidad continuo, cuya función de densidad viene dada por la expresión: ( 1 x µ f (x) = 1 σ 2π e 2 σ µ representa la esperanza matemática (media) de la variable. ) 2 al σ representa su desviación típica.

27 27 al µ σ

28 28 al a b P (X a b)

29 Ejemplo IV Empleando las utilidades del programa Statgraphics: Compruebe el efecto de la variación de los parámetros de la N(µ, σ) sobre el comportamiento de la variable aleatoria. Calcule las siguientes probabilidades relativas a una población, X, que se distribuye como una N(µ, σ) elegida al azar: al P(µ σ X µ + σ) P(µ 2σ X µ + 2σ) P(µ 3σ X µ + 3σ)

30 30 al Teorema Central del Límite Si x 1,..., x n son variables aleatorias independientes con media µ i, varianza σ 2 y distribución cualquiera (no necesariamente i la misma) entonces la variable suma, y = x x n cuando n crece, sigue una distribución y N ( µi, σ 2 i )

31 al Teorema Central del Límite El teorema central del límite constituye una justicación de la presencia de la normalidad en la naturaleza. Cuando los resultados de un experimento son debidos a un conjunto muy grande de causas independientes, que actúan sumando efectos, siendo cada efecto individual de poca importancia respecto al conjunto, es esperable que los resultados sigan una distribución normal.

32 2 Algunas propiedades interesantes de la distribución normal son las siguientes: Simetría respecto de la media. As = 0. Coeciente de curtosis, K = 3. La única combinación lineal de distribuciones normales es normal. al Si X N(µ, σ): Z = X µ σ N(0, 1)

33 33 Estadística Identicación del comportamiento de una variable El reconocimiento del comportamiento de una variable aleatoria se puede realizar: Por métodos deductivos. (Cálculo de probabilidades). Ejemplos: Si z 1,..., z n son N(0, 1) independientes, la variable: z z 2 n = χ 2 n. Si z es una N(0, 1) independiente de una χ 2 n, resulta que: al z 1 n χ2 n = t n.

34 Estadística al Identicación del comportamiento de una variable Con la información empírica de una muestra {x 1,..., x n } de la variable. Se supondrá en general que la muestra ha sido obtenida por m.a.s.: Todos los individuos de la población tienen la misma probabilidad de pertenecer a la muestra. Los elementos muestrales son independientes. (Supone reemplazamiento de los individuos muestrales en poblaciones nitas.)

35 Estadística al Identicación del comportamiento de una variable Obtenida la muestra {x 1,..., x n } de la variable aleatoria, X, ajustar un modelo que explique su comportamiento supone: 1. Identicar su forma: Normal, exponencial, binomial, Estimar los parámetros de la distribución, que dependen del modelo. (En el caso normal, µ y σ).

36 Estadística Identicación del comportamiento de una variable Para conjeturar la forma del modelo que explica el comportamiento de una variable aleatoria continua, se compara la forma de su histograma con la función de densidad del modelo teórico. Obsérvese que estos dos objetos son comparables. Ejemplo: Empleando las utilidades del programa Statgraphics, discuta si el comportamiento del tamaño de los élitros de los machos y de las hembras contenidos en el archivo Coleop, se puede atribuir a distribuciones normales. al

37 de los parámetros de los parámetros del modelo Una vez identicada la forma genérica de un modelo, que explica el comportamiento de la variable en estudio, es necesario concretar el valor de sus parámetros. Esta concreción (estimación) siempre será aproximada puesto que: 1. Los elementos muestrales son variables aleatorias, con la misma distribución que la variable base. al 2. Conjuntamente, la muestra es una variable aleatoria de dimensión n. 3. Los estadísticos extraídos de una muestra son variables aleatorias.

38 de los parámetros al Método de los momentos Existen diversos métodos para la estimación de los parámetros del modelo, a partir de los datos muestrales. El método de los momentos consiste en igualar los momentos de la muestra con los poblacionales: x = µ, s 2 = σ 2,... Este método no emplea la información relativa a la forma de la distribución.

39 de los parámetros Máxima Verosimilitud El método de máxima verosimilitud otorga a los parámetros los valores que maximizan la función de densidad conjunta: f (x 1,..., x n ; λ), siendo λ el vector de parámetros del modelo. Este método sí emplea la información relativa a la forma de la distribución. al Observación: En el caso de normalidad los métodos de los momentos y de máxima verosimilitud arrojan los mismos resultados.

40 40 de los parámetros al de los parámetros de una normal Si una muestra {x 1,..., x n } permite conjeturar que una variable aleatoria X se distribuye como una N(µ, σ), los métodos de los momentos y de máxima verosimilitud toman como estimadores de µ y σ, respectivamente: µ = x y σ 2 = s 2.

41 1 de los parámetros Observaciones: Tanto x como s 2 son variables aleatorias. x N(µ, σ n). Consecuentemente: E( x) = µ La desviación típica de x disminuye con el tamaño muestral al ns2 σ 2 χ 2 n 1 E(s 2 ) σ 2 lo que justica que, con frecuencia, se utilice ŝ 2 como estimador de σ 2.

42 de confianza al de conanza Una estimación de un parámetro es un valor aproximado del mismo, por lo que es necesario acotar el error, para lo que se construyen los intervalos de conanza. Un intervalo de conanza para un parámetro es un intervalo numérico, en el que se encuentra el valor verdadero del parámetro con un nivel de seguridad (conanza) conocido.

43 3 de confianza Construcción de intervalos de conanza Media de una normal con σ conocida Sea X N(µ, σ), con σ conocida, y x la media muestral de una muestra cualquiera de X de tamaño n. Como resulta que x N ( ) σ µ,, n al x µ σ/ N(0, 1). n

44 de confianza al Construcción de intervalos de conanza Media de una normal con σ conocida Sea z α/2 el valor que en una N(0, 1), Z, verica que: Entonces, P( z α/2 Z z α/2 ) = 1 α. ( P z α/2 x µ ) σ/ n z α/2 = 1 α.

45 45 de confianza Construcción de intervalos de conanza Media de una normal con σ conocida De donde: P ( x zα/2 σ n µ x zα/2 σ ) n = 1 α, y el intervalo ( x zα/2 σ n, x zα/2 σ n ) al es un intervalo de conanza al (1 α) 100 % para µ.

46 46 de confianza al Construcción de intervalos de conanza Media de una normal con σ desconocida Si σ no es conocida no se puede emplear el hecho de que x µ σ/ N(0, 1). n Sin embargo, se puede demostrar que x µ ŝ/ n t n 1.

47 de confianza al Construcción de intervalos de conanza Media de una normal con σ desconocida De donde, si t α/2 es el valor que en una t n 1: P( t α/2 t n 1 t α/2 ) = 1 α, operando como en el caso anterior se tiene que: ( ) x t α/2 ŝ, x + t α/2 ŝ n n es un intervalo de conanza al (1 α) 100 % para µ.

48 de confianza Ejemplo V Empleando las utilidades del programa Statgraphics genere una muestra aleatoria de tamaño 100 procedente de una N(5, 2). Emplee esta muestra para analizar el efecto del cambio del nivel de conanza sobre la longitud del intervalo. Discuta qué relación existe entre la precisión de la estimación y el nivel de conanza. al Suponiendo normalidad, calcule intervalos de conanza para la media y la varianza del tamaño de los élitros de los machos y las hembras contenidos en el archivo coleop.

49 hipótesis al hipótesis Ejemplo VI El control de calidad de una empresa de golosinas establece que para que la producción sea óptima el contenido en azucar de un producto determinado debe ser 4.8 mg con una desviación típica de 2mg. Se toma una muestra de 100 productos. ¾es razonable obtener un contenido medio de 4 mg.? ¾y de 5 mg?

50 0 hipótesis hipótesis Ejemplo VI Si x N (4,8, 2) la media de 100 productos se distribuye ( ) 2 x N 4,8, = N (4,8, 0,2) 100 Entonces ( ) 2 2 4,8 1,96, 4,8 + 1, al Un intervalo de conanza del 95 % es (4,408, 5,192)

51 51 μ = 5 Es aceptable de hipótesis pensar que? al hipótesis Ejemplo VI 4 Y que μ = 3?

52 52 hipótesis hipótesis Ejemplo VI al NO Aceptable 4 Aceptable

53 hipótesis hipótesis En general, la realización de un contraste requiere determinar con precisión: Lo que se quiere contrastar, hipótesis nula, representada por H 0. Aquello que se aceptaría si se rechaza la hipótesis nula, hipótesis alternativa, representada por H 1. al Un estadístico de distribución conocida, que relacione el parámetro con los datos muestrales. Alguna medida de precisión del contraste.

54 hipótesis hipótesis Todo contraste se resuelve creando, a través de un estadístico apropiado, estadístico pivote, una zona de aceptación y otra de rechazo. Todo contraste lleva asociada una decisión, que puede ser errónea. Error de tipo I : Rechazar H 0 cuando es cierta. Error de tipo II : Aceptar H 0 cuando es falsa. al Cuando minimizamos uno de los errores, el otro aumenta. La metodología habitual construye contrastes en los que se persigue jar una pequeña problabilidad de cometer error de tipo I.

55 5 hipótesis hipótesis Además los contrastes pueden ser Bilaterales H 0 : µ = µ 0 (la región de rechazo será para valores de µ demasiado grandes o demasiado pequeños) Unilaterales H 0 : µ < µ 0 (la región de rechazo será sólo para valores demasiado grandes de µ) o H 0 : µ > µ 0 al (la región de rechazo será sólo para valores demasiado pequeños de µ)

56 6 hipótesis al El contraste de la t para la media de una normal Sea X una variable aleatoria N(µ, σ), con σ desconocida. Supóngase que se desea realizar el contraste: H 0 : µ = µ 0, frente a H 1 : µ µ 0, Elegida una muestra {x 1,..., x n } se sabe que: x µ ŝ/ n t n 1

57 57 hipótesis El contraste de la t De donde, si H 0 es cierta: para la media de una normal x µ 0 ŝ/ n t n 1. Por lo tanto, si t α/2 es el valor que en una t n 1: Es decir: P P( t α/2 t n 1 t α/2 ) = 1 α. ( t α/2 x µ ) 0 ŝ/ n t α/2 = 1 α al

58 hipótesis al El contraste de la t para la media de una normal Una vez realizado el cálculo del estadístico Cuando ocurra que t = x µ 0 ŝ/ n, t α/2 t t α/2, no hay evidencia de la falsedad de H 0, por lo que no se rechaza dicha hipótesis al (1 α) 100 % de conanza.

59 hipótesis al El contraste de la t Si por el contrario para la media de una normal t / ( t α/2, t α/2 ) habrá evidencia de que la hipótesis nula es falsa y se rechazará al (1 α) 100 % de conanza. Al intervalo ( t α/2, t α/2 ) se le denomina región de aceptación del contraste, mientras que R ( t α/2, t α/2 ) es la región de rechazo.

60 hipótesis al El p-valor Todo contraste lleva asociado un p-valor, que es una medida de la abilidad de la decisión tomada. Si el estadístico pivote, d, es una medida de discrepancia entre la hipótesis nula y la muestra observada, se dene el p-valor del contraste como P(d > ˆd H 0 ), siendo ˆd el valor del estadístico pivote en la muestra.

61 1 hipótesis al El p-valor Valores altos de p sugieren conanza en la decisión de aceptación de la hipótesis. Valores bajos de p sugieren conanza en la decisión de rechazo de la hipótetsis. Cuando se realiza un contraste al (1 α) 100 %: p < α implica rechazar la hipótesis nula. p > α supone aceptar la hipótesis nula.

62 hipótesis Ejemplo VI Con la muestra generada en el ejemplo V, Analice el efecto del cambio del nivel de conanza en la realización del contraste: H 0 : µ = 5, frente a H 1 : µ 5. Modique la hipótesis nula y discuta qué relación existe entre la discrepancia entre la hipótesis nula con la muestra, y el p-valor obtenido en los distintos contrastes. al Suponiendo normalidad, realice contrastes de hipótesis para la media y la varianza del tamaño de los élitros de los machos y las hembras contenidos en el archivo coleop.

63 al En ocasiones la hipótesis que se desea contrastar se reere a si una muestra conrma el comportamiento de una variable, según un modelo de probabilidad determinado: Normal, Poisson, exponencial,... De estos contrastes (de ), el más común es el test de la Chi cuadrado, que analiza la concordancia entre el histograma de los datos y la función de densidad (o de probabilidad) del modelo.

64 64 El test de la Chi cuadrado El test de la chi cuadrado contrasta la hipótesis de que la variable sigue un modelo de probabilidad concreto. El estadístico empleado es una medida de la discrepancia entre los datos, el histograma, y el modelo, su función de densidad al

65 65 El test de la Chi cuadrado Cuando la hipótesis nula es cierta, la variable sigue el modelo previsto, el estadístico: donde: d = k (O i E i ) 2 i=1 E i χ 2 k r 1, k es el número de clases en que se divide a los datos. O i es la frecuencia observada en cada clase. al E i es la frecuencia esperada en cada clase. r es el número de parámetros estimados con la muestra. El análisis del valor de d permite discutir el contraste.

66 al Otros contrastes Contraste Kolmogorov-Smirnov D n = F n (x) F (x) Sólo es válido en distribuciones contínuas, pero funciona bien con pequeñas muestras. Contraste de Saro-Wilks Dibuja los datos en papel probabilístico normal. La bondad de la da lo que se aproximan a la recta. Sólo vale para contrastar normalidad, pero funciona bien con muestras muy pequeñas.

67 al Ejemplo VII Con la muestra generada en el ejemplo V, Analice la normalidad de la población a la que representa la muestra. Estudie la normalidad del tamaño de los élitros de los machos y las hembras contenidos en el archivo coleop. Discuta si la realización de transformaciones mejora los resultados obtenidos.