COMENZAMOS EL ANÁLISIS DE DATOS. a un conjunto de números similares, obtenidos de alguna manera, no hablamos de muestra aleatoria.

Transcripción

1 ANÁLISIS DE DATOS 2008 Dra. Diana M. KELMANSKY 13 COMENZAMOS EL ANÁLISIS DE DATOS Llamamos lote a un conunto de números similares, obtenidos de alguna manera, no ablamos de muestra aleatoria. Eemplos simples son los pesos de 21 estudiantes de un curso, el total de lluvia caída, en un lugar elegido, en cada año de los últimos 10 años, el total de ventas de este año de corredores de seguros de vida entre los 14 que más vendieron el año pasado, la cantidad de cortes de luz durante la última década en 11 circunscripciones de la Capital Federal, la cantidad de garrapatas alladas en cada una de 49 ratas. Mucas veces interesa tener una descripción global de cada uno de estos lotes. Este tipo de estructuras simples pueden tener características no fácilmente discernibles mirando los números.

2 ANÁLISIS DE DATOS 2008 Dra. Diana M. KELMANSKY 14 LECTURA DE DATOS Eemplo 1. Consideremos los datos, que muestra la tabla 1. Se trata 59 puntos de fusión en 0 C obtenidos para distintas ceras naturales. Tabla 1. Puntos de fusión de distintas ceras naturales Fueron obtenidos del estudio, realizado por Wite, Rietof y Kusnir (1960), con el obetivo de investigar métodos químicos para detectar la presencia de ceras sintéticas adicionadas a las ceras naturales de abea. El agregado de cera microcristalina eleva el punto de fusión de la cera de abea. Si todos los tipos de cera de abea tuviesen el mismo punto de fusión, su determinación sería un procedimiento razonable para detectar diluciones. Sin embargo, el punto de fusión y otras propiedades químicas de la cera de abea varían de una colmena a otra.

3 ANÁLISIS DE DATOS 2008 Dra. Diana M. KELMANSKY 15 Los autores obtuvieron muestras de cera pura de abeas de 59 fuentes, midieron varias propiedades químicas y examinaron la variabilidad de las mediciones. Mostraron que el agregado de 5% de cera microcristalina aumentaba el punto de fusión de la cera de abea en.85 0 C y que el agregado de 10% aumentaba el punto de fusión en C. Desde la ventana de comandos o la ventana de escritura (script) Los datos de la tabla, están en un arcivo texto cera.txt que tiene los valores en columna y en la primera fila el nombre CERA. A partir de ellos se generó Cera que es un obeto de R (un data frame) mediante la siguiente instrucción: > Cera <- read.table("e:\\diana\\cursos\\análisis de Datos\\Datan 2008\\Datos\\cera.txt",eaderT) > Cera CERA

4 ANÁLISIS DE DATOS 2008 Dra. Diana M. KELMANSKY Cuidado con los nombres!: el data frame Cera contiene una columna con nombre CERA Veamos otra forma de leer el arcivo cera.txt, esto es más conveniente cuando la dirección donde está el arcivo es larga como ocurrió en este eemplo. En R cambiando el directorio de trabao, al directorio donde se encuentra el arcivo con los datos > cera <- read.table ("cera.txt") En esta asignación emos creado el marco de datos (data frame) con nombre cera que contiene los mismos datos y estructura que Cera Si los datos están en una subcarpeta es meor utilizar la función file.coose () para seleccionar el arcivo

5 ANÁLISIS DE DATOS 2008 Dra. Diana M. KELMANSKY 17 La función file.coose () abre una ventana que permite seleccionar el arcivo sin previamente cambiar el directorio de trabao cera2 <- read.table(file.coose(),eadert) ó pat <- file.coose() cera2 <- read.table( pat, eadert) En S-plus siguiendo menues: File -> Import Data -> From File -> Browse -> Seleccionar - OK -> File Format (ASCII..txt) ;. create new data set

6 ANÁLISIS DE DATOS 2008 Dra. Diana M. KELMANSKY 18 Histogramas El istograma es un método largamente utilizado para presentar los datos. Muestra la forma de la distribución de los datos de la misma manera que la función de densidad muestra las probabilidades. El rango de los valores de los datos es dividido en intervalos-bins y se grafica la cantidad o proporción de observaciones que caen dentro de cada intervalo. La figura 1 muestra tres istogramas de los puntos de fusión de ceras puras correspondientes a los datos de la tabla 1 que fueron obtenidos mediante las siguientes instrucciones: par(mfrowc(3,1)) ist(cera$cera,nclass25) ist(cera$cera) ist(cera$cera,nclass4) El parámetro nclass da una cantidad sugerida de clases para la función ist. Obtenemos intervalos con longitud creciente. Si el anco de los intervalos es muy pequeño el istograma resultante es

7 ANÁLISIS DE DATOS 2008 Dra. Diana M. KELMANSKY 19 muy irregular; si es muy grande la forma está sobresuavizada y oscurecida. Histogram of Cera$CERA Frequency Cera$CERA Histogram of Cera$CERA Frequency Cera$CERA Histogram of Cera$CERA Frequency Cera$CERA Figura 1. tres istogramas de los puntos de fusión de ceras naturales

8 ANÁLISIS DE DATOS 2008 Dra. Diana M. KELMANSKY 20 Del primero de los istogramas, podemos ver que el agregado de 5% de cera microcristalina ( aumenta el punto de fusión en.85 0 C ) puede ser muy difícil de detectar especialmente si fue realizado en ceras con bao punto de fusión, pero el agregado de 10% ( aumenta el punto de fusión en C ) sería detectable. Los istogramas son istogramas de frecuencias absolutas y tienen distintas escalas en los ees. Si los intervalos no tienen la misma longitud el istograma resultante puede ser engañoso. Por lo tanto se recomienda graficar la proporción de observaciones dividida la longitud del intervalo; En este caso, el área total bao el istograma es 1 y la altura indica la densidad relativa de los datos sobre el ee orizontal. Fiamos las escalas, construimos un istograma de áreas y cambiamos las etiquetas del ee x: ist(cera$cera,nclass25,probabilityt, main"histograma de Áreas, nclass25", xlab "Cera",xlimc(62.5,64.5),ylimc(0,2)) ist(cera$cera,probabilityt, main"histograma de Áreas,Cantidad de Clases por defecto", xlab "Cera",xlimc(62.5,64.5),ylimc(0,2))

9 ANÁLISIS DE DATOS 2008 Dra. Diana M. KELMANSKY 21 ist(cera$cera,nclass4,probabilityt, main"histograma de Áreas, nclass4", xlab "Cera",xlimc(62.5,64.5),ylimc(0,2)) Histograma de Áreas, nclass25 Density Cera Histograma de Áreas,Cantidad de Clases por defecto Density Cera Histograma de Áreas, nclass4 Density Cera

10 ANÁLISIS DE DATOS 2008 Dra. Diana M. KELMANSKY 22 La elección del anco de los intervalos, o la determinación de la cantidad de los mismos, es generalmente realizada en forma subetiva en un intento de obtener un balance entre un istograma muy irregular y uno muy suavizado. Reglas para la cantidad de intervalos La tabla siguiente muestra el número de intervalos sugeridos por tres reglas para valores elegidos de la cantidad n de datos entre 10 y 300. Las reglas proponen: tome la parte entera de i) 10 log 10 n, Dixon y Kronmal(1965) ii) 2 n 1/2, Velleman (1976) iii) 1 + log 2 n, Sturges (1926). Tabla 1 Regla (Parte entera de) n Dixon y Kronmal Velleman Sturges 10 log 10 n 2 n 1/2 1 + log 2 n

11 ANÁLISIS DE DATOS 2008 Dra. Diana M. KELMANSKY La primera, L [10 log 10 n ], da una cota superior (si n<100) para la cantidad de intervalos que es generalmente bastante efectiva en la práctica (en lo que sigue [ ] indica parte entera). Sin embargo, puede interesar tener una menor cantidad de intervalos cuando n es pequeño (digamos 50 o menos). Para ese caso Velleman sugirió utilizar L [2 n 1/2 ]. eex<- seq(10,512) velle <- 2*sqrt(eex) sturges <- 1+logb(eex,2) dixkron <- 10*log10(eex) par(csi0.24) plot(eex,velle,lty1, type"l", xlab"tamaño de la Muestra", ylab"cantidad de Intervalos") lines(eex,sturges,lty1, type"l") lines(eex,dixkron,lty1, type"l") leg1<- c("velleman","dixon y Kronmal", "Sturges") text(locator(1),leg1[1]) text(locator(1),leg1[2]) text(locator(1),leg1[3])

12 ANÁLISIS DE DATOS 2008 Dra. Diana M. KELMANSKY 24 Cantidad de Intervalos Velleman Dixon y Kronmal Sturges Tamaño de la Muestra Reglas para la longitud del intervalo Por la regla de Sturges la longitud resulta rango(datos) / ( 1 + log 2 n) y esto es frecuentemente muy grande. Los valores atípicos, outliers, pueden agrandar dramáticamente el rango y así aumentar el tamaño de los intervalos.

13 ANÁLISIS DE DATOS 2008 Dra. Diana M. KELMANSKY 25 Dos propuestas implementadas en S-plus i) n 349. sn 13 / Scott (1979), ii) n 2 Rn 13 / Freedman & Diaconis (1981), R es el rango intercuartil. ii) da intervalos un poco más pequeños que i) En el caso de datos gaussianos estándar, (s 1 y R 1.349), para todos los tamaños muestrales tenemos que la relación entre los ancos de los intervalos es 3.49 / Las opciones de cantidad de clases de la función ist incluyen las reglas de Scott y Friedman en R ist(cera$cera,nclassnclass.fd) Las opciones son nclass.sturges nclass.scott nclass.fd(x) en S-plus ist(x, nclass<<see below>>,...) nclass recommendation for te number of classes (i.e., bars) te istogram sould ave. Tis may be an integer, a function to apply to x wic returns an integer, or a caracter string specifying wic built-in metod to use. Available metods for calculating te number of classes are Sturges ( sturges), Freedman-Diaconis ( fd), and Scott ( scott).

14 ANÁLISIS DE DATOS 2008 Dra. Diana M. KELMANSKY 26 Las figuras siguientes muestran el comportamiento que tienen las distintas reglas para la longitud de los intervalos cuando agregamos un valor atípico al conunto de datos cera. Histograma con nclassnclass.fd Densidad ceraloca Histograma con nclassnclass.scott Densidad ceraloca Histograma con nclassnclass.sturges Densidad ceraloca Vemos que tanto la regla de Sturges (valor por defecto) como la de Scott producen, con el agregado de un valor atípico, intervalos de clase con longitud demasiado grande que oculta la estructura de los datos.

15 ANÁLISIS DE DATOS 2008 Dra. Diana M. KELMANSKY 27 Las siguientes instrucciones permiten obtener los istogramas anteriores: ceraloca <- c(cera$cera,80) par(mfrowc(3,1)) ist(ceraloca,nclassnclass.fd,xlimc(60,80),ylimc(0,1.4), main"histograma con nclassnclass.fd", probabilityt, ylab"densidad") ist(ceraloca,nclassnclass.scott,xlimc(60,80),ylimc(0,1.4), main"histograma con nclassnclass.scott",probabilityt, ylab"densidad") ist(ceraloca,nclassnclass.sturges,xlimc(60,80),ylimc(0,1.4), main"histograma con nclassnclass.sturges",probabilityt, ylab"densidad") El aspecto más interesante de las dos reglas para el anco del intervalo, n, quizás sea que ambas dependen fundamentalmente de n -1/3. Si transformáramos ese anco de intervalo en un número de clases sugeridas tendríamos un comportamiento de n 1/3, una forma funcional entre log(n) y n 1/2. La función istograma estándar ist(x,..) por defecto toma la fórmula de Sturges (1926),1 + log 2 n.

16 ANÁLISIS DE DATOS 2008 Dra. Diana M. KELMANSKY 28 Histogramas de Áreas - Curvas de densidad. En un istograma de áreas, la altura de cada rectángulo de clase es la proporción de puntos que fueron observados en el intervalo de clase dividida por la longitud del intervalo, esto es la densidad de puntos por unidad y el área total es 1. Si los valores que obtenemos provienen de una variable continua, y aumentamos el tamaño de la muestra, (siempre que los datos estén elegidos en forma adecuada si (muestra aleatoria)), podremos reducir la longitud de los intervalos de clase. De esta manera, a medida que aumenta la cantidad de datos las alturas de los intervalos va formando una curva cada vez más suave. La curva límite es llamada curva de densidad de la variable correspondiente.

17 ANÁLISIS DE DATOS 2008 Dra. Diana M. KELMANSKY 29 Estimación de una curva de densidad. Los istogramas se utilizan frecuentemente para describir datos para los cuales no se a realizado ningún tipo de supuesto. Si los datos se modelan como una muestra aleatoria proveniente de alguna distribución continua. el istograma de áreas puede ser considerado como un estimador de la función de densidad de probabilidad. Sesgo y Varianza del Histograma como estimador de una densidad. En lo que sigue supondremos que X1,..., Xn son v.a.i.i.d con función de densidad de probabilidad desconocida f. La construcción de un istograma se caracteriza por los siguientes pasos: Dividir la recta real en intervalos o bins B [x0 + (-1), x0 +), con Z donde x0 es el origen del istograma y > 0 es la longitud de los intervalos, también llamada anco de banda (bandwidt). Contar cuantos datos caen en cada intervalo Más formalmente podemos escribir fˆ ( x) Histograma n 1 ( n) I( Xi i 1 B ) I( x B )

18 ANÁLISIS DE DATOS 2008 Dra. Diana M. KELMANSKY 30 Observación: se an modificado las frecuencias de manera que el área de los rectángulos del istograma sea 1. Sesgo Sin pérdida de generalidad supondremos x0 0, y que x B. O sea a partir de aora (x) y por lo tanto fˆ ( x) ( n) 1 n i 1 I( X i B ) Como los Xi están idénticamente distribuidos E( fˆ ( n) 1 ( x)) 1 ne ( 1) ( n) 1 n i 1 [ I( X B )] f ( u) du E [ I ( X B )] En general el último término no coincidirá con f (x) salvo que f (x) cte en B. i El sesgo del istograma en x, está definido por: E( fˆ ( x)) f ( x)

19 ANÁLISIS DE DATOS 2008 Dra. Diana M. KELMANSKY 31 Luego Sesgo( fˆ ( x)) 1 f ( u) du f ( x) B Veamos con más detalle cómo depende el sesgo de y de la densidad. Consideremos en particular el caso de f lineal en el intervalo B que estamos considerando: f ( x) a + cx x B a, c R Es fácil ver que en este caso Sesgo( fˆ ( x)) 1 ( f ( u) f ( x)) du B c(( 1/ 2) x) Podemos escribir c '(( 1/ 2) ) f, es decir, como la derivada de la densidad en el punto medio B (-1/2) del intervalo. Por lo tanto

20 ANÁLISIS DE DATOS 2008 Dra. Diana M. KELMANSKY 32 Sesgo( fˆ ( x)) O( ) O(1) (( 1/ 2) x) f '(( 1/ 2) ) O( ) En general f no es lineal pero un desarrollo de Taylor de primer orden de f reduce el problema al caso lineal. El sesgo del istograma está dado por Sesgo( + o( ) fˆ Sesgo del Histograma ( x)) (( 0 1/ 2) x) f '(( 1/ 2) ) Del primer sumando resulta que el sesgo del istograma decrece en el orden de O() a medida que la longitud de los intervalos,, decrece. El o() viene del desarrollo de Taylor. Varianza Estudiaremos a continuación la estabilidad de la estimación, medida por la varianza. Como las Xi son iid la función indicadora, I( X i B ) es una variable Bernouilli con varianza p (1-p ) donde p P( X B ) f ( u) du i B

21 ANÁLISIS DE DATOS 2008 Dra. Diana M. KELMANSKY 33 Por lo tanto Var( fˆ ( n) 1 n ( n) ( n) ( x)) 2 i n ( ( Var(( n) Var( I( X B 1 f ( u) du)(1 B ( f ( x) + o(1)), i 1 B n i 1 B I( X f ( u) du)(1 O( )) B )) f ( u) du) 0, n i )) Varianza del istograma Var fˆ 1 1 ( ( x)) ( n) f ( x) + o(( n) ), n Observamos que la varianza es proporcional a f(x) y decrece cuando n aumenta. Para un tamaño n fio reducir la varianza implica aumentar la longitud del intervalo. Esto contradice el obetivo de reducir el sesgo mediante la reducción de la longitud del intervalo, en lo que se suele llamar variancebias trade-off. Error Cuadrático Medio

22 ANÁLISIS DE DATOS 2008 Dra. Diana M. KELMANSKY 34 El error cuadrático medio es una medida abitualmente utilizada en estadística para evaluar la precisión de un estimador. ECM + + E E [ 2] ( fˆ ˆ ( x) E ( f( x) f ( x)) [ ˆ ˆ ˆ 2] ( f( x) E(( f( x)) + E(( f( x)) f ( x)) [ ˆ ˆ 2] ( f ( x) E(( f ( x))) [ ][ ] 2E ( fˆ ˆ ˆ ( x) E(( f( x)) E(( f( x)) f ( x) [ ˆ ] 2 E(( f( x)) f ( x) [ ˆ ] [ ˆ ] Var f ( x) + Sesgo( f ( x)) 2 Es la suma de la varianza y el sesgo al cuadrado. De las expresiones anteriores de sesgo y varianza resulta ECM ( fˆ Error Cuadrático Medio del Histograma ( x) 1 f ( x) + (( n 1 + o( ) + o( ) n Var [ ] [ ] fˆ ( x) + Sesgo( fˆ ( x)) 1/ 2) x) [ f '(( 1/ 2) ) ] Minimizar el ECM con respecto a establece un compromiso en el dilema que presenta el variance-bias trade-off, es decir 2

23 ANÁLISIS DE DATOS 2008 Dra. Diana M. KELMANSKY 35 un compromiso en un sobresuavizado (si es demasiado grande) o un sub suavizado (si es demasiado cica). Si 0, n el ECM ( fˆ ( x) 0, por lo tanto el istograma es un estimador consistente de f(x). Necesitamos que decrezca para reducir el sesgo pero tiene que aber suficientes observaciones en cada intervalo para mantener baa la varianza. En la práctica es difícil allar un óptimo a partir de la expresión del ECM ya que interviene la densidad desconocida, tanto en la componente de la varianza como en la del sesgo. En vez de evaluar el error cuadrático en un valor fio x podríamos estar interesados en una medida de la calidad d el istograma en su totalidad. Es por eso que se define el Error Cuadrático Medio Integrado: ECMI ECM ( fˆ ( x)) dx ECMI ( n) + /12 ( f '( x)) dx + o( ) + o(( n) ) Minimizando los dos primeros sumandos del ECMI para el istograma con respecto a, obtenemos la longitud óptima para el intervalo

24 ANÁLISIS DE DATOS 2008 Dra. Diana M. KELMANSKY 36 0 n ( f 6 '( x)) 2 dx 1/ 3 Observemos que esta solución no es de utilidad práctica ya que depende de la suavidad de la función de densidad y que 0 n 1/ 3 es coerente con las reglas de Scott y Friedman. Más detalles en W. HÄRDLE (1990) Smooting Tecniques wit Implementation in S. Berlin : Springer-Verlag, (Springer Series in Statistics).