Capítulo 2: ANALISIS EXPLORATORIO de DATOS Estadística Computacional 1º Semestre 2003

Transcripción

1 Unversdad Técnca Federco Santa María Departamento de Informátca ILI-80 Capítulo : ANALISIS EXPLORATORIO de DATOS Estadístca Computaconal º Semestre 003 Profesor :Héctor Allende Págna : e-mal : hallende@nf.utfsm.cl

2 Clasfcacón/ Tpos de Datos Cualtatvo (Categorías) Nomnal Vña = ; Santago = ; Temuco = 3 44 Ordnal Pobre = ; Aceptable = ; Bueno = 3; Excelente = 4 Cuanttatvo (Números) Intervalar temperatura, vscosdad, dstanca, duracón Razón peso/altura NOTA: NOTA: El El tpo tpo de de Estadístcas Estadístcas que que se se pueden pueden obtener obtener o o calcular calcular depende depende del del tpo tpo de de dato dato que que se se trate. trate. Por Por ejemplo ejemplo promedo, promedo, medana medana y y varanca varanca no no tenen tenen sentdo sentdo con con datos datos categórcos categórcos (s (s con con proporcones) proporcones)

3 Escalas de Medda Clasfcacón : Nomnal, Ordnal, Intervalos y Razón Varables : Dscretas y Contnuas Categórcas, Cuanttatvas Organzacón : Frecuenca absoluta Frecuenca relatva A partr de nvel ordnal : Frecuenca absoluta acumulada Frecuenca relatva acumulada 3

4 Varables Categórcas: (Escala Nomnal) Moda ( Medda del centro ) Tasa de Varacón ( Medda de Dspersón ) Varables Cualtatvas: (Escala Ordnal) Moda, Medana Tasa de Varacón, Índce de Dspersón Varables Cuanttatvas: (Escala Intervalar) Moda, Medana, Meda, Meda Truncada Tasa de Varacón, Índce de Dspersón, Varanza Rango, Rango Intercuartílco (IQR), MEDA Meddas de homogenedad Señal de Rudo η = - log C V = S X S X 4

5 Escala Nomnal Usa números como una manera de separar los elementos de la poblacón en dferentes clases o categorías. El número asgnado a la observacón sólo srve como un nombre para dstngur la categoría a la cual pertenece la observacón. La varable nduce una partcón sobre la poblacón la nformacón puede clasfcarse en clases o categorías. Cada clase debe estar perfectamente defnda y dferencada de las demás. La recoplacón se reduce a contar el número de ndvduos en la muestra que pertenece a cada clases: Ejemplos alumnos por cursos: prmero (), segundo (),..., sexto (6) año; sexo: masculno (M), femenno (F); Colego: Mackay (); Santago College (), St George (3), etc. 5

6 Escala Ordnal Dónde exste un orden mplícto entre las medcones. El valor numérco es usado sólo como una manera de areglar los elementos de acuerdo al orden establecdo. La varable admte grados de caldad:exste una relacón de orden total entre las clases. No es posble cuantfcar la dferenca entre los ndvduos pertenecentes a las dstntas clases. Ejemplo calfcacones de A (muy bueno), B (bueno), C (satsfactoro), D (admsble), E (defcente) 6

7 Escala Intervalar Consdera no sólo la nformacón pertnente al orden, sno además, el tamaño relatvo de los ntervalos a que pertenece cada uno de los ndvduos. En este nvel es posble cuantdcar la dferenca de todos los ndvduos pertenecentes a los ntervalos, clases o categorías dstntas. Está nvolucrado en concepto de dstanca, y la dstanca entre dos medas puede ser expresada en funcón de esta undad. Ejemplos: temperatura al nteror de un slo, nteres sólo clasfcar en ntervalos de cnco grados {(0, 5 ), (5, 0 ),...,(30, 35 )}. Puntaje promedo PAA, nteresa clasfcar en tramos de 5 puntos. 7

8 Escala Intervalar Tablgramas. Tablas de Frecuenca. Hstogramas: valores dscretos y contnuos. Usar 5 a 0 clases (ntervalos o grupos). (consderar anchos de clases, límtes y marca de clase). (polígono de frecuencas dbujar en marca de clase). Frecuenca Acumulada - Ojva. (grafcar en límte superor). 8

9 Escala de Razón Su usa cuando no sólo el orden y tamaño del ntervalo son mportantes;. La únca razón entre la escala de razón y la ntervalar es que en la prmera se puede defnr un cero absoluto y en la segunda no 9

10 Organzacón/Presentacón Frecuenca Relatva. Se llama frecuenca relatva de la clase c a la proporcón de ndvduos que pertenecen a la clase sobre el total de ndvduos o tamaño de la muestra. Se de nota por f. Se puede verfcar que n f = --- nótese que... Σ n = n k = k = 0

11 Organzacón/Presentacón Para estudar las característcas de una varable se ordenan los valores observados de la muestra en k clases denomnadas c, c,.. c k. Frecuenca Absoluta. Se llama frecuenca absoluta de la clase c al número total de ndvduos u observacones que pertenecena dcha clase y se k denota por n. Como las clases c, c,... c k una partcón de la muestra, es = fácl verfcar que k n = Σ n = número total de observacones o tamaño de la muestra

12 Representacón de Datos Cualtatvos Reglas: Cada observacón debe estar en una, y en una sola, categoría. Todas las observacones deben ser consderadas. Tablas Proveen el mayor detalle. Gráfcos de Barras Utlzar Pareto. Gráfcos Crculares o de Torta.

13 Tablas Clase Descrpcón # Observ

14 Escala Nomnal Dagramas de Pareto 80 Frecuenca Profesor:H. Clase Allende 4

15 Escala Nomnal 4 0% 5 4% 6 3% Dagramas Crculares 40% 3 0% 3% 5

16 Escala Ordnal 9 8 Dagramas en Bloques Pobre Regular Aceptable Bueno Muy Bueno 6

17 Escalas de Medda Presentacón :-Tablas de frecuencas -Gráfcos: Dagramas de Bloques, -Crculares, Barras -Dagrama acumulatvo Ejemplo: 40 Datos TABLIGRAMA 7

18 Tabla de Frecuenca N Clases log n 7 Rango = máx { x } - mín { x } = 6-07 = 55 Ampltud = ( R + ) / K = ( 55 + ) / 7 = 8 Límtes Marca Frecuencas ABS - REL - REL. AC Construr: Hstograma Dagrama acumulatvo 8

19 Hstograma

20 Polígono de Frecuencas

21 Frecuenca Acumulada - Ojva

22 Datos no agrupados X, X,..., X n+ M o = Moda = dato con mayor frecuenca M e = Medana = X (n+) X = Meda = n n + X + = Xα = Meda truncada = (n + n+ α α ) = α + X ( )

23 Datos no agrupados V = Tasa de Varacón = - f M D = Índce de Dspersón = (rangq 3 -rangq )/(K-) S = Varanza = n + IQR = / (Q 3 -Q ) MEDA = Medana X -Me (X X ) 3

24 Datos no agrupados Meddas de Smetría: I.S. = γ = Q m S Q3 Q 3 Q Q Meddas de Forma: M r = ( n + X X ) r γ = m4 3 4 S 4

25 Datos Agrupados k Clases X k = f * X = S = k = f ( X X ) MD = = f X X 5

26 Datos Agrupados Me = L + a e n ( N e n e ) L N e- n e a e n : Límte nferor Clase medana (C Med) : Frecuenca Acumulada hasta ante C Med : Frecuenca Absoluta C Med : Ampltud C Med : Tamaño de la muestra 6

27 Datos Agrupados Mo = L + am g g + g L : Límte nferor Clase modal a M : Ampltud Clase Modal g : n M -n g : n M -n n M : Frecuenca absoluta Clase Modal n : Frecuenca absoluta Clase anteror a Clase Modal : Frecuenca absoluta Clase posteror a Clase Modal n Q = L + a Q n 4 n Q N Q 7

28 Transformacones Sea y = h ( x ) con =,...,n. Lneales y = ax + b y = ax + b S y = a S x. No lneales y = ln x = h( x ) y = h(x) + h (x) S X S y S x [ h (x)].e. y = ln x - ( S x / x ) S y ( S x / x ) = C V 8

29 Transformacones 3. Box-Cox Transformacones (964) h (x) = X λ = ( x + m ) λ - λ 0 x > -m m ln ( x + m ) λ = 0 m > 0 9

30 Relacones Lnealzables. y = K x β ln y = a 0 + a ln x. y = K ± ( β / x ) y = a 0 ± a x - 3. y = K e βx ln y = a 0 + a x 4. y = K e -β/x ln y = a 0 + a x - 5. y t = K + β cos t y = a 0 + a x t sendo x t = cos t 6. y (λ) = y λ - = a 0 + a x y λ- dy = a dx w = dy dx ln w = ln a + ( - λ ) ln y 30

31 Análss de una muestra estratfcada E n V X X m X n m E n V Vm E m m- estratos m h= p n h = n h = n n h Supongamos que la varable admte una clasfcacón en k-clases, representadas por X, X,...X k. 3

32 Análss de una muestra estratfcada n h = Cantdad de ndvduos de la submuestra del estrato h que pertenece a C. fh = n n h h k = fh = k = n h = n h X h = f h X k = V h = k = f h ( X X h ) m f = p h f h h= 3

33 33 Análss de una muestra estratfcada Entonces: ) ( = = + = m h h h m h h h T X X p V p V = = m h p h X n X er ra T V V V nt nt + =

34 Ejemplos Se tene 3 craderos de aves. En el cradero () se ponen 50 pollos recén nacdos; en el () 00 pollos y en el (3) 00 pollos. Al cabo de un certo tempo se pesan los 350 pollos, encontrándose que algunos están muertos y los vvos pesan entre,00 [kg]. y,50 [kg]. Para los efectos del regstro los pollos muertos se supondrán de peso cero, y el cero actuará como centro del supuesto ntervalo. Los otros ntervalos serán [,00 ;,50] [,50 ;,00] [,00 ;,50]. Centros 0,5,75,5 Frecuencas Absolutas () () (3) X V Calcular, V h h nt er, V, X, V nt ra T Note que exsten 3 estratos y 4 clases 34

35 Ejercco Estrato () P =/7 X f f X X -X ( ) f ( ) 0 0, 0 -,55,35 0,35,5 0, 0,50-0,75 0,0756 0,05,75 0,6,050 0,5 0,050 0,0304,5 0, 0,5 0,75 0,55 0,055 X =,55 V =0,33 Estrato () P =4/7 f f X X -X ( ) f ( ) 0,05 0 -,66,76 0,38 0,0 0,5-0,4 0,7 0,07 0,75,3 0,088 0, 0 0,007 0, 0,5 0,588 0,34 0,034 X =,66 V =0,96 35

36 Estrato (3) P 3 =/7 f 3 f 3 X X -X 3 ( ) f 3 ( ) 0,0 0 -,475,7 0,7 0,30 0,375-0,5 0,05 0,05 0,50 0,875 0,75 0, 08 0,040 0,0 0,5 0,775 0,60 0,060 X 3 =,475 V 3 =0,033 Estratos P h Meda Varanza P h X h P h V h X h -X (X-X h ) P h ( ) X h V h () /7,55 0,33 0,8 0,047-0,064 0,004 0,00057 () 4/7,66 0,96 0,949 0, 0,033 0,00 0,00057 (3) /7,475 0,33 0,4 0,095-0,4 0,03 0,00557,589 0,54 0,

37 Resultados Se ha obtendo, entonces: Meda Total X =,589 Varanza promedo dentro de los estratos V ntra = 0,54 Varanza entre estratos V nter = 0,0067 Varanza Total V T = 0,607 37

38 Estadístca Bvarada Notacón: f j := frecuenca conjunta = f r (x,y j ) j f f r x, y ) = f ( x ) f = = frecuenca margnal = j j ( j r f f r x, y ) = f ( y ) f j = = frecuenca margnal = f j j f /j = = frecuenca condconal = f j ( j r f ( x / y ) = r j f r ( x f r j, ( y y j ) j ) 38

39 Notacón: Estadístca Bvarada Análogamente, se tene: f f j/ = j = frecuenca condconal = f f ( y / x ) = r j f r ( x f r, y ( x ) j ) Independenca Estadístca X e Y son varables estadístcamente ndependentes ss: f r ( y j / x ) = fr ( y j ) f /j = f ó ó f r ( x / y y ) = fr ( x ) f j/ = f j 39

40 Estadístca Bvarada Independenca Estadístca como f j = f j/ f f j = f j f Asocacón de Varables Datos no agrupados cov(x,y) = Datos agrupados : cov(x,y) = Coefcente de Correlacón = r = n ( x f x)( y y) ( x x)( y y) Cov (x,y) S x S y 40

41 Tabla de Contngenca X Y B B... B j... B s Total A n n... n j... n s n A n n... n j... n s n A n n... n j... n s n A r n r n r... n rj... n rs n r Total n n... n j... n s n 4

42 Tabla de Contngenca Para =,...,r se tene: s n = n j j= n r j = n j = (Suma de los valores de la fla -ésma de la tabla de contngenca de frecuencas) Además de: f = n n f n = j j n f /j = f f j = j n n j j 4

43 Averías Tabla de Contngenca Fallas Anuales Temperatura Margnal Margnal Obtener : Dstrbucones margnales Dstrbucones condconales (4 averías), Meda y Varanza condconal 43

44 Modelo Estadístco y 0 = β + β x + (Lneal) x, y son varables ndependente y dependente respectvamente. Además ε una varable estadístca que representa el error. Los parámetros β 0 y β pueden ser estmados a partr de los datos {(x, y )} =,...,n medante método de mínmos cuadrados. Sea ; e = y yˆ = y β 0 β ˆ ε ˆ Entonces x 44

45 SC x = mn β 0 β n = n n e = mn β0β = = βˆ = SC SC ( y n SC E = e xy x = β ˆ β = 0 β x ˆ 0 y β ( x x) SCxy = ( x x)( y y) VNE = n = n = e ) x 45

46 Curvas de Regresón t V(t) V(t) Sea x t = sen t y t = V(t) Luego y(t) = a + b x t + ε t mnq( a, b) a, b = mn a, b t ( y t a bx t ) 46

47 aˆ = y bˆ x = 5,3 bˆ = cov( x, y) = 0 S x S y = 76 ( y t yˆ t ) =, 45 % de Ajuste del Modelo = eˆ t S y = 0, 98 00% = 98% 47