Técnicas Estadísticas de Análisis de Datos

Transcripción

1 Técnicas Estadísticas de Análisis de Datos Descipción de datos. Estadísticos de una vaiable Distibuciones de pobabilidad e intevalos de confianza Contastes de hipótesis. Tipos Relaciones ente atibutos Nominales- Numéicos: Tests de compaación de medias (muestas dependientes e independientes) análisis de vaianza. Numéicos - Numéicos: Análisis de Regesión Nominales-Nominales: Tablas de Contingencia. Tests de independencia compaación de popociones. Aplicación de técnicas estadísticas a la clasificación Clasificación mediante egesión numéica Clasificado baesiano Análisis de una vaiable (muesta de datos) Estadísticos: esumen (desciben) toda la infomación contenida en una muesta de datos : Vaiables continuas medidas centales (media, moda, mediana) medidas de dispesión (ango, vaianza, desviación estánda, pecentiles) medidas de foma (histogama) Vaiables nominales fecuencias elativas (pobabilidades), moda media vaianza de pobabilidad estimada uesta: i ; i n; toma valoes en un ango continuo/disceto

2 Estadísticos centales edia (espeanza) muestal: pomedio de todos los valoes n media() i n i oda: valo que apaece más veces ediana: valo que deja el mismo númeo de casos a ambos lados mediana() i Nº casos ( ) Nº casos ( ) j i equivale a odena el vecto de datos toma el valo cental menos sensible fente a valoes extemos poco pobables k i 3 Estadísticos de dispesión Recoido (intevalo, o ango): max(i)-min(i) Vaianza: pomedio de desviaciones con especto a valo medio n n Va () ( i ) i n n i n i Desviación estánda (típica): aíz cuadada de la vaianza desv () σ Va () media, sigma valo muesta Datos valo medio valo medio+sigma valo medio - sigma 4

3 Histogama Estimación de la distibución de densidad de pobabilidad: fecuencia absoluta o elativa de valoes de i po unidad de intevalo histogama nomal Nº de casos en intevalo fecuencia absoluta ,4 -,8 -, -,6,6,,8,4 3 intevalos de clase La suma total de fecuencias absolutas es el númeo de datos La suma de fecuencias elativas es 5 Ejemplo: histogama de vaiable unifome histogama ,,,3,4,5,6,7,8,9 histogama acumulado acumulado 6

4 Cuantiles del histogama Cuantil: valoes que dividen el ecoido de datos en k pates de la misma fecuencia (pecentiles: pates, cuatiles: 4 pates, etc.) Ejemplo: cuatiles fecuencia Calificación,8,6 5 3, 3,9 4,9 6,55... pocentaje cuatiles,5,4,5,75,75 4 7,7 alumnos Recoido inte-cuatílico: [.4, 4]: contiene 5% datos calificación Cuatil Cuatil 3 Cuatil Cuatil 4 7 Estadísticos de vaiable nominal i nominal: toma valoes de un conjunto disceto (categoías): {v i,, v iki } Distibución de fecuencias de cada valo p p ki n ( n / n)% p ( n ( n k i j n j / n)% ki / n)% oda: valo que apaece más veces max(n j) j 8

5 edia vaianza de fecuencias estimadas Cálculo de cada fecuencia paa una categoía dada: m casos de n pm/n puede vese como asigna: v i cada ejemplo en la categoía n p v i n i caso máxima vaianza: p.5 v i en el esto Vaianza de p: n Va(p) (vi p) p( p) n i σp p( p) 9 Ejemplo vaiable nominal numéica Edad Sexo H H 6 H 43 4 H 6 54 H 8 H 8 H 54 9 H H 53 H 4 H H H pocentaje pocentaje H sexo edad fecuencia acumulada

6 Distibución Nomal Cuva de gan inteés po explica datos en muchas situaciones Aplicada po pimea vez como distibución po A. Quetelet (83) f (z) exp z π distibución simética: coincide media mediana en se dispone del valo de la distibución de pobabilidad: áea bajo la cuva de f Z (z) paa cualquie valo: Tipifica o estandaiza vaiables: Se mide el desplazamiento especto a la media en unidades de desviación típica: z F Z (z) f(z) F(z ) z z i zi σi Distibución Nomal e Intevalos de Confianza f(z) F(z ) f(z) F(z ) z Una cola (unilateal) Simético dos colas (bilateal) Ej.: se conocen paámetos de una población con distibución nomal: media: µ 5; desviación típica:σ casos infeioes a 7? z(7-5)/, F(z), casos supeioes a 5? z(5-5)/, -F(z),4 en intevalo 9-3? F((3-5)/)-F((9-5)/),667 qué intevalos simético tienen el 8%, 95% de los casos (intevalos de confianza)? zf - (α/); µ±zσ 8%: z.,8; 5± z. *[89.3, 4.6] 95%: z.5,96; 5± z.5 *[75.8, 54.]

7 RELACIONES DE VARIABLES. TEST DE HIPOTESIS ANÁLISIS DE VARIAS VARIABLES Objetivo: analiza la inteelación (dependencia) ente los valoes de distintas vaiables, haciendo uso de los datos disponibles Numéicas (etado, caga, distancia, ) Nominales (tipo de avión, condición visibilidad, ) Heamienta de análisis: tests de hipótesis Numéicas-numéicas: análisis de egesión covaianza Nominales-nominales: tablas de contingencia Nominales-numéicas: compaación de medias, análisis de vaianza 3 ANÁLISIS ESTADÍSTICO DE DATOS ANÁLISIS DE VARIAS VARIABLES - NUÉRICA-NUÉRICA Pemite identifica elaciones ente vaiables numéicas constui modelos de egesión Se considean elaciones de una vaiable de salida (dependiente) con múltiples vaiables de entada (independientes) Estimación de una función (Regesión Lineal) que mejo explique los datos {( X, ), (X, ),...,(Xn, n )} X : vectoes con dimensiones g(.) : R X R ŷ g(x) 4

8 5 ínimos Cuadados Estima vecto de coeficientes que minimiza eo Objetivo: dadas N muestas, detemina coeficientes que minimicen el eo de pedicción global El método de mínimos cuadados selecciona, como estimación de la ecta de egesión poblacional, aquella paa la cual esta suma de cuadados es meno. Poblema clásico de minimización de función cuadática: solución única t I t I t I p p p i i ] x x [ X ; ] a a [a (A) )*X (A x a a (X) g ŷ L L + n j j j ] ) [g(x ε 6 ínimos Cuadados Solución genéica maticial Solución C: H*A A x x x x x x ) g(x ) g(x ŷ ŷ ĝ ; N I N I I N N N L L L H H ] [ H A t t [(+F)x] [(+F)xN] [Nx(+F)] [(+F)xN] [Nx]

9 Ejemplo: egesión lineal de vaiable Año Renta Consumo consumo E ,75 75,87 683, ,9 986,35 94, ,84 37,9 99, ,6 6, 8, ,6 355,7 35, ,7 4,7 453, , 5,6 56, ,84 636, 6335, ,5 799,3 7785, ,9 953,5 99, ,5 695,4 479, ,4 93,8 3, ,5 96,7 3836, ,6 57, 544, ,5 739,7 738,7636 Estimación Lineal a a ConsumoE a + a* Re nta 7 Ejemplo: egesión lineal de vaiable dependencia consumo consumos 5 5 Consumo consumo E 5 5 enta 8

10 Ejemplo: egesión lineal de vaiables x x Valo Supeficie Antigüedad Valo pedicho 3 6,87 Euos 9,8 Euos 333 7,784 Euos,83 Euos ,4 Euos 8,993 Euos ,75 Euos 8,8 Euos ,4 Euos 7,6 Euos ,497 Euos 5,5 Euos ,3 Euos 99,8 Euos ,96 Euos 5,469 Euos 494 3,6 Euos 9,33 Euos ,497 Euos 3,58 Euos 54,57 Euos,3 Euos Estimación Lineal a a a Valo a + a*supeficie + a* Antigüedad 9 Ejemplo: egesión lineal de vaiables valoes pedichos 4 5 valo (euos) antigüedad (a) supeficie (m)

11 Evaluación del modelo de egesión Análisis de validez del modelo asumido: edidas de paecido ente vaiable de salida estimada eal, influencia de vaiables de entada Facto de Coelación Eo de pedicción Análisis de calidad del modelo Eo en coeficientes Hipótesis de significatividad de paámetos: t-student A A,..., F? σ A σ A F N(,) α/ Facto de coelación Facto de coelación ente datos pedicciones: Co (ŷ, n ) (ŷ j ŷ)( j ) S S ŷ j Cov (ŷ, ) Va (ŷ)va () El facto de coelación vaía ente -. En geneal, se puede hace factoes de coelación ente cualquie pa de vaiables numéicas: indica el gado de elación lineal existente. -: existe asociación lineal negativa pefecta. positiva pefecta. no ha asociación lineal.

12 atices de covaianza coelación uesta de vectoes aleatoios: { X, X,..., X n } atiz de covaianzas: n µ ˆ X i n i va(x) cov(x,x) n cov(x,x ) va(x ) Ĉ µ ˆ (X )(X µ ˆ t ) X i i n i cov(x,xi) L La matiz de coelaciones es simila, nomalizada L O cov(x,x va(xi) ) 3 ANÁLISIS ESTADÍSTICO DE DATOS ANÁLISIS DE VARIAS VARIABLES - NUÉRICA-NOINAL ide la elación ente vaiables numéicas nominales, o nominales nominales (popociones) Analiza las difeencias de medias condicionadas a vaiable nominal: impacto de la vaiable nominal sobe la continua Dos tipos de análisis: Con dos medias o popociones: significatividad de la difeencia t- student ás de dos valoes distintos: Análisis de Vaianza Vaiación NE Vaiación E Y Y Y3 Y 4

13 Compaación de dos medias Se plantea como un test de hipótesis, dividiendo los datos en dos gupos, cada uno con su media vaianza. Hipótesis sobe difeencia de medias: D H : la difeencia de medias en la población es nula D. Hipótesis altenativa A: las medias son distintas: D!. Hipótesis altenativa B: la media de es mao que : Hipótesis altenativa C: la media de es meno que : Situaciones posibles: uestas independientes: conjuntos distintos. > < uestas dependientes: mismo conjunto, con dos vaiables a compaa en cada ejemplo. 5 Contastes de dos medias Hipótesis altenativa A α/.5 α/.5 z.96 z+.96 Hipótesis altenativa B: α.5 z.65 Cuando las muestas son pequeñas no es válida la hipótesis de nomalidad de los estadísticos de medias ± t α /, GL σ

14 . Análisis de vaianza (ANOVA) Niveles Obsevaciones Y,Y,...Y j,...y n i Y i,y i,...y ij,...y ini I Y I,Y I,...Y Ij,...Y InI Númeo total de elementos: n i I edia po nivel: Yi Yij ni i I ni edia total: Y Yij n i i j Relación ente cuadados : ni i i j (Y I n i Vaiación No Explicada vaiación no explicada (esidual): vaiabilidad dento de los gupos ni ij Y) (Yij Y i) + ni (Yi Y) i i j i Vaiación Explicada Y Y Y3 Y vaiación explicada: vaiabilidad ente gupos 7 ANÁLISIS ESTADÍSTICO DE DATOS ANÁLISIS DE VARIAS VARIABLES - NOINAL-NOINAL Analiza la inteelación ente los valoes de vaiables nominales según distibución de casos Heamienta paa dos vaiables: tabla de contingencia distibución de casos (fecuencias) paa las distintas combinaciones de valoes de las dos vaiables vaiable totales vaiable valo valo... valo p valo n n... n p t valo n n... n p t valo p n p n p... n pp tp totales t' t'... t'p t Pobabilidades maginales: Técnicas Clásicas de P j Análisis t j /t de Datos Pobabilidades maginales: P i t i /t Casos espeados E ij t(t i /t)(t j /t) t i t j /t 8

15 Relación ente vaiables nominales-nominales Objetivo: analiza la inteelación (dependencia) ente los valoes de vaiables nominales Heamienta paa dos vaiables: tabla de contingencia distibución de casos (fecuencias) paa las distintas combinaciones de valoes de las dos vaiables vaiable totales vaiable valo valo... valo p valo n n... n p t valo n n... n p t valo p n p n p... n pp tp totales t' t'... t'p t Pobabilidades maginales: P j t j /t Pobabilidades maginales: P i t i /t Estimación del nº espeado de obsevaciones E ij t(t i /t)(t j /t) t i t j /t 9 Contaste Chi- de vaiables nominales Es aplicable en análisis bi-vaiable (nomalmente clase vs atibuto) Detemina si es echazable la hipótesis de que dos vaiables son independientes Bajo hipótesis H se deteminan los casos en el supuesto de vaiables independientes. Los valoes espeados se deteminan con pobabilidades maginales de las categoías: E ij tp i P j (valoes espeados). Nuesto contaste de hipótesis nula de no asociación estaá basado en las magnitudes de las difeencias ente los valoes obsevados los espeados bajo la hipótesis nula. El estadístico Chi-cuadado mide la difeencia ente los valoes obsevados los valoes espeados. p p χ ( O E ) / E i j ij ij ij 3

16 Ejemplo 3 EJEPLOS VALIDACIÓN HIPÓTESIS ANÁLISIS DE VARIAS VARIABLES - NOINAL-NUÉRICA Ha elación ente tiempo en etado : fanja hoaia (mañana-tade-noche), tipo de día (diaio-finsemana), compañía ao gado de elación? 3

17 -3 3 EJEPLOS VALIDACIÓN HIPÓTESIS ANÁLISIS DE VARIAS VARIABLES - NOINAL-NUÉRICA Hipótesis (análogo a compaación de pestaciones!) Hipótesis nula H : la difeencia de medias según tipo día es nula D Hipótesis altenativa: las medias son distintas: D! α/.5 fdp(t_finsemana-t_diaio) α/.5.96σ σ ao gado de elación? ás evidencia estadística paa echaza la hipótesis de independencia 33 EJEPLOS VALIDACIÓN HIPÓTESIS ANÁLISIS DE VARIAS VARIABLES - NUÉRICA-NUÉRICA Qué vaiables están más linealmente elacionadas 4 4 intevenciones etado opeaciones opeaciones 34

18 EJEPLOS VALIDACIÓN HIPÓTESIS ANÁLISIS DE VARIAS VARIABLES NOINAL-NOINAL Dependencia ente gado de etado tipo de avión, visibilidad, 35 EJEPLOS VALIDACIÓN HIPÓTESIS ANÁLISIS DE VARIAS VARIABLES NOINAL-NOINAL Hipótesis nula H : las vaiables etado categoía son independientes: E ij t(t i /t)(t j /t) p p χ (E ij Oij) / Eij i j χ α 36