Jesús García Herrero TÉCNICAS CLÁSICAS DE ANÁLISIS DE DATOS

Transcripción

1 Jesús García Herrero TÉCNICAS CLÁSICAS DE ANÁLISIS DE DATOS En esta clase se presentan los primeros algoritmos Análisis de Datos para abordar tareas de aprendizaje de modelos descriptivos y predictivos. Por razones históricas y pedagógicas, se comienza por las técnicas estadísticas de modelado de los datos, con un planteamiento formal que permite desarrollar modelos sencillos y calcular sus parámetros para resolver estas tareas con tests bien conocidos. En primer lugar se presenta una revisión del análisis estadístico de variables y principales parámetros descriptivos (momentos, medidas de tendencia, de dispersión, percentiles e histograma), para a continuación abordar el análisis de relaciones entre atributos desde un punto de vista estadístico, que busca relaciones significativas a través de propiedades de las distribuciones de los datos disponibles. Según la naturaleza de los atributos se distinguen tres casos: si todos son numéricos se plantean relaciones de dependencia (lineal o no lineal), si son todos nominales se habla de tablas de contingencia con análisis de frecuencias, y si son mixtos de tests de diferencias de medias y análisis de varianza. En cada análisis se identifican los tests que nos permiten validar la existencia de relaciones buscadas entre atributos. El aspecto común a estas primeras técnicas clásicas de análisis estadístico es que están orientadas a la validación de hipótesis que plantearía un analista a partir de los datos disponibles, frecuentemente tras su visualización. No se contempla la búsqueda automática de modelos o la generalización, aspectos que entran en la disciplina del aprendizaje automático.

2 Técnicas estadísticas de análisis de datos Jesús García Herrero Universidad Carlos III de Madrid

3 Técnicas Estadísticas de Análisis de Datos Descripción de datos. Estadísticos de una variable Distribuciones de probabilidad e intervalos de confianza Contrastes de hipótesis. Tipos Relaciones entre atributos Nominales- Numéricos: Tests de comparación de medias (muestras dependientes e independientes) y análisis de varianza. Numéricos - Numéricos: Análisis de Regresión Nominales-Nominales: Tablas de Contingencia. Tests de independencia y comparación de proporciones. Aplicación de técnicas estadísticas a la clasificación Clasificación mediante regresión numérica Clasificador bayesiano

4 Análisis de una variable (muestra de datos) Estadísticos: resumen (describen) toda la información contenida en una muestra de datos : Variables continuas medidas centrales (media, moda, mediana) medidas de dispersión (rango, varianza, desviación estándar, percentiles) medidas de forma (histograma) Variables nominales frecuencias relativas (probabilidades), moda media y varianza de probabilidad estimada Muestra: y i ; i = n; toma valores en un rango continuo/discreto 3

5 Estadísticos centrales Media (esperanza) muestral: promedio de todos los valores media(y) y y i n i Moda: valor que aparece más veces n Mediana: valor que deja el mismo número de casos a ambos lados mediana (y) yi Nº casos y y Nº casos y y j i k i equivale a ordenar el vector de datos y tomar el valor central menos sensible frente a valores extremos poco probables 4

6 valor Estadísticos de dispersión Recorrido (intervalo, o rango): max(yi)-min(yi) Varianza: promedio de desviaciones con respecto a valor medio n n Var(y) (y - i y) yi - ny n -i n -i Desviación estándar (típica): raíz cuadrada de la varianza desv(y) y Var(y) media, sigma muestra Datos valor medio valor medio+sigma valor medio - sigma 5

7 frecuencia absoluta Histograma Estimación de la distribución de densidad de probabilidad: frecuencia absoluta o relativa de valores de y i por unidad de intervalo histograma normal Nº de casos en intervalo ,4 -,8 -, -0,6 0 0,6,,8,4 3 y intervalos de clase La suma total de frecuencias absolutas es el número de datos La suma de frecuencias relativas es 6

8 Ejemplo: histograma de variable uniforme histograma , 0, 0,3 0,4 0,5 0,6 0,7 0,8 0,9 histograma acum ulado acum ulado 7

9 alumnos Cuantiles del histograma Cuantil: valores que dividen el recorrido de datos en k partes de la misma frecuencia (percentiles: 00 partes, cuartiles: 4 partes, etc.) Ejemplo: cuartiles frecuencia Calificación,8 0,6 5 3, 3,9 4,9 0 6,55... porcentaje cuartiles 0,5,4 0,5,75 0,75 4 7,7 Recorrido inter-cuartílico: [.4, 4]: contiene 50% datos Cuartil Cuartil calificación Cuartil 3 Cuartil 4 8

10 Estadísticos de variable nominal y i nominal: toma valores de un conjunto discreto (categorías): {v i,, v iki } Distribución de frecuencias de cada valor n 00( n 00( n 00( n j Moda: valor que aparece más veces p p p ki max (n j j ) k i n j / n)% ki / n)% / n)% 9

11 Media y varianza de frecuencias estimadas Cálculo de cada frecuencia para una categoría dada: m casos de n p=m/n puede verse como asignar: v i = cada ejemplo en la categoría p n v i n i v i =0 en el resto Varianza de p: n Var(p) (vi n i p p( - p) - p) p( - p) caso máxima varianza: p=0.5 0

12 porcentaje porcentaje Ejemplo variable nominal y numérica Edad Sexo 3 M 5 M 8 H 37 M 45 H 6 H 43 M 40 H 60 M 54 H 8 H 8 H 54 M 9 H 4 M 6 M 3 M 4 M 37 M 36 H 53 H M 4 H H 45 M 64 H M 6 M 37 M 66 M H M sexo edad frecuencia acumulada

13 Distribución Normal Curva de gran interés por explicar datos en muchas situaciones Aplicada por primera vez como distribución por A. Quetelet (830) - f (z) exp z distribución simétrica: coincide media y mediana en 0 se dispone del valor de la distribución de probabilidad: área bajo la curva de f Z (z) para cualquier valor: z F Z (z) Tipificar o estandarizar variables: Se mide el desplazamiento respecto a la media en unidades de desviación típica: f(z) 0 z F(z 0 ) z 0 yi - y zi i

14 Distribución Normal e Intervalos de Confianza f(z) F(z 0 ) f(z) F(z 0 ) z 3 Una cola (unilateral) Simétrico dos colas (bilateral) Ej.: se conocen parámetros de una población con distribución normal: media: m= 5; desviación típica:= 0 casos inferiores a 70? z=(70-5)/0, F(z)=0,0 casos superiores a 50? z=(50-5)/0, -F(z)=0,04 en intervalo 90-30? F((30-5)/0)-F((90-5)/0)=0,667 qué intervalos simétrico tienen el 80%, 95% de los casos (intervalos de confianza)? z=f - (a/); y=mz 80%: z 0. =,8; 5 z 0. *0[89.3, 40.6] 95%: z 0.05 =,96; 5 z 0.05 *0[75.8, 54.] 3

15 RELACIONES DE VARIABLES. TEST DE HIPOTESIS ANÁLISIS DE VARIAS VARIABLES Objetivo: analizar la interrelación (dependencia) entre los valores de distintas variables, haciendo uso de los datos disponibles Numéricas (retardo, carga, distancia, ) Nominales (tipo de avión, condición visibilidad, ) Herramienta de análisis: tests de hipótesis Nominales-numéricas: comparación de medias, análisis de varianza Numéricas-numéricas: análisis de regresión y covarianza Nominales-nominales: tablas de contingencia 4

16 ANÁLISIS ESTADÍSTICO DE DATOS ANÁLISIS DE VARIAS VARIABLES - NUMÉRICA-NOMINAL Mide la relación entre variables numéricas y nominales, o nominales y nominales (proporciones) Analiza las diferencias de medias condicionadas a variable nominal: impacto de la variable nominal sobre la continua Dos tipos de análisis: Con dos medias o proporciones: significatividad de la diferencia t- student Más de dos valores distintos: Análisis de Varianza Variación NE Variación E Y Y Y3 Y y 5

17 . Comparación de dos medias Se plantea como un test de hipótesis, dividiendo los datos en dos grupos, cada uno con su media y varianza. Hipótesis sobre diferencia de medias: D y - y H 0 : la diferencia de medias en la población es nula D=0. Hipótesis alternativa A: las medias son distintas: D!=0. Hipótesis alternativa B: la media de es mayor que : Hipótesis alternativa C: la media de es menor que : Situaciones posibles: y y y y Muestras independientes: conjuntos distintos. Muestras dependientes: mismo conjunto, con dos variables a comparar en cada ejemplo. 6

18 Contrastes de dos medias Hipótesis alternativa A a/=0.05 a/= z-.96 z+.96 Hipótesis alternativa B: a= z Cuando las muestras son pequeñas no es válida la hipótesis de normalidad de los estadísticos de medias y t a/, GL

19 . Análisis de varianza (ANOVA) Número total de elementos: Media por nivel: Media total: Niveles Observaciones Y,Y,...Y j,...y n i Y i,y i,...y ij,...y ini I Y I,Y I,...Y Ij,...Y InI Y Y Relación entre cuadrados : n i I n I Y i i ni Yij ii j ij n I n i i Variación No Explicada variación no explicada (residual): variabilidad dentro de los grupos Variación Explicada Y Y Y3 Y variación explicada: variabilidad entre grupos y M ii n i j (Y M ni M ij -Y) (Yij -Y i) + ni(yi - Y) ii j i 8

20 ANÁLISIS ESTADÍSTICO DE DATOS ANÁLISIS DE VARIAS VARIABLES - NUMÉRICA-NUMÉRICA Permite identificar relaciones entre variables numéricas y construir modelos de regresión Se consideran relaciones de una variable de salida (dependiente) con múltiples variables de entrada (independientes) Estimación de una función (Regresión Lineal) que mejor explique los datos {( X, y), (X, y),...,(xn, yn )} X : vectores con M dimensiones g(.) : R X M R ŷ g(x) 9

21 Mínimos Cuadrados Estima vector de coeficientes que minimiza error M t yˆ g (X) a + a x (A )*X i (A) [a i 0 a 0 p a p M ] p t ; X [ Objetivo: dadas N muestras, determinar coeficientes que minimicen el error de predicción global n [g(x j ) - y j] j El método de mínimos cuadrados selecciona, como estimación de la recta de regresión poblacional, aquella para la cual esta suma de cuadrados es menor. Problema clásico de minimización de función cuadrática: solución única 0 x x M ] t

22 Mínimos Cuadrados Solución genérica matricial Solución MC: H*A A x x x x x x ) g(x ) g(x ŷ ŷ ĝ ; y y y N I N I I N N N y H H] [H A t t - [(+M)x] = [(+M)xN] [Nx(+M)] [(+M)xN] [Nx]

23 Ejemplo: regresión lineal de variable Año Renta Consumo consumo E ,75 75,87 683, ,09 986,35 94, ,84 37,9 99, ,06 600, 8, ,6 3550,7 350, ,7 40,7 453, ,0 50,6 506, , , 6335, ,5 7990,3 7785, ,9 9053,5 9090, ,5 0695,4 0479, ,04 093,8 03, ,5 906,7 3836, ,6 570, 544, ,5 7309,7 7038,7636 Estimación Lineal a a ConsumoE a0 + a*renta

24 consumos Ejemplo: regresión lineal de variable 0000 dependencia consumo Consumo consumo E renta 3

25 Ejemplo: regresión lineal de variables x x y Valor Superficie Antigüedad Valor predicho ,87 Euros 09,80 Euros ,784 Euros,83 Euros ,04 Euros 08,993 Euros ,75 Euros 08,8 Euros ,04 Euros 07,6 Euros ,497 Euros 5,5 Euros ,3 Euros 99,800 Euros ,96 Euros 5,469 Euros 494 3,006 Euros 9,33 Euros ,497 Euros 3,58 Euros 540,57 Euros,3 Euros Estimación Lineal a a a Valor a0 + a*superficie + a* Antigüedad 4

26 valor (euros) 540 Ejemplo: regresión lineal de variables valores predichos antigüedad (a) superficie (m) 0 5

27 Evaluación del modelo de regresión Análisis de validez del modelo asumido: Medidas de parecido entre variable de salida estimada y real, influencia de variables de entrada Factor de Correlación Error de predicción Análisis de calidad del modelo Error en coeficientes Hipótesis de significatividad de parámetros: t-student A A,..., F? A A F N(0,) a/

28 Factor de correlación Factor de correlación entre datos y predicciones: Corr(ŷ, y) S ŷ S y n j (ŷ j - ŷ)(y j - y) Cov(ŷ, y) Var(ŷ)Var(y) El factor de correlación varía entre - y. En general, se puede hacer factores de correlación entre cualquier par de variables numéricas: indica el grado de relación lineal existente. -: existe asociación lineal negativa perfecta. positiva perfecta. 0 no hay asociación lineal. 7

29 Matrices de covarianza y correlación Muestra de vectores aleatorios: Matriz de covarianzas: n mˆ X i n i n Ĉ (X - mˆ )(X - mˆ t X i i ) n i La matriz de correlaciones es similar, normalizada X,X,..., Xn var(x) cov(x,x) cov(x,x I) cov(x,x ) var(x) cov(x,x var(xi) ) 8

30 ANÁLISIS ESTADÍSTICO DE DATOS ANÁLISIS DE VARIAS VARIABLES - NOMINAL-NOMINAL Analiza la interrelación entre los valores de variables nominales según distribución de casos Herramienta para dos variables: tabla de contingencia distribución de casos (frecuencias) para las distintas combinaciones de valores de las dos variables variable totales variable valor valor... valor p valor n n... n p t valor n n... n p t valor p n p n p... n pp tp totales t' t'... t'p t Probabilidades marginales: P i =t i /t Casos esperados Probabilidades marginales: E ij =t(t i /t)(t j /t)= t i t j /t Técnicas Clásicas de PAnálisis de Datos 9 j =t j /t

31 Contraste Chi- de variables nominales Es aplicable en análisis bi-variable (normalmente clase vs atributo) Determina si es rechazable la hipótesis de que dos variables son independientes Bajo hipótesis H 0 se determinan los casos en el supuesto de variables independientes. Los valores esperados se determinan con probabilidades marginales de las categorías: E ij =tp i P j (valores esperados). Nuestro contraste de hipótesis nula de no asociación estará basado en las magnitudes de las diferencias entre los valores observados y los esperados bajo la hipótesis nula. El estadístico Chi-cuadrado mide la diferencia entre los valores observados y los valores esperados. p i p j ( O ij - E ij ) / E ij 30

32 Ejemplo 3

33 EJEMPLOS VALIDACIÓN HIPÓTESIS ANÁLISIS DE VARIAS VARIABLES - NOMINAL-NUMÉRICA Hay relación entre tiempo en retardo y: franja horaria (mañana-tarde-noche), tipo de día (diario-finsemana), compañía Mayor grado de relación? 3

34 EJEMPLOS VALIDACIÓN HIPÓTESIS ANÁLISIS DE VARIAS VARIABLES - NOMINAL-NUMÉRICA Hipótesis (análogo a comparación de prestaciones!) Hipótesis nula H 0 : la diferencia de medias según tipo día es nula D=0 Hipótesis alternativa: las medias son distintas: D!=0 a/=0.05 fdp(t_finsemana-t_diario) a/= Mayor grado de relación? Más evidencia estadística para rechazar la hipótesis de independencia 33

35 intervenciones retardo EJEMPLOS VALIDACIÓN HIPÓTESIS ANÁLISIS DE VARIAS VARIABLES - NUMÉRICA-NUMÉRICA Qué variables están más linealmente relacionadas operaciones operaciones 34

36 EJEMPLOS VALIDACIÓN HIPÓTESIS ANÁLISIS DE VARIAS VARIABLES NOMINAL-NOMINAL Dependencia entre grado de retardo y tipo de avión, visibilidad, 35

37 EJEMPLOS VALIDACIÓN HIPÓTESIS ANÁLISIS DE VARIAS VARIABLES NOMINAL-NOMINAL Hipótesis nula H 0 : las variables retardo y categoría son independientes: E ij =t(t i /t)(t j /t) p p (Eij - Oij) / Eij ij a 36