ANALISIS EXPLORATORIO DE DATOS LIC. ESPERANZA GARCIA CRIBILLEROS

Transcripción

1 ANALISIS EXPLORATORIO DE DATOS LIC. ESPERANZA GARCIA CRIBILLEROS 2006

2 ENFOQUES DE ANALISIS ESTADISTICO Confirmatorio (Clásico) Exploratorio (Tukey( Tukey,, 1977)

3 COMPARACION DE LOS ENFOQUES DE ANALISIS (Bertrand( Bertrand) EXPLOTARIO CONFIRMATORIO Enfoque descriptivo Enfoque inferencial Indica las hipótesis a Prueba hipótesis probar Usa estadísticos sticos Usa estadísticos sticos Plan de investigación Plan de investigación riguroso y bien definido. flexible y poco definido Usa datos sin error Usa los datos (ideal). disponibles Poca importancia a la Privilegia la representación n gráfica. representación n gráfica. Tiene una visión n precisa Tiene visión n intuitiva de de los datos. los datos Semeja a un juicio Semeja una investigación n policial.

4 Definición n de análisis exploratorio de datos: Conjunto de herramientas estadísticas sticas que permiten una visualización n previa al análisis definitivo de los datos en estudio. Este análisis tiene los siguientes objetivos: Evaluar la calidad y la consistencia de los datos. Determinar la distribución n de las variables en estudio. Aplicar el tratamiento de datos ausentes. Detectar datos atípicos (outliers( outliers).

5 Comprobar supuestos: normalidad, linealidad, homocedasticidad. Resumir los datos mediante el uso conjunto de medidas de resumen y sus gráficos. Explorar formas de categorizar variables a través s de búsqueda b de puntos de corte.

6 El análisis exploratorio de datos puede ser: Univariado: Estatura, peso, pulso, temperatura, etc. Bivariado: Estatura y peso, frecuencia cardiaca y nivel de colesterol. Multivariado: Se quiere medir la relación n entre la presión n arterial, edad, peso y estrés. s.

7 El análisis exploratorio de datos se puede realizar en: Forma de gráficos Pruebas de contraste

8 ANÁLISIS EXPLORATORIO UNIVARIADO HISTOGRAMA: Muestra la forma de distribución n de los datos. Revela la presencia o no de simetría Proporciona información n respecto a la variabilidad de los datos.

9 Ejemplo: Edades de un grupo de pacientes que participaron en un trabajo de investigación. n

10 Histograma

11 Histograma y curva normal

12 Asimetría Identifica datos extremos

13 Se observa simetría Normalidad Ausencia de datos extremos

14 Diagrama de tallo y hojas Permite observar al conjunto de datos como un todo y destacar algunas características, tales como: La simetría a del conjunto de datos La variabilidad de los datos La presencia o no de outliers Concentración n de los datos Brechas en el conjunto de datos

15 Ejemplo: Se tienen las edades de 100 pacientes que participaron en un estudio de investigación

16 Diagrama de tallo y hojas en forma compacta: Stem-and-leaf of EDAD N = 100 Leaf Unit = (28) HI 89, Simetría Normalidad Valor extremo alto (89)

17 Tallo desdoblada Edad de los pacientes Stem-and-Leaf Plot Frec. Tallo Hojas Extremes (>=89) Stem width: 10 Each leaf: 1 case(s) Cumple las mismas funciones que el histograma. Conserva todos los datos y se pueden determinar los datos extremos. Adecuado para muestras grandes y pequeñas.

18 Tallo y hojas con brechas Stem-and and-leaf of Edad N = 20 Leaf Unit = (4)

19 GRÁFICO DE CAJAS (BOXPLOT) Es una presentación n simple de la información n que permite conocer: La localización n del centro de los datos Dispersión

20 DIAGRAMA O GRÁFICO DE Simetría CAJAS (BOXPLOT) La extensión: n: Limite Superior = (Q *dQ dq); Limite inferior =(Q 1-1.5* 1.5*dQ La existencia de los valores extremos (outliers).

21 valor max=65 Q 3 =55 Me=44 Q 1 =34.25 Valor min=20

22 DATOS ATÍPICOS (OUTLIERS) TIPOS: Aquellos que surgen de un error de procedimiento. Los que ocurren por un hecho extraordinario, tiene explicación. Observaciones extraordinaria sin explicación.

23 Normalidad de los datos: Se considera que los datos son normales si la distribución n de la población n de la cual ha sido extraída la muestra se aproxima a la distribución n teórica. Se puede verificar esta propiedad por: Métodos gráficos para ver normalidad Contrastes de normalidad

24 MÉTODOS GRÁFICOS PARA VER NORMALIDAD: Histogramas Gráfico P-P P Gráfico QQ plot. CONTRASTES DE NORMALIDAD: Prueba Chi cuadrado: Bondad de ajuste Z = 2 x x / 2 ( o E ) i i ( ) s i χ = E i

25 Prueba de Colmogorov-Smirnov D = max Fn ( x) Fo ( x) Prueba de Shapiro Wilks W = D ns 2 2 Todas las pruebas plantean Ho de normalidad.

26 TRASFORMACIÓN N DE LOS DATOS En este gráfico se observa que los datos son normales. Si existe normalidad la recta del diagrama pasa por el origen. Es un artificio para normalizar datos. Se construye a partir de la transformación de los datos a su log natural.

27 Tests of Normality a Kolmogorov-Smirnov Shapiro-Wilk Statistic df Sig. Statistic df Sig. Edad de los pacien * *. This is a lower bound of the true significance. a. Lilliefors Significance Correction Para este caso es conveniente interpretar el resultado con la prueba de Kolmogorov-Smirnov. La de Shapiro- Wilk es útil con muestras no mayores de 50. Ho, (normalidad) no se puede rechazar porque el valor calculado es mayor que 0.05.

28 En el gráfico P-P se observa la normalidad de los datos.

29 ANALISIS BIVARIADO No Sexo Peso Estatura No Sexo Peso Estatura

30 Análisis exploratorio bivariado:

31 Gráfico de dispersión n de estatura y peso por sexo

32 NIÑOS SEGÚN N PESO Y SEXO

33 ANÁLISIS EXPLORATORIO MULTIVARIADO

34

35 FIN