Análisis exploratorio de datos. Análisis Exploratorio de Datos - Claudia Jiménez R

Transcripción

1 Análisis exploratorio de datos 1

2 Métodos de recolección de datos Censo Muestreo Diseño de experimentos Muestra Población Etdíti Estadística descriptiva Inferencia inductiva 2

3 Variables Son aquellas características de interés de los objetos o individuos. En la mayoría de los estudios lo que se pretende es estimar, a partir de la información recolectada de una muestra, características desconocidas de los objetos. Las medidas que determinan las características de una población se llaman parámetros. Las características obtenidas a partir de una muestra son llamadas estadísticas. Una Inferencia es una generalización obtenida a partir de una muestra aleatoria. 3

4 Tipos de variables Cualitativas. Hacen referencia a categorías o atributos que pueden clasificarse según un criterio o cualidad. Ejemplos: género, tipo de sangre, estado civil y raza. Cuantitativas. Se refieren a información numérica. Ejemplos: talla, peso, presión sanguínea, duración de un espécimen, etc. Mapeo o transformación 4

5 Importancia de los tipos El tipo de dato o variable permite saber si una técnica puede aplicarse para un análisis determinado. También permite especificar algunas reglas de integridad para asegurar la calidad de los datos. 5

6 Ejemplos de representación gráfica y medidas descriptivas, según el tipo Nominal Diagrama de barras Diagrama de sectores Moda Intervalo Histogramas Polígono de frecuencias Media Cuantitativo tat Diagrama decajas y Bigotes Mediana Rango Intercuartil Razón Media Geométrica Coeficiente de Variación 6

7 Análisis exploratorio de datos Exploratory Data Analysis (EDA) 7

8 Qué significa EDA? El Análisis Exploratorio de Datos (Exploratory Data Analysis) permite examinar los datos previamente a la aplicación de cualquier técnica estadística o de inteligencia artificial. De esta forma el analista consigue un entendimiento básico de sus datos y de las relaciones existentes entre las variables analizadas. Proporciona métodos sencillos para organizar y preparar los datos, detectar errores en el diseño o en la recolección de los datos. Ofrece técnicas para la detección y tratamiento de datos faltantes, la identificación de casos atípicos o la comprobación de los supuestos subyacentes en las técnicas de Minería de Datos. 8

9 Objetivos principales p del EDA Resumir Comparar Relacionar Además contribuye en la limpieza de los datos y en la selección de las técnicas de minería más apropiadas. 9

10 Importancia del EDA El examen previo de los datos es un paso necesario, que lleva tiempo, y que habitualmente se descuida por parte de los analistas de datos. Las tareas implícitas en dicho examen pueden parecer insignificantes y sin consecuencias a primera vista, pero son una parte esencial de cualquier análisis de datos. 10

11 Resúmenes de Datos Inversión año 2008 Facultad Monto de la inversión (millones) Porcentaje Ingenierías 31,0 0,30 Artes y Humanidades 41,0 0,40 os Millones de pes 50,0 40,0 30,0 20,0 10,0 0,0 ías Ingenier ade Artes y Humanida s ina Medic Area Econom ía ias as Cienc Básic ros Otr Medicina i 69 6, ,07 Economía 9,0 0,09 Porcentaje de Inversión por áreas del conocimiento Ciencias 9,2 0,09 Básicas Otros 4,7 0,05 Ingenierías Artes y Humanidades Medicina Economía Ciencias Básicas Otros 11

12 Tablas cruzadas Cantidad de personas Género Nivel Educativo Mujeres Hombres (en blanco) Total general 10th th th st-4th th-6th th-8th th Assoc-acdm Assoc-voc Bachelors Doctorate HS-grad Masters Preschool Prof-school Some-college (en blanco) Total general

13 Gráfico Dinámico 13

14 Representación de la distribución de los datos Las tablas de frecuencias han sido ampliamente utilizadas en aquellos casos donde la cantidad de valores de una variable hace necesario agruparlos en clases, rangos o intervalos para facilitar su descripción e interpretación. Tabla de Frecuencia # Fallas > 9 Frecuencia absoluta

15 Histogramas de frecuencia (frequency histograms)(1/2) 15

16 Histogramas de frecuencia (2/2) Estos datos corresponden a una muestra de personas del total de encuestados en el censo de EEUU, usando como condiciones de filtrado la edad (mayor de 16 años) y que trabajara al menos una hora a la semana, entre otras condiciones. K =5 K =25 16

17 Dificultad en la construcción de histogramas: Selección del número apropiado p de intervalos (K) Entre las reglas más conocidas se tienen: K = n 5 K 20 K = log33l 10 ( n ) 17

18 Polígono de frecuencias acumuladas (Empirical cumulative frequency) 18

19 Diagramas de Cajas y Bigotes (Boxplots) 19

20 Valores atípicos (outliers) 20

21 Diagramas de Cajas y Bigotes e histogramas 21

22 La Estimación de la Densidad del Núcleo (Kernel density estimation) frecue encia relativa Años de escolaridad de los encuestados 22