Selección de fuentes de datos y calidad de datos

Transcripción

1 Selección de fuentes de datos y calidad de datos ESCUELA COMPLUTENSE DE VERANO 2014 MINERIA DE DATOS CON SAS E INTELIGENCIA DE NEGOCIO Juan F. Dorado José María Santiago

2 . Valores atípicos. Valores faltantes. Valores erróneos. Eliminación. Corrección ó

3 Limpieza: Utilizar algoritmos robustos a datos atípicos o desaparecidos (p.e. árboles de decisión) Filtrar información Reemplazar valores con técnicas de imputación Discretización: transformar datos continuos en discretos Transforma ción: Técnicas de reducción o aumento de las dimensiones Escalado simple y multidimensional

4 Características Puntuación extrema en una variable Produce distorsiones en los análisis Alejados del promedio de observaciones Causas: Errores de procedimiento: codificación, grabación, entrada de datos (Acción: Filtrado, eliminación, recodificación a ausentes ) Observaciones extraordinarias, con explicación (se retienen si no anecdóticas) Observaciones extraordinarias, sin explicación (Eliminación) Observaciones fuera de rango ordinario de valores de la variable (Eliminación) * Los casos atípicos hay que analizarlos desde perspectiva multivariante, considerarse en el conjunto de todas las variables

5 Análisis exploratorio univariante: Gráficos de caja y bigotes. Diagramas de control Detección: Estadisticos robustos de la variable y ver diferencias respecto de no robustos: Media truncada: quita 15% de los valores en cada extremo.media winsorizada: sustituye ese 15% por valores del centro de la distribución. variación media respecto de la mediana desviación típica truncada desviación típica winsorizada ***Si no hay valores atípicos los estadísticos robustos y los normales no difieren mucho. Contraste formal estadístico par detectar valores atípicos: Test de Dixon, Test de Grubs

6 Análisis Bivariante: Gráfico de caja y bigotes múltiple (distintos gráficos de una variable para diferentes niveles de la otra). Gráficos de dispersión por pares de variables. Análisis de Influencia (leverage) de cada observación Análisis Multivariante: D2 (Distancia de Mehalanobis): distancia media cuadrática de cada observación respecto del centro medio de las observaciones. DFITS: influencias de cada observación en caso de ser eliminada del análisis.

7 Características Inexistencia de información para determinadas observaciones y variables Registro defectuoso Causas: Ausencia natural de información Falta de respuesta (total o parcial) Unión o actualización de base de datos

8 Tabla de frecuencias de valores perdidos, para cada variable, para tener idea de su magnitud. Evaluación: Comprobar si se distribuyen aleatoriamente en todo el conjunto de datos (para cada variable en relación a las demás variables). Matriz de correlaciones dicotomizadas

9 Tratamiento 1: Supresión según lista (por defecto): se quitan las filas (casos) con valores faltantes en alguna variable. Inconvenientes: si muchos valores perdidos=reducción drástica de ficheros y análisis no representativos. Supresión de casos según pareja, en análisis bivariante: se suprimen solo los casos con información faltante en cada par de variables en análisis, con independencia de lo que ocurra con otras variables. Se elimina menos información que con anterior.

10 Tratamiento 2: Suprimir casos (filas) o variables (columnas) que peor se comporten respecto de datos ausentes. Balancear lo que se gana o pierde con la supresión. Imputación de la información faltante. Estimación de valores en base a valores válidos de otras variables o casos.

11 Enfoque de disponibilidad completa: Imputación NO de valores, sino de caracteristicas de distribución: desviación típica, correlaciones Sustitución de valores ausentes por estimados: 1. Sustitución del caso: cuando casos con casi o toda la información ausente, se sustituye todo el caso por uno nuevo, ajeno a la muestra.

12 Sustitución de valores ausentes por estimados: 2. Sustitución por la media: los valores ausentes se sustituyen por la media de los valores válidos de la variable correspondiente. Fácil, pero altera correlaciones e invalida estimaciones de la varianza. 3. Sustitución por la mediana: cuando valores más extremos en variable se usa mediana (+robusta) y no media. 4. Sustitución por interpolación de valores adyacentes (media o moda da un cierto nº de valores adyacentes.

13 Sustitución de valores ausentes por estimados: 5. Sustitución por valor constante, derivado de fuentes externas, juicio de expertos o investigación previa. 6. Imputación por regresión: predicción del valor a partr de una ecuación de regresión con otras variables. Originará correlaciones más elevadas con variables de las que proviene. 7. Imputación múltiple: combinación de varios métodos anteriores.

14 Puntos a tratar Detección y tratamiento de valores en las variables cualitativas Detección y tratamiento de valores en variables cuantitativas Tratamientos de valores perdidos

15 Libro de códigos de la base de datos PATIENTS.TXT

16 Puntos a tratar Detección y tratamiento de valores en las variables cualitativas Detección y tratamiento de valores en variables cuantitativas Tratamientos de valores perdidos

17 Detección y tratamiento de valores en las variables cualitativas Exploración de variables El objetivo es detectar valores ausentes y detectar errores en la codificación de las variables Generación de tablas de frecuencias. Buscamos los diferentes valores repetidos en la variable categórica.

18 Detección y tratamiento de valores en las variables cualitativas Solución de problemas Eliminación de valores erróneos. Recodificación de las variables. M -> Male F, f, 2 -> Female X, ausente -> ausente

19 Puntos a tratar Detección y tratamiento de valores en las variables cualitativas Detección y tratamiento de valores en variables cuantitativas Tratamientos de valores perdidos

20 Detección y tratamiento de valores en las variables numéricas Exploración de variables El objetivo es detectar, no solamente valores ausentes, sino también, detectar valores extremos o fuera de rango Utilización de estadísticos descriptivos para detectar esta información

21 Detección y tratamiento de valores en las variables numéricas Graficos

22 Detección y tratamiento de valores en las variables numéricas BOX-PLOT

23 Detección y tratamiento de valores en las variables numéricas Listado de valores fuera de rango Errores de transcripción de la informacion Valores ausentes especiales

24 Detección y tratamiento de valores en las variables numéricas Outlier bivariante

25 Detección y tratamiento de valores en las variables numéricas Descriptivos no afectados por valores extremos

26 Puntos a tratar Detección y tratamiento de valores en las variables cualitativas Detección y tratamiento de valores en variables cuantitativas Tratamiento de valores perdidos

27 Tratamiento de valores perdidos Por qué es importante tratar los valores perdidos? Determinados modelos matemáticos (modelos lineales, como la regresión lineal o la regresión de poison) no permiten la existencia de valores perdidos, produciéndose la perdida del caso entero para el modelo. Pueden inutilizar el poder predictivo de una variable sobre otra.

28 Tratamiento de valores perdidos Forma de tratar los valores perdidos Eliminación de casos con valores perdidos Eliminación de variables con demasiado valores perdidos Imputación de valores Tratamiento de valores de variables cuantitativas por medio de la categorización de la variable, y dejando una categoría mas con todos los valores perdidos.

29 Tratamiento de valores perdidos Imputación a través de valores de la variable A través de los estadísticos de la distribución como la media, la mediana, máximo. Minimo. Inconveniente: Modificamos la variabilidad de la variable. A través de los valores de otras variables Utilización de los valores de otras variables para calcular un modelo predictivo que nos de el valor de la variable en el caso de que esta contenga un valor perdido.

30 Bibliografía recomendada Cody, Ron Cody s Data Cleaning Techniques Using SAS, Second Edition. Cary, NC: SAS Institute Inc.

31 MUCHAS GRACIAS