Taller 2.2: La calidad de los datos, limpieza y anonimización

Transcripción

1 Taller 2.2: La calidad de los datos, limpieza y anonimización Desarrollo Sostenible de Octubre, 2015 Ciudad de Panamá, Panamá

2 Anonimización de los datos

3 Conceptos generales Dato personal: toda información de cualquier tipo, referida a personas físicas o jurídicas, determinadas o determinables. Dato sensible: datos personales del origen racial y étnico, preferencias políticas, convicciones religiosas o morales, informaciones referentes a la salud, vida sexual y similares. Anonimización de datos: tratamientos de datos personales que permiten que la información obtenida no pueda vincularse a una persona de terminada o determinable. Información pública: toda la información en poder, producida u obtenida por las organizaciones del sector público, con independencia del soporte en que esté.

4 Datos susceptibles a la apertura Toda la información en poder de las instituciones del sector público Que no sea dato personal Que no sea secreto o reserva nacional Temas que deben ser regulados con la ley de acceso a la información y la ley de protección de datos personales.

5 Casos generales en que los datos personales se pueden abrir Cuando haya consentimiento previo del titular Cuando se trate de funciones internas del Estado Cuando haya una relación contractual y la información sea necesaria para la ejecución Cuando se hayan anonimizado

6 Proceso de anonimización Los nombres, domicilios, teléfonos, origen racial, opiniones políticas, vida sexual y similares se deben: - Suprimir, o - Anonimizarse Ejemplo práctico - José Gómez contra María Pérez = - Calle Rondeau Nº 1000 = - Teléfono Nº = - Correo jgomez@mmm.com = - José es afiliado al gremio aduanero = AA contra BB Calle XX Nº 0000 Teléfono Nº xxxx@xxx.xxx AA es afiliado al gremio ZZ

7 Otro caso Se pueden publicar datos personales cuando son funcionarios públicos y la información está relacionada con las razones de su función Cómo se resuelve?... Nombre Puesto Teléfono Teléfono de Domicilio Ronald Carter Presidente CTP Nombre Puesto Teléfono Teléfono de Domicilio Ronald Carter Presidente CTP

8 Previo a la apertura de datos siempre Se debe realizar un proceso de anominización Se debe evaluar la posibilidad de reidentificación de los datos anonimizados Se debe evaluar el impacto de la protección de datos, cuando esta se esté publicando

9 Calidad de los Datos

10 Qué es la calidad?

11 Qué es la calidad de los datos? Aunque la calidad no pueda ser definida, uno sabe lo que es (Robert Pirsig, filósofo) Los MODELOS DE CALIDAD son guías que nos permiten definir que es la calidad de datos en cierto contexto

12 Existen diversos problemas con el ingreso y registro de los datos Nuestros conjuntos de datos tienen problemas: Errores de digitación Registros intercambiados Sin normalización Incompletos Desactualizados Inconsistentes

13 Ejercicio 1: Cuáles errores puede encontrar? Cod Título Director Año Cantversiones Ultimo-añoversion 1 Casablanca Weir La sociedad de los poetas muertos Curtiz NULL 3 Vacaciones en Rma Wylder NULL 4 Sabrina NULL

14 Ejercicio 1: Cuáles errores puede encontrar? error de digitación registros intercambiados inconsistentes Cod Título Director Año Cantversiones Ultimo-añoversion 1 Casablanca Weir La sociedad de los poetas muertos Curtiz NULL 3 Vacaciones en Rma Wylder NULL 4 Sabrina NULL incompletos desactualizados

15 Existen diversos problemas con el ingreso y registro de los datos Nuestros conjuntos de datos pueden tener aún más problemas: Forma de presentación Exclusividad/Carácter único Referencias incorrectas Duplicados Integridad

16 Ejercicio 2: Cuáles errores puede encontrar? forma de presentación duplicados Cod Nombre Residencia Nacimiento Celular Cod. Postal 1234 John Miller Berlín Garcia, Daniel Berlín Ronald Carter BRD exclusividad, carácter único referencias incorrectas integridad

17 Gestión de la calidad de los datos Estimación de la calidad Data profiling Modelo de calidad Monitoreo de la calidad Medición y evaluación Limpieza Análisis de procesos de negocios involucrados Análisis de causas de mala calidad Rediseño del sistema

18 Modelo de calidad de datos El modelo de calidad de datos representa nuestra definición de calidad. Está formado por Dimensiones y factores a medir Métricas y métodos dónde estas se aplican Metadatos de calidad dónde se registran los resultados de la medición Qué evalúo? Cómo evalúo? Qué resultó?

19 Cómo se construye un modelo de calidad de datos? Enfoques: Desde los requerimientos de usuarios - Defino datos prioritarios Desde los datos - Realizo data profiling para conocer los datos y sus problemas Desde objetivos de la organización - Método goal-question-metric

20 Dimensiones Qué evalúo? Son muchas y variadas según la literatura, estas son tres comunes Exactitud: grado en que los datos están correctos y libres de errores Frescura: grado en que los datos están suficientemente actualizados para la tarea en cuestión Completitud: grado en que no hay datos faltantes, y son de profundidad y amplitud suficiente para la tarea en cuestión

21 Dimensiones: Exactitud Factores para exactitud: Corrección sintáctica Hay errores de formato o de escritura? Precisión El nivel de detalle es el adecuado? Consistencia Hay restricciones de integridad en mis datos?

22 Dimensiones: Frescura Factores para frescura: Edad Qué tan viejos son los datos respecto a su creación? Actualidad Los datos reflejan la realidad actual?

23 Dimensiones: Completitud Factores para completitud: Cobertura Qué porción de la realidad está representada en estos datos? Están todos? Densidad Qué porción de datos vacíos o nulos hay? Estos nulos tienen un significado?

24 Métricas Las métricas indican cómo se cuantifica un factor de dimensión Los métodos indican cómo se calcula la métrica. Dimensión Factor Métrica Completitud Densidad (nulos) Cómo evalúo? Cuantificar los atributos nulos Método Si el atributo es nulo se obtiene 1, y se obtiene 0 en caso contrario Resultado Metadatos de la calidad del conjunto de datos Qué resultó?

25 Ejercicio 3: Construya su modelo de calidad de datos 1. Conformen grupos de 2-3 personas 2. Definan un perfil, unos como productores y otros como consumidores de datos 3. Seleccionen un conjunto de datos específico 4. Identifiquen problemas o errores comunes con esos datos (data profiling) 5. Propongan al menos 3 factores de dimensiones de calidad y describan cómo los van a evaluar 6. Compartan los resultados con todos

26 Ejercicio 3: Construya su modelo de calidad de datos Exactitud Corrección sintáctica Precisión Consistencia Frescura Edad Actualidad Completitud Cobertura Densidad

27 Herramientas para la limpieza y corrección de datos OpenRefine: - Herramienta open source que soporta datos de diferentes tipos - Permite hacer tareas de data profiling - Permite consolidar y transformar datos (limpieza y corrección) -

28 Muchas gracias David Zamora, Consultor International UNDESA/DPADM Víctor Díaz, ANTAI Proyecto OGD UNDESA Guía de OGDCE Este taller Estas diapositivas