PROYECTO CALIDAD DE DATOS CURSO 2011

Transcripción

1 PROYECTO CALIDAD DE DATOS CURSO 2011 GRUPO 4 1A. PARTE: MEDICIÓN DE CALIDAD EN LAS FUENTES DE DATOS Estela Pratto C.I Alexander Llanes C.I Fernando Plachicoff C.I INTRODUCCIÓN Este es un proyecto de la Asignatura Calidad de Datos de Tecnólogo en Informática, que consiste en la extracción de datos de un Sistema de Información web ( para la posterior medición de la calidad de sus datos. Se extraerán los datos básicos de cada hotel así como habitaciones disponibles y comentarios de usuarios que ya utilizaron sus servicios. Se planificarán mediciones y posteriormente se ejecutarán para obtener estadísticas 2. EXTRACCIÓN DE LOS DATOS 2.1. MÉTODO La extracción de los datos se realizó manualmente teniendo en cuenta los siguientes parámetros: Ciudades: Londres, París, Barcelona y Roma Fecha: 01/07/ /07/2011 Tipo de habitación: 1 habitación para 2 adultos. Para facilitar la carga de dichos datos a nuestro sistema de información, se implementó un formulario en PHP almacenado en un hosting junto con la Base de Datos para facilitar la carga simultánea tanto desde Uruguay o Arabia. La URL para acceder a esta página de carga es: Este formulario nos facilito la carga de los datos al crear automáticamente las relaciones necesarias entre diferentes atributos y claves de distintas tablas de nuestra BD, brindándonos la posibilidad de cargar al mismo tiempo 3 calificaciones y 2 tipos de habitaciones por hotel ingresado.

2 2.2. BASE DE DATOS El motor de Base de Datos elegido para este proyecto fue MySQL. Debido a que éste se encuentra disponible en el hosting utilizado, nos resulto muy útil y práctico. Dados los requerimientos presentados en el texto del proyecto, se definió un esquema de base de datos que cumpla con esos requerimientos y que nos permita trabajar con los datos obtenidos con la mayor facilidad y fluidez posible MER El MER quedó definido de la siguiente forma: 3. ANÁLISIS Y DEFINICIÓN DE LOS FACTORES DE CALIDAD A MEDIR En esta sección del documento se presentarán todos los factores a medir, junto con sus métodos, métricas y granularidades. La misma numeración aquí utilizada se verá reflejada en la Base de Datos y Sitio Web para la identificación de las mismas.

3 3.1. DIMENSIÓN EXACTITUD FACTOR: CORRECTITUD SEMÁNTICA Método: Comparación con referencial (implementado por nosotros), sobre Hotel.Ciudad y Hotel.Pais. o Celda: Booleano de Correctitud Semántica o Atributo: Ratio de Exactitud Semántica FACTOR: CORRECTITUD SINTÁCTICA Método: Por comprensión (chequear si satisfacen reglas de sintaxis), que Hotel.CantHabitaciones sea un número mayor que cero. Por restricción de la base de datos sólo se pueden ingresar números y un error sintáctico corresponde al valor 0. o Celda: Booleano de correctitud sintáctica Método: Por comprensión, chequear que Hotel.Categoria sea un número compuesto por un solo digito. Por restricción de la base de datos sólo se pueden ingresar números y un error sintáctico corresponde al valor 0. o Celda: Booleano de correctitud sintáctica Método: Por Extensión, comparar que Hotel.Pais y Hotel.Ciudad sean sintácticamente correctos, utilizando como diccionario para ello el referencial Ciudad-País. Ese método no se implementará debido a que el método de correctitud semántica antes descripto lo evaluará. o Celda: Booleano de correctitud sintáctica. Método: Por comprensión, chequear que Hotel.CalificacionGeneral sea un número de un solo dígito antes de la coma. o Celda: Booleano de correctitud sintáctica

4 Método: Por comprensión, Disponibilidad_Precio.Precio debe ser mayor que cero. o Celda: Booleano de correctitud sintáctica Método: Evaluacion.Fecha, debe ser distinto a 0000/00/00. o Celda: Booleano de correctitud sintáctica Método: Evaluacion.CuidadUsuario, verificar contra diccionario de ciudades del mundo. Se realizará de forma manual por la poca cantidad de registros afectados. o Celda: Booleano de correctitud sintáctica FACTOR PRESICIÓN Método: En Hotel.CalificacionGeneral, verificar que tenga un dígito luego de la coma. o Celda: Booleano de Precisión o Atributo: Ratio de Precisión 3.2. DIMENSIÓN COMPLETITUD FACTOR COBERTURA Método: Porcentaje de Hoteles de la realidad representados en nuestro SI. (Paris: 1878, Roma: 1602, Londres: 1050, Barcelona: 658) Métrica: Ratio de cobertura Granularidad: Tabla

5 FACTOR DENSIDAD Método: Calcular el porcentaje de valores no nulos en cada tabla. Las ponderaciones de cada atributo se encuentran en la BD. Las ponderaciones de las tablas son: 0.6 para Hotel y 0.1 para las demás. Métrica: Ratio de densidad (con valores ponderados). Granularidad: Tabla / Base de Datos 3.3. FRESCURA EDAD Método: Diferencia de tiempo entre el momento de la consulta y la fecha de ingreso de cada evaluación. o Celda: Edad (diferencia de tiempo medido en días). o Atributo: Promedio de Edad Granularidad: Celda / Atributo (Agregación de Celdas) En este caso, la Actualidad resulta un factor muy difícil de medir, debido a que no podemos saber con seguridad si los datos de la página web se actualizaron o no. Para ello deberíamos verificar todos los datos de nuestro SI uno a uno CONSISTENCIA INTEGRIDAD DE DOMINIO Método: Hotel.Categoria (número entero entre 1 y 5 ) o Atributo: Ratio de integridad de dominio Método: Hotel.CalificacionGral (número real entre 1 y 5) o Atributo: Ratio de integridad de dominio Granularidad: Celda / Atributo (Agregación de Celdas)

6 Método: Evaluacion.Fecha debe ser menor o igual a la fecha de creación de la BD o Atributo: Ratio de integridad de dominio. Método: Hotel.CantHabitaciones > 0 o Atributo: Ratio de integridad de dominio. Método: Disponibildad_Precio.Precio > 0 o Atributo: Ratio de integridad de dominio. Método: Disponibildad_Precio.CantDisponibles > 0 o Atributo: Ratio de integridad de dominio. Método: Eval_Asp.Calificacion (valor de evaluaciones) número entre 0 y 5 o Atributo: Ratio de integridad de dominio INTEGRIDAD INTRA-RELACIÓN Método: Hotel.Ciudad-> Hotel.Pais o Celda: Regla intra-relación o Atributo: Ratio de integridad intra-relación

7 3.5. UNICIDAD DUPLICACIÓN Método: Hoteles duplicados o Tupla: Booleano de Duplicación o Tabla: Ratio de NO duplicados Granularidad: Tupla /Tabla (Agregación de Celdas) CONTRADICCIÓN Método: Hoteles que difieren con otro en tan solo 1 atributo. o Tupla: Booleano de Contradicción o Tabla: Ratio de NO contradicciones Granularidad: Tupla / Tabla (Agregación de Celdas) 4. PLANIFICACIÓN DE LA MEDICIÓN Aprovechando las bondades que un almacenamiento en línea nos facilita, decidimos realizar las mediciones mediante programación WEB. El lenguaje utilizado fue PHP, conocido por los 3 integrantes del grupo. Mediante consultas SQL realizadas directamente sobre la BD en conjunto con la lógica en PHP aplicada sobre dichos datos se obtienen Metadatos a almacenar posteriormente en tablas dedicadas a dicha información en la misma BD. El esquema de los Metadatos quedó definido como se muestra a continuación:

8 Debido a la gran cantidad de métricas realizadas, resulto útil agruparlas por Entidad de nuestra BD, distinguiendo cada métrica con el número correspondiente a c/u como fue asignado en la sección 3 del presente documento, y seguido por el nombre del atributo al que se le mide la calidad. La métrica Factor densidad requería un almacenamiento distinto de sus metadatos, por lo que se creó una tabla (METADATOS_NONULL) en la que aparte de los metadatos almacenados para cada atributo de la BD, se almacena la ponderación (dentro de su correspondiente tabla) de cada atributo NOTAS En Factor Cobertura, debido a que no contamos con información fehaciente de el número exacto de hoteles existentes en cada uno de las ciudades investigadas, tomamos como el total de los hoteles, la suma de todos los hoteles que nuestra fuente de datos nos propone para cada ciudad. En Correctitud Sintáctica para Evaluacion.CuidadUsuario, debido a que únicamente 19 tuplas en nuestra BD contienen información sobre la ciudad del Usuario, consideramos que el tiempo y los recursos necesarios para la búsqueda de un diccionario, y la posterior implementación de ésta métrica son más de lo que le insume a una persona verificar las ciudades una por una, debido a esto, esta métrica en particular será realizada manualmente. En Contradicción, buscamos las posibles contradicciones, siendo estas las tuplas que difieren de otra en tan solo 1 atributo En Integridad Intra-Relación, tomamos como dominio válido el referencial utilizado para Correctitud Semántica REFERENCIAL Id. NombrePais NombreCiudad 1 Francia París 2 Italia Roma 3 Reino Unido Londres 4 España Barcelona 5. IMPLEMENTACIÓN Y EJE CUCIÓN DE LA MEDICIÓN La implementación de las métricas fue realizada en PHP como se hizo mención anteriormente, encontrándose dichas implementaciones en los archivos dentro de la carpeta Métricas. Para la visualización y ejecución de las mismas se deberá acceder a

9 Para la correcta inserción de los metadatos en sus correspondientes tablas, se creó un procedimiento que borra los metadatos existentes e inicializa nuevamente las tablas. Este procedimiento se ejecuta al seleccionar el link Inicializar Metadatos. Luego de Inicializar los Metadatos, podemos ejecutar el link de Ejecución de Métricas, este link ejecutará una a una las métricas detalladas anteriormente en el documento. En la estructura del código implementado para las métricas, se puede observar que estas fueron desarrolladas y agrupadas por factor. Como ejemplo se puede observar el archivo ubicado en: CalidadDeDatos/Metricas/factorSintactica.php. Al finalizar la ejecución de las métricas planteadas, los metadatos obtenidos quedan almacenados en las tablas nombradas en el punto anterior. Dichas tablas fueron creadas especialmente para alojar allí, los metadatos ordenados por factor (esto queda reflejado en los nombres de los atributos) y por tabla de origen (ej: METADATOS_HOTEL). Luego de tener todos los metadatos correctamente almacenados en sus tablas correspondientes, se puede proseguir ingresando al link Agregaciones de la pagina Web brunacion.com. Allí se podrán observar las agregaciones obtenidas a partir de los metadatos (en el siguiente punto hablaremos de las conclusiones que nos devuelven estas estadísticas). En la estructura de carpetas, el código implementado para las estadísticas se encuentra en: CalidadDeDatos/estadisticas. Allí se puede observar que las funciones que ejecutan dicha acción se encuentran también ordenadas por factor. Tanto en la carpeta de Estadísticas (donde se realizan las agregaciones) como en la de Métricas, se encuentra un archivo principal que ejecuta el resto de los archivos allí ubicados, esto nos facilita la escalabilidad del programa desarrollado, ya que es sencillo agregar en un futuro, un nuevo factor con sus respectivas métricas. En la siguiente imagen se puede observar la estructura de la carpeta Calidad de Datos:

10 6. CONCLUSIONES 6.1. SOBRE LA CALIDAD DE LOS DATOS: PARA LA TABLA HOTEL: Desde el punto de vista Semántico, las Ciudades y Países de todos los hoteles ingresados son 100% correctos. Con respecto al Nombre del Hotel, no se planificaron métodos, ya que el único control que podríamos realizar es el de nulidad, y éste está previsto en el formulario de ingreso. Desde el punto de vista Sintáctico, los atributos Categoría, Cantidad de Habitaciones y Calificación General, tienen un 100 % de correctitud. No se evaluaron los atributos Cadena y Tipo de Hotel por carecer de relevancia y Nombre de Hotel por no tener un diccionario para hacerlo. Las mediciones de Exactitud sobre la tabla muestran un % en la factor Precisión, sobre el atributo Calificación General del Hotel. El análisis de éste resultando, nos permitió reconocer que el error proviene de que el manejador de base de datos que utilizamos, no permite guardar los números reales con 0 a la derecha de la coma, almacenándolo como un entero (4.0 -> 4). Los atributos Categoría, Cantidad de Habitaciones, Calificación General, Ciudad y País, también fueron evaluados desde el punto de vista de Consistencia, obteniéndose un 100% como resultado. Desde el punto de vista de Unicidad, se obtuvieron resultados de 100% para los factores de No Duplicado y No Contradicción. Desde el punto de vista de la Completitud, se obtuvo un 92.32% de Densidad y un 2.7% de Cobertura. Este último dato representa la proporción de los hoteles que contiene nuestro sistema de información, con respecto a la base de datos objeto de extracción (hoteles.com) PARA LA TABLA EVALUACION: Los valores de los atributos Fecha y CiudadUsuario se evaluaron Sintácticamente. El atributo CiudadUsuario obtuvo 100% de valores correctos. La evaluación del atributo Fecha, arrojó algunos errores al ejecutar las métricas de los factores Sintáctico e Integridad de Dominio. Esto nos permitió encontrar una fecha fuera de rango y dos con formato incorrecto. Las tres fueron producto de un error de digitación al ingresar los datos al formulario.

11 PARA LA TABLA DISPONIBILIDAD_PRECIO: Los valores del atributo Precio son 100% Sintácticamente correctos. Los valores del atributo Cantidad de Habitaciones disponibles son 100% Consistentes. Con respecto al Tipo de Habitación no se planificaron métodos, ya que el único control posible es el de nulidad, y éste está previsto en el formulario de ingreso PARA LA TABLA EVALUACION_ASPECTO: Los valores del atributo Calificación son 100% Consistentes PARA LA TABLA ASPECTO: Con respecto al Nombre del Aspecto, no se planificaron métodos ya que el único control posible es el de nulidad, y éste está previsto en el formulario de ingreso SOBRE LA EXPERIENCIA DEL GRUPO: Como grupo nos pareció una experiencia muy productiva, ya que si bien hemos trabajado anteriormente con bases de datos, nunca nos habíamos enfocado en analizar su calidad, sino sólo en su utilización. Tal vez una de las experiencias más interesantes que tuvimos, fue un problema de codificación entre la base de datos (mysql) y el código php utilizado. El problema surgió al guardar caracteres específicos del idioma español (tilde y ñ). A nuestra vista, el ingreso en la base de datos, así como la impresión en pantalla, eran correctos. Sin embargo, al ejecutar la métrica de correctitud semántica, la comparación retornaba un error del tipo: París es distinto a París. Luego de varios días de investigación pudimos solucionar el problema, utilizando la misma codificación en ambos lados (bd y código php). Gracias a poder evaluar el mismo atributo a través de distintas métricas (exactitud semántica y consistencia intra-relación) y ver que existía una contradicción, pudimos encontrar el problema de codificación en la base de datos, que podría haber ocasionado otras falsas medidas. Durante el desarrollo del proyecto nos fuimos percatando de que el diseño de un correcto Modelo de Entidad-Relación (Mer), influye significativamente en la calidad de datos. Ya que en esta instancia se pueden prevenir errores de duplicados, unicidad, estandarización, entre otros. Otro punto interesante que vale la pena nombrar, es que es necesario tener buenas prácticas de programación y testing del código implementado, a la hora de desarrollar las métricas, ya que existe

12 la posibilidad de que surjan supuestos errores de calidad de datos que en realidad se deben a la incorrecta programación de las métricas. Con respecto al ingreso de información a la base de datos, implementamos un formulario que nos pareció los suficientemente práctico. Sin embargo cometimos algunos errores que fueron detectados con la ejecución de las métricas. En general nos resultó muy interesante la tarea, como forma de llevar a la práctica y asentar los conocimientos teóricos.