Auditoria & Calidad de Datos

Transcripción

1 Universidad Nacional de La Pampa Facultad de Ciencias Económicas y Jurídicas Auditoria & Calidad de Datos Control Interno y Auditoria Herramientas Informáticas II Contador Público Nacional Cr. Carlos Pérez Poveda - Mg. Ing. Mario José Diván Versión 1.0 Octubre de 2010 Tecnología de la Información. Enfoque de Auditoria.. Gestión de la Calidad de Datos. Marcos Formales de Medición y Evaluación Modelo de Madurez de Calidad de Datos Reseña de los temas a abordar Diván 1

2 Tecnología de la Información. Enfoque de Auditoria.. Gestión de la Calidad de Datos. Marcos Formales de Medición y Evaluación Modelo de Madurez de Calidad de Datos Reseña de los temas a abordar Globalización de la TI Hay límites? Tecnología de la Información. Enfoque de Auditoria Diván 2

3 Conoce Alguna Empresa Sin Automatización de Sistemas de Información? Tecnología de la Información. Enfoque de Auditoria A la fecha: Existe dependencia de los sistemas informáticos Los sistemas informáticos automatizan procesos manuales o mecánicos Si los procesos manuales tiene controles y dichos controles son verificados cada cierto lapso aperiódico Porqué no hacer lo mismo en Tecnología? Tecnología de la Información. Enfoque de Auditoria Diván 3

4 La Tecnología de la Información es un área sumamente especializada y excesivamente técnica Es un problema? Tecnología de la Información. Enfoque de Auditoria Incorpora mucha complejidad, por cuanto se puede Auditar : Bases de Datos Calidad de Datos Datos? Siempre existe persistencia? Streaming Ej: Mercado de Valores Entre otras sub áreas Redes Lógicas y Físicas Mecanismos de Autenticación & Autorización Software Entre otros Tecnología de la Información. Enfoque de Auditoria Diván 4

5 Existen guías y recomendaciones ISACA (Information Systems Auditability and Control Association) Creada en 1969 Objeto: Proveer guías prácticas, benchmarks y herramientas para las empresas que emplean sistemas de información. ISACA define los roles de: Gobierno de los Sistemas de Información (Crítico) Seguridad Auditoria Aseguramiento Tecnología de la Información. Enfoque de Auditoria Existen guías y recomendaciones ISACA - COBIT Objetivos de Control de IT Misión: Investigar, desarrollar, publicar y promover un marco de control de gobierno de TI, aceptado internacionalmente y actualizado para empresas y uso diario de administradores, profesionales de la TI y de aseguramiento ISACA RISK IT: Guías prácticas para la Gestión de Riesgo vinculada a la IT. ISACA VAL IT: Provee técnicas y prácticas para evaluar y gestionar la inversión en innovación y cambios en los negocios Gobierno de los Sistemas de Información (Crítico) Seguridad Auditoria Aseguramiento Tecnología de la Información. Enfoque de Auditoria Diván 5

6 Existen guías y recomendaciones Tecnología de la Información. Enfoque de Auditoria Imagen extraída de Risk-IT Overview (ISACA) Tecnología de la Información. Enfoque de Auditoria.. Gestión de la Calidad de Datos. Marcos Formales de Medición y Evaluación Modelo de Madurez de Calidad de Datos Reseña de los temas a abordar Diván 6

7 Calidad Qué significa que un dato sea de calidad? Qué significa que una estructura de datos sea de calidad? Un índice es de calidad? Cuando? Calidad del producto SW La totalidad de las características de un ente que tiene que ver con la capacidad de satisfacer las necesidades implícitas y/o explícitas [ISO-IEC ] Satisface a quién? Un cliente? Diván 7

8 Calidad del producto SW Clientes en términos internos y/o externos a la organización bajo análisis Momento de Verdad. (Jan Carlzon (1991) El momento de la verdad. Ed. Díaz de Santos.) Percepción del cliente en sistemas: Productivos Servuctivos Híbridos Calidad del producto SW Clientes en términos internos y/o externos a la organización bajo análisis Todos los sistemas productivos, servuctivos y/o híbridos son iguales? Dominio del Negocio La Normalización de los Datos de una Persona Serían lo mismo en cuanto a la BD del BCRA que para una cadena de hoteles? Diván 8

9 Calidad. Distintas Visiones (Garvin,87) Visión Trascendente (Olsina, 2004) Excelencia al percibir un ente excede los patrones de referencia del observador. Se reconoce cuando se ve o percibe Problema El concepto de excelencia es intuitivo y subjetivo Calidad. Distintas Visiones (Garvin,87) Visión del Usuario (Olsina, 2004) La calidad queda determinada por lo que el usuario: Necesita Quiere Espera Las necesidades y expectativas están en función del usuario y la incidencia de su contexto. Diván 9

10 Calidad. Distintas Visiones (Garvin,87) Visión del Producto (Olsina, 2004) Referida a los atributos y características del producto: Visibles al usuario (Calidad externa) No Visibles al usuario (Calidad interna) Cómo se interpretaría en un aplicativo? y en una BD? Se puede medir y evaluar. Calidad. Distintas Visiones (Garvin,87) Visión del Productor (Olsina, 2004) Referida a la conformidad con la especificación y a las características del proceso de producción Visión del Valor (Olsina, 2004) Relación costo/beneficio Diván 10

11 Modelo de Calidad (ISO-IEC ) El conjunto de las características y relaciones entre ellas, que proveen la base para especificar requerimientos de calidad y evaluar calidad Porqué especificar y evaluar? Modelo de Calidad (ISO-IEC ) Diván 11

12 Aseguramiento de la Calidad Conjunto de actividades planificadas y sistemáticas necesarias para garantizar que el producto satisfará los requerimientos explícitos e implícitos de la calidad [Olsina (2004) Teoría de Métricas. UnLPam] Planificación Sistemático Retroalimentación, Dinamismo, Adaptabilidad, Entropía, Sinergia, Satisfacer Requerimientos Interoperabilidad Capacidad de dos o más sistemas o componentes de intercambiar datos y de utilizar los datos que han sido intercambiados [IEEE Standard Computer Dictionary: A Compilation of IEEE Standard Computer Glossaries, New York (1990)] Intercambiar Utilizar Diván 12

13 Interoperabilidad. Ejemplos: Open Document: Permite el intercambio de documentos de varios paquetes de automatización de oficina (ISO-IEC OASIS Open Document v1.1) HL7: Organización para el desarrollo de estándares internacionales. Se aboca a permitir el intercambio, gestión e integración de datos asociados al cuidado de la salud. Adaptaciones locales en Argentina, Ejemplo ADESFA. XBRL: Lenguaje de Reporte de Negocios Extensibles. Permite el intercambio de información financiero incorporando semántica a la estructura. Dimensiones de la Calidad de Datos [Pipino, L., Lee, Y. & Wang, R. (2002) Data Quality Assesment. Communications of the ACM, vol. 45 nro.4] Accesibilidad Volumen de datos apropiado Credibilidad Completitud Representación concisa Representación consistente Facilidad de manipulación Libre de Error Diván 13

14 Dimensiones de la Calidad de Datos [Pipino, L., Lee, Y. & Wang, R. (2002) Data Quality Assesment. Communications of the ACM, vol. 45 nro.4] Interoperabilidad Objetividad Evitar sesgos Relevancia Asociado al contexto de aplicación Reputación En cuanto a la fuente originante o contenido Seguridad Actualización Comprensibilidad Valor Agregado. Gestión de la Calidad de Datos. Marcos Formales de Medición y Evaluación Modelo de Madurez de Calidad de Datos Reseña de los temas a abordar Diván 14

15 Gestión Visión Tradicional Planificar, Organizar, Dirigir y Controlar La evolución natural del concepto ha llevado a incorporar aspectos tales como: Monitorización Retroalimentación progresiva Mejora continua Perfil e intereses de las personas Etc. Gestión de la Calidad de Datos Managed Process A Managed Process ia a performed process that is planed and executed in accordance with policy, employs skilled peopled who have adequate resources to produce controlled outputs; involves relevant stakeholders; is monitored, controlled and reviewed; and is evaluated for adherence to its process description [Chrissis, M., Konrad, M. & Shrum, S. (2005) CMMI. Guidlines for process integration and product improvement. Addison-Wesley] Gestión de la Calidad de Datos Diván 15

16 Gestión de la calidad de datos implica: Definición de roles y responsabilidades Organización e integración de las personas con sus respectivos perfiles Organización de las políticas de datos, implementación y monitoreo de las mismas Gestión de la Calidad de Datos Gestión de la calidad de datos implica: Definición de necesidades de información y adecuación a las necesidades organizacionales Definición de la visión (usuario, producto, etc.) que afecta los atributos de la calidad Definición de procesos de generación, abastecimiento, transformación y/o depuración de datos Gestión de la Calidad de Datos Diván 16

17 Gestión de la calidad de datos implica: Que cada proceso: Sea planificado y ejecutado acorde a las políticas Incorpora personas con los perfiles adecuados Salidas controladas (Control Estadístico de Procesos) Involucra los interesados Es monitorizado (Medido y Evaluado. Patrón de Referencia) Es revisado (Adecuación a las necesidades de información) Gestión de la Calidad de Datos Problemáticas fundamentales de los datos Valores Faltantes. Ausencia de valor en un atributo definido bajo un dominio específico Ante la situación Ignorar el dato? Completar el dato manualmente? Si lo completo Qué valor utilizo? La ausencia de valor es indistinto al tipo de variable o atributo Gestión de la Calidad de Datos Diván 17

18 Problemáticas fundamentales de los datos Ruido. Es un error aleatorio o varianza en una variable medida. Se asocia con atributos numéricos. Ante la situación Ignorar el dato o tal vez lo abordo como ausente? Genero grupos para analizar sus propiedades? Combino la inspección humana asistido por computadora? Regresión Intento suavizar la serie Sesgo Gestión de la Calidad de Datos Problemáticas fundamentales de los datos Inconsistencia (Incoherencia y/o no cohesividad). Datos con definición ambigua o bien, que no cumplen las normas de ubicación contextual o de integridad definidas sobre la estructura de datos empleada. Ante la situación Inspección manual? Implementar Reglas de Integridad Referencial? Implementar mecanismos de control por eventos? Gestión de la Calidad de Datos Diván 18

19 Problemáticas fundamentales de los datos Outliers. Datos cuyo comportamiento no responde al comportamiento general de una serie de datos. No implican necesariamente un error. Ante la situación Los elimino? Analizo? Focos iniciales de auditoria Mantengo solo los outliers para una serie dada? Gestión de la Calidad de Datos Problemáticas fundamentales de los datos. Ejemplo: Diván, M. (2010). Evolución en el tiempo de procesamiento en el componente Statistical Manager Gestión de la Calidad de Datos Diván 19

20 Problemáticas fundamentales de los datos. Ejemplo: Diván, M. (2010). Evolución en el tiempo de procesamiento en el componente Statistical Manager Gestión de la Calidad de Datos Problemáticas fundamentales de los datos. Ejemplo: Diván, M. (2010). Evolución en el tiempo de procesamiento en el componente Statistical Manager Gestión de la Calidad de Datos Diván 20

21 Problemáticas fundamentales de los datos. Ejemplo: Outliers. Se pueden identificar en forma analítica mediante rangos intercuartiles (RIQ). L1= Q1 1.5*RIQ L2= Q1 3*RIQ U1=Q *RIQ U2=Q3 + 3*RIQ Small Outlier (L2< Valor <= L1) o (U1 < Valor <=U2) Big Outlier (Valor < L2) o (Valor >U2) Diván, M. (2010). Evolución en el tiempo de procesamiento en el componente Statistical Manager Gestión de la Calidad de Datos Problemáticas fundamentales de los datos. Ejemplo: Diván, M. (2010). Evolución en el tiempo de procesamiento en el componente Statistical Manager Gestión de la Calidad de Datos Diván 21

22 Tecnología de la Información. Enfoque de Auditoria.. Gestión de la Calidad de Datos. Marcos Formales de Medición y Evaluación Modelo de Madurez de Calidad de Datos Reseña de los temas a abordar La idea de medir está buena pero : Por dónde empiezo? Cómo lo defino? Cómo lo implemento? Cómo puedo automatizarlo? Marcos Formales de Medición y Evaluación Diván 22

23 Qué es un marco formal?: Un marco formal de medición y evaluación es un modelo conceptual que permite definir, monitorizar y retroalimentar necesidades de información, conceptos, entidades bajo análisis, métricas, mediciones, indicadores, criterios de decisión y sus procesos asociados Métrica versus Medición Directas e indirectas Indicador Criterios de decisión Indicador elemental y global Marcos Formales de Medición y Evaluación Ejemplo?: C-INCAMI (Context Information Need, Concept Model, Attribute, Metric and Indicator) Basado en una propuesta ontológica de indicadores (Olsina, 2004) Parte de la hipótesis de que sin metadatos que sustenten la definición de los procesos de definición, medición y evaluación es difícil garantizar que los valores de las mediciones e indicadores son repetibles y comparables. Modela la información contextual dentro del proceso de medición y evaluación. Marcos Formales de Medición y Evaluación Diván 23

24 Tecnología de la Información. Enfoque de Auditoria.. Gestión de la Calidad de Datos. Marcos Formales de Medición y Evaluación Modelo de Madurez de Calidad de Datos Reseña de los temas a abordar Cada empresa puede establecer sus propios criterios de gestión de datos Dependerá en gran medida de la experiencia de la empresa para que las prácticas tengan una adecuada relación eficacia/eficiencia Cómo saber el grado de madurez que una empresa posee en términos de datos y su calidad asociada? Modelo de Madurez de Calidad de Datos Diván 24

25 CALDEA es un modelo de calidad de datos basado en niveles de madurez basado en CMMI [Caballero, I. & Piattini, M. (2003) CALDEA: A Data Quality Model Based on Maturity Models. In proc. 3rd International Conference on Quality Software. IEEE] Su objetivo es servir de guía para mejorar los procesos de gestión de datos dentro de una organización Modelo de Madurez de Calidad de Datos CALDEA plantea los siguientes niveles en consonancia con CMMI: 1. Inicial No existen esfuerzos coordinados y gestionados en orden de asegurar la calidad de los datos Modelo de Madurez de Calidad de Datos Diván 25

26 CALDEA 2. Definido Los esfuerzos se focalizan en: 1. Especificar los procesos completos 2. Identificar y definir cada componente 3. Identificar las relaciones entre ellos 4. El modo en que son ejecutados de acuerdo a proyectos previos Las actividades necesarias del nivel son: Gestión de proyectos para los procesos de Gestión de Datos Gestión de Requerimientos de datos Gestión de métricas y dimensiones de la calidad Gestión de orígenes y destinos de datos Gestión de proyectos de adquisición Modelo de Madurez de Calidad de Datos CALDEA 3. Integrado Satisface las focalizan en: prácticas del nivel 2 y los esfuerzos se 1. Desarrollar y ejecutar organizacionales, de acuerdo a las políticas de datos 2. Los diferentes temas de calidad de datos deben estandarizarse 3. Captar conocimiento en base al feedback Las actividades necesarias del nivel son: Gestión del equipo de calidad de datos Verificación y validación del producto de la calidad de datos Gestión de Riesgo en la Calidad de Datos. Impacto de pobre calidad en los datos dentro de los sistemas Gestión de estandarización de la calidad de datos Toda experiencia aprendida puede ser documentada Gestión de los procesos organizacionales Modelo de Madurez de Calidad de Datos Diván 26

27 CALDEA 4. Gestión Cuantitativa Satisface las prácticas del nivel 3 y los esfuerzos se focalizan en: 1. Medir los procesos de gestión de datos y sus componentes Las actividades necesarias del nivel son: Gestión de las mediciones de los procesos de gestión de datos Modelo de Madurez de Calidad de Datos CALDEA 5. Optimización Satisface las prácticas del nivel 4 y los esfuerzos se focalizan en: 1. Identificar causas o modos de optimizar procesos Las actividades necesarias del nivel son: Análisis de causas para prevención de defectos Innovación y desarrollo organizacional Mejora continua Modelo de Madurez de Calidad de Datos Diván 27

28 ISACA: COBIT, Risk IT & VAL IT Calidad. Datos & Interoperabilidad. Problemas fundamentales de los datos Gestión de la Calidad de Datos: Gestión Equipos de Calidad Formalización de procesos y su evaluación Marco Formal de Medición y Evaluación Modelos de referencia en calidad de datos Síntesis mjdivan@divsar.com.ar 2010 Muchas gracias por su atención Diván 28