WE ARE EXPERTS IN DATA PROCESSING & ANALYTICS IDATHA. DARK DATA White Paper - IDATHA. Octubre IDATHA.COM

Tamaño: px

Comenzar la demostración a partir de la página:

Download "WE ARE EXPERTS IN DATA PROCESSING & ANALYTICS IDATHA. DARK DATA White Paper - IDATHA. Octubre 2015. IDATHA.COM"

María del Pilar López Marín
hace 8 años
Vistas:

1 DARK DATA White Paper -. Octubre COM

2 Resumen Ejecutivo Hoy en día las empresas recogen y almacenan enormes cantidades de datos. Estos datos se conservan en la mayoría de los casos para tareas de análisis, business intelligence, reportes y el cumplimiento de diversas normativas. Existen también otras razones para almacenar datos; estas incluyen temas sentimentales o conservación de históricos. Sea cual sea el propósito de retener estos datos, las empresas pronto se han dado cuenta que poseen más datos que sus procesos regulares requieren o usan. Aquellos datos que no se utilizan de forma regular obtienen el nombre de Dark Data. Son datos que nunca o muy rara vez fueron utilizados. Este tipo de información se recoge a menudo como parte de transacciones o intercambios; donde lo más común es que sean datos inocuos o referenciales. IDC estima que el 80% de los datos pertenecientes al Big Data, son dark data. Preservar este tipo de datos es costoso. Aunque sea información que no utilizamos, la conservación de la dark data no es más económica de la que no lo es. Las empresas deben tomar una posición más proactiva sobre este tema. No se puede ignorar la presencia del dark data ni despreciar el valor de la misma. Debemos analizar los mismos en busca de información valiosa y comprender correctamente cual es aquella data que no tiene sentido mantener..com

Existen también otras razones para almacenar datos; estas incluyen temas sentimentales o conservación de históricos.

3 Qué es Dark Data? La industria de TI no ha definido formalmente Dark Data. Para la mayoría, el concepto de dark data representa los datos que se mantienen porque una organización siente que la destrucción de los mismos puede resultar perjudicial de alguna manera. En otras palabras, podríamos definir de dark data como los datos que guardamos, pero que realmente no sabemos por qué los mantenemos. Cómo se generan estos datos? La dark data se genera en un número infinito de formas. Datos que se recogen en los sistemas transaccionales de diversos software, pero que no tienen relación directa con el negocio. Archivos de registro que se almacenan durante años, simplemente porque así se ha hecho siempre. Datos derivados de sobrantes de otros procesos. Archivos históricos de productos que la empresa ya no fabrica o distribuye. Todo forma parte del dark data. Una de las formas más comunes de generación de datos irrelevantes, es el resultado del control de versiones. Registros antiguos de documentos y otros datos no estructurados que se mantienen guardados con el propósito de una futura recuperación o referencia..com

En otras palabras, podríamos definir de dark data como los datos que guardamos, pero que realmente no sabemos por qué los mantenemos. Cómo se generan estos datos?

4 Dark data de diferentes formas Los ejemplos de dark data mencionados anteriormente nos muestran que este tipo de dato puede ser estructurado, semi-estructurado o sin estructura alguna. De hecho, en mayor medida, son los datos semi o no estructurados que presentan los mayores problemas. Los datos no estructurados, como su nombre indica, no tienen relaciones pre-establecidas o correlación con ningún otro dato. Es justamente por estas características, la falta de asociaciones y conexiones, la que causa que ingresen en la clasificación de Dark Data en primera instancia. Son datos huérfanos ; sin conexiones específicas que los vinculen a otros datos, por lo que su conservación o destrucción puede generar diversos inconvenientes a las empresas. El registro médico electrónico (EMR por sus siglas en inglés) es un buen ejemplo dónde podemos encontrar datos no estructurados. Las notas que realiza el doctor se registran en un campo de texto; pero obtener información por medio de la minería de datos es bastante compleja en estos casos. Habitualmente no existe una relación clara de lo que allí está escrito con cualquier otro campo que no sea el de la identidad del paciente. Así pues, se puede extender este ejemplo a cualquier tarea que implique la toma de notas, la elaboración de reportes, la creación de registros y más. El Valor del Dark Data El principal reto que presenta el dark data no es solo el almacenamiento, sino determinar su valor real, si es que tiene alguno. De hecho, muchos datos no salen a la luz porque las organizaciones simplemente no saben lo que contienen. Destruirlos podría ser muy arriesgado, pero analizarlos puede ser costoso. Y resulta difícil justificar ese gasto si se desconoce el valor potencial de los datos. Para determinar si el dark data merece un análisis ulterior, las organizaciones necesitan contar con medios de selección rápidos y rentables, que estructuren y visualicen los datos. Un hecho importante a la hora de comprender el dark data es entender que no es un acontecimiento aislado. Cómo comprender el valor de los datos? El primer paso para entender su valor es identificar qué información contienen, dónde se encuentra y el estado actual respecto a su exactitud, antigüedad, etc. Llegar a este estado exige: Analizar los datos para entender los fundamentos, como cuántos datos se tienen, dónde se encuentran y cuántos tipos (estructurados, no estructurados, semi-estructurados) hay. Categorizar los datos para empezar a entender cuántos datos y de qué tipos se tienen, así como la naturaleza general de la información que contienen (formato, antigüedad, etc). Clasificar la información en función de lo que pasará después. Se utilizará? Se destruirá? Se estudiarán en mayor profundidad estos datos? Una vez tomadas estas decisiones, se pueden enviar los grupos de datos a distintos lugares para aislar la información que se quiera analizar con mayor detalle. Una vez identificado el contexto relativo de los grupos de datos, nos podemos centrar en los datos que consideremos que pueden proporcionar conocimiento. También tendremos una imagen más clara de todo el entorno de los datos relativos a la organización, para poder establecer políticas de gobernanza de la información que aliviarán la carga del dark data, mientras empiezan a trabajar..com

Los datos no estructurados, como su nombre indica, no tienen relaciones pre-establecidas o correlación con ningún otro dato.

5 Reutilizar datos requiere coordinación y consolidación Otro de los retos para la mayoría de las empresas es que los datos que se pueden volver a utilizar, o que se deberían reutilizar, no se encuentran siempre en la misma ubicación o relacionados en un mismo sistema. Las aplicaciones destinadas a generar y mantener los datos incluso podrían estar en propiedad de diferentes organizaciones dentro de la empresa. Por ejemplo, los datos del call center pueden ser administrador por una organización que brinde el servicio a través de su software específico para dicha función. Por otro lado, los datos obtenidos por medio del equipo de ventas y de marketing se encuentran unificados en un CRM (Customer Relationship Management) que por la característica de sus datos, podría no estar disponible para otras áreas de la empresa. Aparte de las políticas internas asociadas con la propiedad de los datos, existen cuestiones fundamentales como la coherencia de los datos y la duplicidad través de estas organizaciones. En algunos casos, los datos similares pueden ser conflictivos en su naturaleza, debido al hecho de que cada organización ha recogido los datos en base a un punto de vista o perspectiva diferente. Todos estos factores tienen un rol primordial a la hora de considerar la calidad de los datos con lo que las empresas contarán..com

Las aplicaciones destinadas a generar y mantener los datos incluso podrían estar en propiedad de diferentes organizaciones dentro de la empresa.

6 Cómo puede ayudarlo? IMA Media Analytics Nuestra plataforma le permite simplificar la tarea de analizar los datos estructurados o no que pueda poseer su empresa u organización. Media Analytics elimina la necesidad de definir, crear y codificar esquemas intensivos previos para ser aplicados a sus datos. La utilización de nuestra potente herramienta le permitirá explorar y visualizar su dark data sin la necesidad de consumir grandes recursos y en un breve periodo de tiempo. Gracias a esto, podrá de forma rápida comprender la información oculta detrás de estos datos y podrá aplicar las acciones que correspondan de forma más eficiente y económica. Acerca de IDAHTA es una empresa especializada en la Ciencia de Datos, Big Data, Aprendizaje Automático y Procesamiento del Lenguaje Natural. Trabajamos día a día para posicionarnos como referentes en Latinoamérica. Nuestro objetivo es construir productos innovadores que generen información precisa y de valor para empresas y la comunidad. El expertise en estas áreas de Data Science, nos permite brindar servicios profesionales de consultoría y desarrollo para ayudar a potenciar el negocio de nuestros clientes. Para saber más sobre nuestras soluciones y como podemos ayudarlo, por favor visite nuestro sitio web o contáctenos para agendar una presentación. info@idatha.com Web: Referencias 1 Unlocking the hidden value of information [consulta: 10 de octubre de 2015] 2 Hidden value Dark Data [consulta: 10 de octubre de 2015] 3 Garner Dark Data [consulta: 9 de octubre de 2015].COM

La utilización de nuestra potente herramienta le permitirá explorar y visualizar su dark data sin la necesidad de consumir grandes recursos y en un breve periodo de tiempo.

Documentos relacionados

Sistemas de Gestión de Calidad. Control documental

4 Sistemas de Gestión de Calidad. Control documental ÍNDICE: 4.1 Requisitos Generales 4.2 Requisitos de la documentación 4.2.1 Generalidades 4.2.2 Manual de la Calidad 4.2.3 Control de los documentos 4.2.4