IDENTIFICACIÓN DE ELEMENTOS ESENCIALES PARA UNA INGENIERÍA DE EXPLOTACIÓN DE INFORMACIÓN

Transcripción

1 IDENTIFICACIÓN DE ELEMENTOS ESENCIALES PARA UNA INGENIERÍA DE EXPLOTACIÓN DE INFORMACIÓN Alumno Lic. Baldizzoni Ezequiel Director Dr. Dario Rodriguez (UNLa) Co-Director Mg. Hernan Amatriain (UNLa) TRABAJO FINAL PRESENTADO PARA OBTENER EL GRADO DE ESPECIALISTA EN INGENIERÍA EN SISTEMAS DE INFORMACIÓN ESCUELA DE POSGRADO FACULTAD REGIONAL BUENOS AIRES UNIVERSIDAD TECNOLÓGICA NACIONAL Ciudad Autónoma de Buenos Aires, 2016

2

3 RESUMEN Hoy en día existen propuestas de procesos recomendados para llevar adelante proyectos de ingeniería de explotación de información donde se detallan cuáles son los pasos que hay que realizar, las actividades a desarrollar en cada paso e incluso técnicas recomendadas para que esta tarea tan costosa retorne los resultados necesarios con el fin de que el negocio crezca. En la ingeniería de software existen corrientes de investigación que centran su atención en las buenas prácticas y los recursos humanos que forman el equipo de trabajo y los interesados. Partiendo del estado del arte de la ingeniería de explotación de información, en este trabajo se identifican potenciales elementos en común en los métodos y técnicas desarrollados, con el propósito de poner el foco sobre estos elementos en actividades de seguimiento y control. ABSTRACT Today there are proposals recommended to carry out engineering projects for the information manning that details what are the steps to perform processes, activities to develop every step and even techniques recommended for this very costly return results necessary in order to grow the business. In software engineering there are streams of research that focus on best practices and human resources that make up the team and stakeholders. Based on the existing theories of information manning, this paper potential elements identified in common in the methods and techniques developed for the purpose of putting the focus on these elements in monitoring and control.

4

5 INDICE ÍNDICE 1. INTRODUCCIÓN Contexto del trabajo final de especialidad Objetivo del trabajo final de especialidad Visión general del trabajo final de especialidad 2 2. EXPLOTACIÓN DE INFORMACIÓN Introducción KDD Metodología CRISP-DM Metodología P 3 TQ (Catalyst) Modelo de negocio (MII) Modelo de explotación de información (MIII) Metodología SEMMA Metodología MOPROPEI Técnicas de soporte a los proyectos de explotación de información Modelo propuesto para evaluación de viabilidad Derivación del proceso de explotación de información Propuesta de proceso de transformación de datos ELEMENTOS ESENCIALES Análisis de los diferentes métodos y técnicas Descripción de los elementos CONCLUSIONES Aportes de este trabajo Sumario de investigación REFERENCIAS 45 i

6 INDICE ii

7 INDICE ÍNDICE DE FIGURAS Figura 2.1 Metodologías más usadas según la comunidad científica. 6 Figura 2.2 Modelo de proceso KDD 8 Figura 2.3 Niveles de abstracción de la metodología CRISP-DM 9 Figura 2.4 Ciclo de vida de la metodología CRISP-DM basado en (Chapman et al., 2000) 9 Figura 2.5 Fases del modelo de proceso de la metodología CRISP-DM (Britos, 2008) 10 Figura 2.6 Interacción entre modelos P3TQ (Britos, 2008). 20 Figura 2.7 Fases componentes de la metodología SEMMA. Extraído de (Britos, 2008) 20 Figura 2.8 Dinámica general de la metodología SEMMA. Extraído de (Britos, 2008) 21 Figura 2.9 Proceso MoProPEI, sub procesos y fases (Martins et. al., 2014a) 24 Figura 2.10 Sub-proceso Gestión de MoProPEI (Martins et. al., 2014a) 25 Figura 2.11 Sub-proceso Desarrollo de MoProPEI (Martins et. al., 2014a) 26 Figura 2.12 Representación de la función de pertenencia para valor nada y poco 29 respectivamente Figura 2.13 Fórmulas para el estudio de viabilidad (Pytel et. al., 2012) 30 Figura 2.14 Proceso de transformación de datos para proyectos de explotación de 34 información (Baldizzoni, 2013) ÍNDICE DE TABLAS Tabla 2.1 Fases, tareas y actividades de la metodología CRISP-DM.(Britos, 2008) 13 Tabla 2.2 Tabla de valores por características 28 Tabla 3.1 Elementos esenciales de la ingeniería de explotación de información 38 iii

8 INDICE iv

9 INTRODUCCIÓN 1. INTRODUCCION En este Capítulo se plantea el contexto (sección 1.1), se establece el objetivo (sección 1.2), y se resume la visión general del trabajo final de la especialidad en ingeniería en sistemas de información (sección 1.3) CONTEXTO DEL TRABAJO FINAL DE ESPECIALIDAD Las organizaciones generan grandes cantidades de información sobre sus procesos productivos, desempeño operacional, mercados y clientes, sin embargo, el éxito de los negocios depende de la habilidad de parte de los gestores para entender las nuevas tendencias o cambios ocultos en sus datos. A esto se le suma la gran cantidad de información que produce hoy en día Internet lo que hace que el trabajo de extracción, procesamiento o explotación de dicha información resulte cada vez más arduo. La utilización de la ingeniería de explotación de información se orienta a identificar tendencias, comportamientos y conocimiento de la organización y su entorno (Baldizzoni, 2013; a Garcia Martinez, 2015). A la fecha en que se realizó este trabajo existen propuestas de procesos recomendados para llevar adelante proyectos basados en la ingeniería de explotación de información (Fayyad et al., 1996; Britos, 2008; Martins et. al., 2014) donde se detallan cuáles son los pasos que hay que realizar, las actividades a desarrollar en cada paso e incluso técnicas recomendadas para que esta tarea tan costosa retorne los resultados necesarios con el fin de que el negocio crezca. Las investigaciones en el campo disciplinar se orientan a mejorar los resultados, los tiempos y los recursos necesarios para este tipo de proyectos de ingeniería partiendo de los lineamientos del que debe hacer el equipo quitando el foco al cómo gestionar lo que se hace para que sea más efectiva (Pyle, 2003). Estas teorías expresan su interés sobre el proceso de explotación de información dejando de lado a los actores como el cliente y al equipo de ingeniería de explotación de información (Chapman et al., 2000; Moine et al., 2011-a; Moine et al., 2011-b). Mantener los recursos humanos actualizados es una realidad compleja. La rotación de personal y el crecimiento en la cantidad de proyectos requeridos por las organizaciones hacen que encontrar recursos humanos capacitados en las necesidades y procesos internos sea cada vez más complicado debido a la gran variedad de alternativas y, más allá de las alternativas, cada organización ajusta los procesos propuestos a su estructura interna y necesidades. Si bien en Ingeniería de Explotación de Información existe una gran cantidad de herramientas y resultados de investigación (Britos, 2008; Pytel et. al., 2012; Martins et. al., 2013, Baldizzoni, 2013) que aportan las herramientas que se debe utilizar en cada paso de los proyectos referidos a la 1

10 INTRODUCCIÓN ingeniería de explotación de información no existe cuerpos de conocimiento que aporte a los equipos de ingeniería de explotación de información cómo deben gestionar los proyectos, por lo que se puede postular como un problema abierto establecer buenas practicas que ayuden a facilitar la ejecución de este tipo de proyectos, buscando realizar mejoras a la forma de trabajo y en la gestión de las personas que están involucradas. Para poder lograr esto se intenta en este trabajo postular los potenciales elementos que todo proyecto de ingeniería de explotación de información tiene involucrados OBJETIVO DEL TRABAJO FINAL DE ESPECIALIDAD Este trabajo busca postular los potenciales elementos esenciales de todo proyecto de explotación de información con el fin de trazar una línea común a todos las metodologías y técnicas desarrolladas hasta el abordaje de ese trabajo para proyectos de ingeniería de explotación de información con el fin de aportar a esta última, posibles líneas de investigación que colaboren en obtener mejoras en los resultados, de mejor calidad y optimizando los recursos. Esta línea de trabajo busca potenciar los resultados partiendo de mejorar la forma en que se ejecutan los proyectos basados en ingeniería de explotación de información VISIÓN GENERAL DEL TRABAJO FINAL DE ESPECIALIDAD Este trabajo final de especialidad se encuentra estructurado en cinco capítulos que se describen a continuación. En el capítulo introducción (capítulo 1) se plantea el contexto del trabajo, luego se establece su objetivo y se resume dando una visión general del trabajo final de especialidad. En el capítulo Explotación de información (capítulo 2) se desarrolla una investigación sobre las metodologías más utilizadas según (Piatetsky, 2016), se presentan otras metodologías de interés y un conjunto de técnicas útiles para este trabajo que dan soporte a las actividades de los procesos propuestos para explotación de información investigados. Dentro del mismo se describen las metodologías KDD, CRISP DM, P3TQ, SEMMA y MoProPEI y se describen las técnicas modelo propuestas para la evaluación de viabilidad, derivación del proceso de explotación de información y propuesta de proceso de transformación de datos para proyectos de explotación de información. En el capítulo Elementos esenciales (capítulo 3) se plantean los elementos para una ingeniería de explotación de información que se obtienen del análisis de los diferentes métodos y técnicas descriptos en el capítulo 2. 2

11 INTRODUCCIÓN En el capítulo Conclusiones (capítulo 4) se plantean el aporte del trabajo de especialidad y un sumario de investigación para las futuras líneas de investigación. En el capítulo Referencias (capítulo 5) se listan todas las publicaciones consultadas para el desarrollo de este trabajo final de especialidad. 3

12 INTRODUCCIÓN 4

13 2. EXPLOTACIÓN DE INFORMACIÓN En este capítulo se presenta una introducción a la explotación de información (sección 2.1), continuando con los modelos de procesos y metodologías más utilizadas y recomendadas. En primer lugar se describe el modelo de proceso KDD (sección 2.2), la dinámica de la metodología CRISP-DM (sección 2.3), P 3 TQ (sección 2.4) SEMMA (sección 2.5), MoProPei (sección 2.6) y algunas de las técnicas de soporte a los proyectos de explotación de información (sección 2.7) INTRODUCCIÓN Dentro de la rama de las ingenierías se encuentran sub-disciplinas que colaboran con el descubrimiento de conocimiento en las organizaciones partiendo de los datos almacenados en el transcurso de su evolución. Entre una de estas sub-disciplinas se encuentra la inteligencia de negocio (Morik y Rüping, 2002; Moss, 2003; Moss y Atre, 2003; Stefanovic et. al., 2006) que propone un abordaje interdisciplinario, que tomando todos los recursos de información disponibles y el uso de herramientas analíticas y de síntesis con capacidad de transformar la información en conocimiento, se centra en generar a partir de estos, conocimiento que contribuya con la toma de decisiones de gestión y generación de planes estratégicos en las organizaciones (Thomsen, 2003; Negash y Gray, 2008). Otra de estas sub-disciplinas es la ingeniería de explotación de información la cual brinda soluciones informáticas la Inteligencia de Negocio con el fin de transformar la información almacenada propio o externa en conocimiento útil para las organizaciones (Mobasher et al., 1999; Srivastava et al., 2000; Abraham, 2003; Cooley, 2003). Esta rama de la ingeniería intenta colaborar con la búsqueda de patrones de interés para las organizaciones dentro de las grandes masas de información (Fayyad et al., 1996), y se encarga, mediante la utilización de sistemas inteligentes (Evangelos y Han, 1996, Kubat et al., 1998), de descubrir dichos patrones existentes en grandes masas de datos. Con el fin de lograr que las tareas realizadas por esta rama de la ingeniería llegue al éxito se desarrollaron una serie de procesos y metodologías que colaboren con la organización y la realización de las fases y tareas que abarcan. Un modelo de proceso es un conjunto de actividades organizadas que se llevan a cabo con el fin de realizar un trabajo. A ser organizada es posible que el resultado sea el esperado pero podemos decir que con solo esto no es posible garantizarlo. 5

14 Con el fin de mejorar las probabilidades de éxito se agregan al modelo de proceso, que es en pocas palabras detalla que hacer, una serie de tareas a realizar dando un marco al trabajo del cómo hacerlo. A esto se lo llama comúnmente metodología. En su trabajo, (Britos, 2008), muestra que existe una gran cantidad de metodologías para este tipo de proyectos con el fin de gestionar sus fases y actividades. La comunidad científica en su sitio web (Piatetsky, 2016) publica que las metodologías consideradas como probadas son CRISP-DM, SEMMA, KDD y P 3 TQ, incluye las metodologías más usadas como las descriptas en la figura 2.1. Figura 2.1. Metodologías más usadas según la comunidad científica. Puede notarse que desde el censo realizado en el 2007 hasta el último realizado en el año 2014 las organizaciones que optaron por no usar un proceso de redujeron del 4,7% al 0%. Esto da indicios de que las organizaciones optan por sistematizar sus procesos de explotación de información antes que librar al azar esta tarea tan costosa y beneficiaria. Cabe aclarar que tanto KDD como SEMMA no son metodologías puras según la definición antes presentada. En cambio P 3 TQ y CRISP-DM si lo son ya que aportan además del modelo de proceso una serie de tareas a realizar para concluir con la tarea de descubrimiento de patrones KDD El modelo de proceso KDD, Descubrimiento de Conocimiento en Bases de Datos, (del inglés Knowledge Discovery in DataBase) se presenta en primer lugar dado que es uno de los primeros 6

15 modelos de proceso en ser utilizado y hoy en día sigue siendo una de las propuesta a utilizar para organizaciones que deciden comenzar con este tipo de proyectos. Como puede verse en las estadísticas de (Piatetsky, 2016) de la figura 2.1 este sigue teniendo presencia en las organizaciones incluso en mayor medida que en el Este modelo intenta diferenciar lo que es la ejecución de procesos de minería de datos, o sea la ejecución de los algoritmos de descubrimiento de patrones de lo que es un proceso de explotación de información completo donde el proceso de minería es solo uno de las actividades. En la publicación de (Fayyad et al., 1996) se describe el modelo de proceso KDD donde se proponen una serie de actividades que en su conjunto dan soporte al proyecto para sistematizar el proceso de desarrollo del proyecto de explotación de información teniendo en cuenta la salida esperada de este proceso que es el conocimiento o patrones que pueden descubrirse partiendo de los datos de la organización. Además de estos en su publicación, Fayyad propone para este fin una serie de herramientas que colaboran con la automatización de las tareas de análisis de los datos de entrada al proceso. El modelo KDD aporta una serie de pasos o actividades que deben ser ejecutadas con el fin de garantizar el éxito de los resultados obtenidos en la aplicación de minería de datos. Para esto propone las siguientes actividades: Comprender el dominio de negocio: En esta actividad se realiza el entendimiento de las necesidades y objetivos del proyecto en cuanto al negocio. Seleccionar el conjunto de datos: Analizando las fuentes y los tipos de datos es necesario realizar una selección de los mismos según las necesidades y objetivos del proyecto. Limpiar y pre-procesar los datos: Teniendo en cuenta los problemas de los datos seleccionados se realiza la limpieza y se preparan los datos de entrada a los algoritmos de minería de datos. Reducción y proyección de los datos: En caso de que los datos o las variables sean demasiadas, se analiza la posibilidad de reducirlas. Relacionar el objetivo del proceso: Con un método particular de Minería de Datos. Análisis exploratorio y selección del modelo e hipótesis: Elección de los procesos de minería de datos que serán ejecutados luego. Implementar minería de datos: Según los datos limpios y el o los procesos de minería se ejecutan para descubrir los patrones. Interpretar los resultados: Pariendo del resultado anterior y siendo este analizado con el fin de entender es útil. Esto puede requerir volver a alguna actividad previa. 7

16 Actuar sobre el conocimiento descubierto: Utilizar el conocimiento como base para un sistema basado en conocimiento, realizar los reportes para el cliente o incluso confrontar con conocimientos previos o experiencias del negocio. En la figura 2.2 pueden verse las actividades y sus relaciones del proceso KDD. Figura 2.2. Modelo de proceso KDD METODOLOGÍA CRISP-DM CRISP-DM da sus inicios luego de que un grupo de empresas formado por SPSS, NCR y Daimler Chrysler en el año 2000 unifique sus fuerzas para crear una metodología que de soporte a sus herramientas. Según (Moine et al., 2011a; Moine et al., 2011b) y la comunidad científica (Piatetsky, 2016) en sus censos del 2007 y del 2014, esta metodología es la más utilizada en las organizaciones que llevan a cabo proyectos de explotación de información. En la publicación de (Chapman et al., 2000) muestra que el modelo de esta metodología consta de una serie de procesos jerárquicos que a su vez cuentan con una serie de tareas organizadas en cuatro niveles de abstracción donde la jerarquía refleja los niveles más generales dando lugar hasta llegar a los casos más específicos. El nivel de jerarquía mencionado puede verse en la figura

17 Figura 2.3. Niveles de abstracción de la metodología CRISP-DM. Dentro del primer nivel de la jerarquía, el nivel más general, CRISP-DM organiza el proyecto de explotación de información en 6 pasos o fases. Las fases del primer nivel de abstracción forman un ciclo de vida del proyecto de explotación de información. Esto puede verse en la figura 2.4. En esta puede verse todas las fases y las relaciones que existen entre estas, no obstante pueden existir más relaciones. Todas las fases se encuentran dentro de un círculo que simboliza la naturaleza cíclica del modelo de proceso propuesto. Figura 2.4. Ciclo de vida de la metodología CRISP-DM basado en (Chapman et al., 2000). 9

18 Las fases a su vez cuentan con una serie de tareas específicas concurrentes a todo proyecto de explotación de información. Estas tareas forman el segundo nivel de abstracción de la metodología. Cada tarea genérica está formada por sub-tareas más específicas que describen como deben llevarse a cabo las tareas genéricas dentro de proyectos de explotación de información específicos. Esto forma el tercer nivel de abstracción. Por último el conjunto de acciones, decisiones y resultados del proyecto de explotación de información forman el cuarto nivel de abstracción de la metodología. Aparte de los niveles de abstracción, (Chapman et al., 2000) hace referencia que esta metodología aporta al usuario documentación adicional que será utilizada como herramienta de ayuda en el desarrollo del proyecto de explotación de Información y las denomina el modelo de referencia y la guía de usuario. El modelo de referencia brinda información a los equipos sobre las fases, tareas generales, entradas y salidas de un proyecto de explotación de Información en general. La guía de usuario le brinda a las personas sobre la fase que se está ejecutando proporcionando consejos y listas de comprobación sobre las tareas que le pertenecen. En efecto proporciona todo tipo de información para la realización de un proyecto de explotación de información. También, (Chapman et al., 2000), aclara que las fases del ciclo de vida no necesitas seguir una secuencia estricta en su ejecución. Las fases definidas para un proyecto de desarrollo de software clásico (inicio, requerimientos, análisis y diseño, construcción, integración y pruebas y cierre) claramente difieren de las fases propias de esta metodología (Chapman et al., 2000) (figura 2.5). Figura 2.5. Fases del modelo de proceso de la metodología CRISP-DM (Britos, 2008). A continuación se describen cada una de las fases según la especificación que se encontró en (Chapman et al., 2000). Fase I. Entendimiento del negocio: La fase I de la metodología propone realizar el entendimiento del negocio al cual va a estar abocado el proyecto. Aquí se deben definir los objetivos del proyecto de explotación de información y se debe realizar la definición y la comprensión de los requerimientos desde el punto de vista del negocio. Esto brinda un marco o entorno al problema a resolver y a partir de este marco se debe realizar la planificación del proyecto que dé lugar al cumplimiento de los objetivos planteados. 10

19 Fase II. Entendimiento de los datos: En esta fase se da comienzo a la recolección de los datos. Para esto es necesario contar con información de las fuentes de los datos y según las definiciones de los objetivos, extraer los datos necesarios para cumplirlos. Luego de obtenerlos es necesario analizar las características de los datos con el fin de detectar problemas de calidad que den lugar a la transformación. Además de esto es necesario detectar algún tipo de información adicional con el fin de obtener las primeras hipótesis de la solución. Fase III. Preparación de los datos: En la fase de preparación, se parte del análisis realizado sobre los datos y se comienza a realizar las tareas necesarias para garantizar la calidad de los datos que van a ser entrada a los procesos de modelado. Las tareas que se ejecutan en el marco de esta fase pueden ser ejecutadas en varias oportunidades y sin un orden definido. Para la transformación de los datos puede seguirse los pasos de proceso propuesto por (Baldizzoni, 2013). Este proceso propone todo lo necesario para transformar los datos y garantizar los datos de entrada a los procesos de modelado. Fase IV. Proceso de modelado: Según las definiciones de las fases anteriores, los objetivos y requerimientos definidos, los datos analizados y preparados, se comienza a ejecutar los procesos de modelado que más se adapten a las necesidades del proyecto de explotación de información. Cada proceso resuelve una serie de necesidades pero cabe aclarar que para el mismo proceso pueden existir diferentes algoritmos que lo resuelvan. Los algoritmos del proceso cuentan con requerimientos en cuanto a las variables de entrada y de objetivo. Por este motivo si no fue tenido en cuenta esto se hace necesario en algunas oportunidades retomar la fase de preparación de los datos para poder avanzar con esta fase. Fase V. Evaluación: Una vez ejecutados los procesos de modelado y habiendo obtenido los patrones o tendencias necesarios de los datos comienza la evaluación de los resultados donde se revisa que lo obtenido cumple con los objetivos planteados en la fase I. Aquí se intenta detectar, en caso que hubiera, deficiencias en los resultados obtenidos. Fase VI. Despliegue: La última fase, la fase de despliegue o implementación, toma los resultados de la fase anterior, los patrones o tendencias y partiendo de estos se realizan los reportes o entregables que sean utilizables 11

20 por las personas de la organización. Si los resultados no son de este estilo quizá sea necesaria la implementación de un proceso de explotación de información repetible en toda la organización. Esta fase tiene la particularidad de que la realización de las tareas, que forman parte de la misma, puedan ser ejecutadas por el cliente. En estos casos este reconoce rápidamente cuales son las acciones a tomar sobre los resultados ganando tiempo en la respuesta. En la tabla 2.1 se describen las tareas y las actividades que representan a esa tarea de cada fase de la metodología. FASE TAREAS ACTIVIDADES Entendimiento del negocio Determinar los objetivos del negocio. Background. Objetivos del negocio. Criterios de éxito del negocio. Evaluar la situación. Inventarios de recursos. Requisitos, supuestos y requerimientos. Riesgos y contingencias. Terminología. Costos y beneficios. Determinar objetivos del Proyecto de Explotación de Información. Las metas del Proyecto de explotación de información. Criterios de éxito del Proyecto de explotación de información. Realizar el Plan del Proyecto. Plan de Proyecto. Valoración inicial de herramientas. Entendimiento de los datos Recolectar los datos iniciales. Reporte de recolección de datos iniciales. Descubrir datos. Reporte de descripción de los datos. Explorar los datos. Reporte de exploración de datos. Verificar la calidad de datos. Reporte de calidad de datos. Preparación de los datos Caracterizar el conjunto de datos. Conjunto de datos. Descripción del conjunto de datos. Seleccionar los datos. Inclusión/Exclusión de datos. Limpiar los datos. Reporte de calidad de datos limpios. Estructurar los datos. Derivación de atributos. Generación de registros. Integrar los datos. Unificación de datos. Caracterizar el formato de los datos. Reporte de calidad de los datos. Proceso de modelado Seleccionar una técnica de modelado. Conjunto de datos. Descripción del conjunto de datos. Seleccionar los datos. La técnica modelada. Supuestos del modelo. Generar el plan de pruebas. Plan de pruebas. Construir el modelo. Configuración de parámetros. Ejecutar procesos de modelado. Salida del proceso de modelado. 12

21 FASE TAREAS ACTIVIDADES Evaluar el modelo. Evaluar el modelo. Revisión de la configuración de parámetros. Evaluación Evaluar Resultado. Valoración de resultados mineros con respecto al éxito del negocio. Modelos aprobados. Revisar. Revisión del proceso. Determinar próximos pasos. Listar posibles acciones. Despliegue Realizar el plan de implementación. Plan de Implementación. Realizar el plan de monitoreo y mantenimiento. Plan de monitoreo y mantenimiento. Realizar el informe final. Informe final. Presentación final. Realizar la revisión del proyecto. Documentación de la experiencia. Tabla 2.1. Fases, tareas y actividades de la metodología CRISP-DM.(Britos, 2008) METODOLOGÍA P3TQ (CATALYST) Catalyst es una metodología propuesta por (Pyle, 2003) la cual es más conocida como P 3 TQ, acrónimo formado por las iniciales de los nombres de sus variables que dan valor organizacional: Producto (Product), Lugar (Place), Precio (Price), Tiempo (Time) y Cantidad (Quantity) (Moine et al., 2011a; Moine et al., 2011b). Esta metodología básicamente propone dos modelos: el Modelo de Negocio (MII) y el Modelo de Explotación de Información (MIII). A continuación se definen ambos modelos: Modelo de negocio (MII). El primer modelo, el Modelo de Negocio (MII), recopila información sobre el entorno donde se desarrolla el proyecto de explotación de información. Brinda una serie de fases para el desarrollo y la realización de un modelo que permite la identificación de un problema en particular de negocio (o la oportunidad de llevar a cabo la realización del mismo), y los requerimientos reales de la organización en cuestión (Moine et al., 2011a; Moine et al., 2011b). Según los mismos autores, este modelo tiene en cuenta diferentes circunstancias para el proyecto de explotación de información, proponiendo acciones concretas según el contexto desde el cual se parte. En el caso de aquellos proyectos donde no existe una definición real del problema u oportunidad de negocio, se recomienda iniciar analizando las relaciones P 3 TQ que existen en la cadena de valor organizacional (precio/lugar/producto/tiempo/cantidad) y que son significativas para la empresa. 13

22 En (Britos, 2008), el modelado en MII depende del contexto en el cual está inmerso el negocio, lo que promueve el planteamiento de distintos escenarios. Ellos son: dato, oportunidad, prospectiva, definido y estratégico: 1er escenario. Dato: Este escenario inicia el proyecto partiendo de los datos existentes. Esto sucede cuando ingresan al proyecto un conjunto de datos que requieren un proceso de explotación de información. La idea de este escenario es encontrar relaciones interesantes ejecutando las actividades propuestos por la metodología. Para llevar a cabo este escenario es necesario: Determinar la procedencia y los datos a recolectar donde se determina las fuentes de los datos y luego recolectarlos. Identificar los recursos humanos para el proyecto ubicando a las personas que van a formar parte del equipo del proyecto. Discutir el proyecto con los recursos humanos. Se plantea una discusión con los interesados con el fin de detectar los requerimientos, objetivos, resultados esperados, etc. Caracterizar el conjunto de datos en término de las relaciones P³TQ (Product, Place, Price, Time, Quantity). Aquí se plantea si los datos son los necesarios, viabilidad, costos, estimaciones y todo lo relacionado a la planificación del proyecto. Caracterizar la motivación del negocio para recolectar y almacenar los datos. Esto sirve para dar un marco a los datos obtenidos. Descubrir quiénes o qué departamento originó el proyecto y qué se espera de él. Se identifica a las personas que forman parte de la organización como ser los interesados iniciales, los responsables de los datos, los representantes de la dirección quienes financiaran el proyecto, etc. También se intenta detectar cual es la motivación que genera el proyecto, esto servirá para entender la necesidad y que vida útil puede tener. Tanto la motivación de la generación del proyecto como la necesidad pueden perderse lo que daría una cancelación espontanea del proyector. 2do escenario. Oportunidad: Este escenario se inicia cuando existe una situación de negocio, ya sea un problema existente o una oportunidad de negocio que requiere de un proyecto de explotación de información. Cuando se presenta este escenario se ejecutan las siguientes actividades: Identificar las características de los recursos humanos relevantes. Se intenta detectar quienes son los recursos humanos involucrados o con necesidad de involucrar al proyecto. 14

23 Explotar las situaciones de negocio con los recursos humanos. Pariendo de la situación de negocio detectada se discute con las personas ya involucradas cuales van a ser las necesidades del proyecto. Determinar el marco de situación del negocio. Se investiga todas las relaciones con la organicacion para dar un marco de negocio al problema. Definir los objetivos de negocio relevantes. Se establecen los objetivos del proyecto ligados a los objetivos del negocio requeridos. Buscar los datos a utilizar. Luego de entender cuáles son los objetivos y el problema a resolver se intentan identificar los datos necesarios. Presentar el caso de negocio a los recursos humanos. Se comunica a los recursos humanos el caso de negocio. 3er escenario. Prospectiva: Este escenario comienza con un asesoramiento al cliente de como un proyecto de explotación de información puede dar un valor agregado a la organización. En el caso de que este escenario se presente es necesario realizar las siguientes actividades: Caracterizar las claves de la organización en relación a P³TQ. Según las 5 relaciones de la metodología se intenta entender cómo puede el proyecto colaborar con los objetivos estratégicos de la organización. Identificar los principales procesos de flujo de información de la organización. Entendiendo cuales son los procesos generadores de la información se puede detectar potenciales proyectos de explotación de información. Identificar los potenciales recursos humanos. Según el proyecto detectado se recolectan los diferentes recursos que van a formar parte del proyecto. Hablar con los potenciales recursos humanos. Se presenta a los recursos humanos seleccionados cuales es el fin de proyecto. Descubrir cuáles de los 26 niveles de gestión son los más involucrados para cada uno de los recursos humanos. Caracterizar los modelos más aplicables al negocio. Seleccionar los procesos de modelado que colaboren con la solución propuesta. Explorar las fuentes de datos. Se recolectan los datos a explotar. Preparar los casos de negocio para cada oportunidad significante. Presentar el caso de negocio a los recursos humanos. Se comunica a los recursos humanos el caso de negocio. 15

24 4to escenario. Definido: El proyecto comienza con la premisa de crear la especificación del modelo de Explotación de Datos con un propósito específico. Para esto se realizan las siguientes actividades: Identificar los recursos humanos. Según el proyecto detectado se recolectan los diferentes recursos que van a formar parte del proyecto. Discutir los requerimientos con los recursos humanos. Se discute como va a ser implementado el modelo de explotación de información. Enmarcar la situación de negocio. Se detalla el alcance de modelo dentro de las especificaciones del negocio Buscar los datos necesarios. Según las especificaciones discutidas con los recursos humanos y dentro del marco de la situación del negocio se recolectan los datos que van a ser utilizados en el proyecto. Definir los requerimientos a desarrollar. En este momento se definen los requerimientos del proyecto. 5to escenario. Estratégico: El proyecto comienza con una estrategia de análisis para brindar soporte a un escenario planeado por la organización. Este escenario se presenta cuando el negocio tiene en claro lo que es necesario tener y una idea clara de lo que se pretende. Identificar los potenciales recursos humanos. Según el proyecto detectado se recolectan los diferentes recursos que van a formar parte del proyecto. Hablar con los potenciales recursos humanos. Se presenta a los recursos humanos seleccionados cuales es el fin de proyecto. Enmarcar la situación de negocio. Se detalla el alcance de modelo dentro de las especificaciones del negocio, si es necesario, trabajar interactivamente con los recursos humanos para crear un mapa de los escenarios estratégicos. A partir del mapa, crear un modelo sistémico de la situación estratégica. Caracterizar las claves de la organización en relación a P³TQ. Relacionar el mapa con las claves de la organización en relación a P³TQ. Si es necesario, simular una situación estratégica para descubrir incertidumbres, ambigüedades, errores en la compresión intuitiva y descubrir relaciones cruciales (aquellas no entendidas, bien caracterizadas, o para las cuales los pequeños cambios tienen grandes efectos). Caracterizar las claves de las relaciones de los sistemas en término de los 26 niveles de gestión. Descubrir cuáles de los 26 niveles de gestión son los más involucrados para cada recurso humano. Caracterizar los modelos de los niveles de negocio más aplicados. 16

25 Explorar las fuentes de datos. Enmarcar cada problema de negocio u oportunidad en un modelo estratégico con particular atención en las estrategias, interacciones estratégicas y los riesgos incluidos en el banco de pruebas de riesgo y las expectativas. Explotar los datos para caracterizar las relaciones actuales con el sistema modelado y la simulación, tratando de que concuerden con la situación real. Mostrar las relaciones descubiertas dentro de los mapas del sistema y la simulación y realizar la simulación a través del rango de escenarios requeridos Modelo de explotación de información (MIII) Según (Britos, 2008), el Modelo de Explotación de Información (MIII) brinda una guía de pasos para la realización y ejecución de modelos de Explotación de Información a partir del Modelo de Negocio desarrollado (MII). Los pasos a seguir en MIII son: Paso 1. Preparación de los datos. En este paso se realiza la preparación de los datos. Se realizan todas las tareas de transformación y se preparan los atributos de los datos según las necesidades de los procesos de explotación de información que se utilizarán. Para esto es necesario cumplir con las siguientes actividades: Comprobar las variables de la matriz de característica. Comprobar las variables básicas para el problema. Comprobar los datos básicos para el problema. Comprobar las variables anacrónicas. Comprobar la suficiencia de los datos. Comprobar la representación de los resultados. Comprobar la representación de rasgos básica. Paso 2. Selección de herramientas y modelado inicial. En este paso se seleccionan los procesos de modelado a utilizar según los datos obtenidos y según las necesidades de explotación de información. Para lograrlo es necesario cumplir las actividades: Definir la estructura de datos para llevar adelante la Explotación de Información. Caracterizar los datos de entradas y salidas. Seleccionar las herramientas de Explotación de Información. Construir los valores que comprueben el modelo. Si los datos no se comprenden: Crear el modelo exploratorio inicial. 17

26 Si se van a clasificar los datos: Descubrir el tipo apropiado de modelo de clasificación inicial. Si se van a predecir los datos: Descubrir el tipo apropiado de modelo predictivo. Paso 3. Ejecución. Acá se ejecutan los procesos de modelado. Para que este paso se concluya es necesario cumplir con las siguientes actividades: Si es un modelo deductivo: Especificar la explicación del mismo. Si el modelo de clasificación o predicción es binario: Especificar una matriz de confusión. Si el modelo de clasificación o predicción es un valor continuo: Especificar una matriz de confusión, comparar la predicción con un gráfico residual, comparar la predicción con la situación actual. Si el modelo de clasificación o predicción es una clase: Especificar una matriz de confusión, comparar la predicción con un gráfico residual, comparar la predicción con un argumento actual, especificar pruebas del modelo residual. Si el modelo de clasificación o predicción es un valor categórico: Especificar la predicción con un gráfico residual, comparar la predicción con situaciones actuales, especificar pruebas del modelo residual, realizar histogramas residuales, comparar situaciones actuales con gráficos residuales XY, comparar la situación actual con una predicción de rangos, comparar la situación actual con curvas de predicción, comparar la situación actual con la predicción apta, especificar la varianza residual, especificar el modelo perfecto. Paso 4. Evaluación de resultados. Según el resultado obtenido de la ejecución se analiza según los requerimientos y se evalúa el resultado final. Para esto se realizan las actividades siguientes según cada alternativa: Si es un modelo deductivo: Revisar los requerimientos descubiertos durante la ejecución, explicar en forma narrativa: a) los descubrimientos, el informe debe incluir: patrones, descubrimiento de explicaciones plausibles, clustering, conteos, contrastes y comparaciones, variables de particionamiento, generalidades de particularidades, proponer factores plausibles explícitos e implícitos latentes, identificar y explicar las relaciones entre variables (o variables grupales), crear explicaciones de cambios lógicos, creando coherencias conceptuales; y 18

27 b) la verificación, el informe debe incluir: comprobación de la representatividad, comprobación de la tendencia, triangulación (usando fuentes de datos diferentes, usando métodos de modelado diferentes, utilizando teorías diferentes), considerando los límites, incorporando pruebas negativas, incorporando pruebas externas empíricas. Si es un modelo de clasificación: Revisar las exigencias de la entrega desarrollada antes de la ejecución del proceso de Explotación de Información, repasar los descubrimientos realizados durante la formación, preparar una explicación de soporte, crear la calibración de los modelos, revisar los modelos requeridos para entregar. Si el modelo es en tiempo real: Identificar las novedades. Paso 5. Comunicación de resultados. Este es el paso final y es cuando se realiza la entrega del resultado del proyecto de explotación de información. Para asegurar que el resultado sea entendible por los clientes. Para esto es necesario realizar las siguientes actividades: Dar a las partes restantes del proyecto los resultados y sugerir como implementarlos. La metodología P 3 TQ, en sus dos modelos, está constituida por un conjunto de pasos denominados cajas (boxes). Conceptualmente, dicha metodología determina que luego de ejecutar una acción se deben evaluar los resultados obtenidos y determinar cuál es el paso que se debe ejecutar posteriormente (Moine et al., 2011a; Moine et al., 2011b). Los boxes del modelo explican en forma detallada los conceptos y/o acciones que se realizan (Mendez y Rodriguez, 2009). Esto es expuesto en el trabajo de (Britos, 2008), en el cual señala que cada uno de los modelos está estructurado en base a: Caja de actividades: señalan el conjunto de pasos a cumplir. Caja de descubrimientos: informan las acciones de exploración de información necesarias para poder decidir qué hacer en el paso subsiguiente. Caja de técnicas: brindan información complementaria acerca de los pasos recomendados en la caja de descubrimientos o de acción. Caja de ejemplos: proporcionan una descripción detallada acerca de cómo usar una determinada técnica. Estas cajas son aplicables en el Modelo de Explotación de Información (MIII). En la Figura 2.6, se visualiza la interacción de los diferentes modelos de la metodología P 3 TQ y sus componentes (Britos, 2008): 19

28 Figura 2.6. Interacción entre modelos P3TQ (Britos, 2008) METODOLOGÍA SEMMA La metodología SEMMA, creada por el SAS Institute, coloca el foco en la recolección de los datos y el modelado de los datos para descubrir patrones del negocio hasta el momento desconocidos (Moine et al., 2011a; Moine et al., 2011b). SEMMA es un acrónimo que se forma a partir del nombre de sus actividades: Sample (Muestreo), Explore (Exploración), Modify (Modificación), Model (Modelado), Assess (Valoración) (Britos, 2008; Moine et al., 2011a; Moine et al., 2011b; SAS, 2015). En la Figura 2.7, se observan las cinco fases básicas del proceso contemplado por la metodología SEMMA (Britos, 2008): Figura 2.7. Fases componentes de la metodología SEMMA. Extraído de (Britos, 2008). De acuerdo a lo expresado por (Moine et al., 2011a; Moine et al., 2011b), las actividades de análisis y comprensión del problema abordado son excluidas de la metodología SEMMA, ya que la misma 20

29 se encuentra enfocada fundamentalmente en aspectos técnicos. Dicha metodología fue propuesta inicialmente para trabajar con el software de Explotación de Datos de la compañía SAS. En la Figura 2.8, se visualizan las cinco fases de la metodología SEMMA y la dinámica general de la misma (Britos, 2008). Figura 2.8. Dinámica general de la metodología SEMMA. Extraído de (Britos, 2008). En (Britos, 2008) se describen las fases de la metodología SEMMA: Fase I. Muestreo (sample). Extracción de una muestra representativa. En esta primera fase de la metodología, se realiza la extracción de un conjunto de datos (población muestral) sobre la que se va a llevar a cabo el análisis. La muestra debe ser representativa de la población, caso contrario los resultados obtenidos no son válidos para el proceso en cuestión. El método de muestreo más común se denomina muestreo aleatorio simple, en el que cada elemento en la población tiene la misma probabilidad de ser seleccionado. En esta metodología, para cada una de las muestras escogidas se debe asociar un determinado nivel de confianza. Fase II. Exploración (explore). Exploración de los datos de la muestra seleccionada. En esta fase, se realiza un análisis de los datos extraídos en la muestra, para lo cual se propone el uso de herramientas de visualización o de diferentes técnicas estadísticas para la exploración de la información seleccionada, que contribuyan a poner de manifiesto relaciones entre variables. Esto 21

30 permite simplificar el problema y optimizar la eficiencia del modelo, ayudando a refinar los procesos de descubrimiento de información en las fases subsiguientes del proceso en cuestión. Fase II. Modificación (modify). Modificación de los datos. La tercera fase de la metodología, involucra la modificación de los datos que van a ser ingresados al modelo para que tengan el formato adecuado, mejorando la definición de los mismos. Fase IV. Modelado (model). Modelación de los datos. En esta fase, se procede a modelar el conjunto de datos, permitiendo al software realizar una búsqueda completa de combinaciones de datos que ayudarán a predecir los resultados esperados de manera confiable. El objetivo de esta fase es establecer una relación entre las variables objeto del estudio y las variables explicativas, de manera tal que posibiliten inferir el valor de las mismas con un nivel de confianza determinado. Las técnicas utilizadas para el modelado de los datos incluyen técnicas adaptativas, lógica difusa, reglas de asociación, árboles de decisión, redes neuronales y computación evolutiva; como así también involucran métodos estadísticos tradicionales. Fase V. Valoración (assess). Evaluación de los datos. La última fase de la metodología SEMMA, consiste en la valoración de los datos obtenidos para determinar el grado de confiabilidad de los mismos y así poder evaluar el modelo, mediante la comparación con otros métodos estadísticos o con nuevas poblaciones muéstrales METODOLOGÍA MOPROPEI El equipo de investigación en su publicación (Martins et. al., 2014a) exponen el diseño de este modelo de proceso partiendo como premisas las siguientes, que si bien el producto entregable de este tipo de proyectos es una pieza de conocimientos, el éxito o fracaso del proyecto se centra no solo en el descubrimiento de estas piezas nuevas o interesantes sino que también es importante la adecuada transmisión de las mismas al cliente. También remarcan que para alcanzar el éxito también es necesario lograr los objetivos con un mínimo costo y tiempos. Otra característica resaltada es la de documentar los conocimientos y todo lo referido a la ejecución con el fin de que puedan ser utilizados dándole un valor agregado a los futuros proyectos. En (Martins et. al., 2014a) se describen las características generales del modelo de proceso las cuales son: 22

31 Centrado en la generación del conocimiento: el objetivo final del proyecto en producir piezas de conocimiento relevantes para lo toma de decisiones. Adaptación a las necesidades del proyecto: permite ajustar la ejecución del proyecto a partir de las características que el mismo presenta. Enfocado en la gestión: fortalece la planificación, administración, documentación de todos los aspectos necesarios para el desarrollo de un proyecto de explotación de información. Reducción del trabajo redundante: a través de la planificación, y el ordenamiento de las tareas, reduce la cantidad de iteraciones necesarias para el desarrollo del proyecto. Orientado al Aprendizaje Continuo: genera, registra y reutiliza el conocimiento producido durante el desarrollo de los proyectos. Orientado a la sistematización: identifica y define las tareas a realizar de forma específica, contribuyendo a lograr el objetivo final. El modelo de proceso MoProPEI (Martins et. al., 2014a) se estructura de forma jerárquica. Cuenta con cuatro niveles y su jerarquía depende del nivel de especificidad el cual va creciendo a medida que la jerarquía disminuye. Los niveles son: Sub-procesos: Es la división de mayor nivel de generalidad, la cual está integrada por fases, y permite distinguir entre las tareas técnicas y las de gestión del proyecto. Fases: Subdivide a las tareas en base a sus finalidades generales. Estas están compuestas por actividades cuyos objetivos se encuentran asociados. Actividades: Subdivide a las tareas en base a sus objetivos específicos. Tareas: trabajo a realizarse el cual está asociado a un conjunto de técnicas posibles, las cuales generan a partir de un conjunto de elementos de entrada, uno o más elementos de salida. MoProPEI (Martins et. al., 2014a) cuenta con dos sub-procesos llamados Desarrollo y Gestión, el primero abarca las tareas técnicas el segundo de administración del proyecto. Los sub-procesos cuentan con fases que agrupan actividades, el sub-proceso Gestión cuenta con cinco fases: Iniciación del Proyecto, Planificación del Proyecto, Soporte, Gestión del Control y Calidad, y Gestión de la Entrega. A su vez el sub-proceso Desarrollo cuenta con seis fases: Entendimiento del Dominio, Entendimiento de los Datos, Modelado, Preparación de los Datos, Implementación, y Evaluación y Presentación. Esto puede verse en forma general en la figura 2.9, en esta se pueden ver los sub-procesos, fases y relaciones entre fases. 23

32 Figura 2.9. proceso MoProPEI, sub procesos y fases (Martins et. al., 2014a). Una característica que distingue a este modelo de proceso es su carácter de ejecución en paralelo de sus sub-procesos. Esto indica que ambos sub-procesos se instancian en paralelo y colaboran entre si trabajando a la vez. Continuamos ahora adentrando en las fases. En primer lugar las del sub-proceso de Gestión comenzando con Iniciación del proyecto compuesto por 4 actividades: Definición de la comunicación, exploración de conceptos iniciales y la definición del ciclo de vida. Planificación del proyecto, integrado por 3 actividades: Planificación de las actividades, planificación de los recursos y estimaciones y responsabilidades. Soporte compuesto por 3 actividades: gestión del ciclo de vida, gestión del desarrollo, y gestión de la configuración. Gestión del control y calidad, está conformada por 4 actividades: control de recursos, mediciones del proyecto, control de las actividades y gestión del cambio. Gestión de la entrega, integrado por 2 actividades: formalización externa del cierre del proyecto, y formalización interna del cierre del proyecto. En la figura 2.10 puede verse las interacciones, entradas y salidas de cada actividad dentro del sub-proceso Gestión. 24

33 Figura Sub-proceso Gestión de MoProPEI (Martins et. al., 2014a). En el sub-proceso Desarrollo abarca todas las actividades asociadas a la identificación de patrones relevantes para la organización, de calidad y novedosas, así como su análisis y comprensión para la generación de piezas de conocimiento validables e interesantes que aporten valor agregado a la misma (Martins et. al., 2014a). Según cada fase está compuesta por las actividades relacionadas a lo mencionado. La fase de Entendimiento del dominio, está compuesta por 3 actividades: requisitos, análisis del dominio, y comprensión del problema de negocio. La fase Entendimiento de los datos, cuenta con 3 actividades: análisis de los datos, exploración de los datos y evaluación de los datos. Modelado compuesta por 2 actividades: Modelado del problema y configuración del modelo. Preparación de los datos, conformada por 2 actividades: Construcción de la fuente temporaria de datos y adecuación de la fuente temporaria de datos. Implementación, integrado por 2 actividades: configuración de la implementación e implementación del modelo. Evaluación y Presentación, compuesta por 2 actividades: evaluación de los resultados y presentación de los resultados. Las 25