Metodologías y estándares

Transcripción

1 Metodologías y estándares Jordi Gironés Roig PID_

2 CC-BY-NC-ND PID_ Metodologías y estándares Los textos e imágenes publicados en esta obra están sujetos excepto que se indique lo contrario a una licencia de Reconocimiento-NoComercial-SinObraDerivada (BY-NC-ND) v.3.0 España de Creative Commons. Podéis copiarlos, distribuirlos y transmitirlos públicamente siempre que citéis el autor y la fuente (FUOC. Fundación para la Universitat Oberta de Catalunya), no hagáis de ellos un uso comercial y ni obra derivada. La licencia completa se puede consultar en licenses/by-nc-nd/3.0/es/legalcode.es

3 CC-BY-NC-ND PID_ Metodologías y estándares Índice Introducción Metodologías y estándares Metodología CRISP-DM Comprensión del negocio Comprensión de los datos Preparar los datos Modelado Evaluación del modelo Despliegue Objeciones a la metodología Modelo DELTA para la mejora continua de BA No consideran el análisis Actividad analítica aislada Aspirante analítico Organización analítica Competidor analítico Estándar PMML Gobierno de servicios IT Definiciones Procesos Data quality management Preparación de los datos Discretización Gestión del ruido Reducción de la dimensionalidad Anexo Esquema PMML Resumen Bibliografía... 55

4

5 CC-BY-NC-ND PID_ Metodologías y estándares Introducción Al finalizar este módulo el estudiante comprenderá la necesidad y utilidad de una metodología para la gestión de proyectos de minería de datos, de un estándar de comunicación de resultados de modelos, de un conjunto de buenas prácticas para el gobierno de servicios IT, y de una visión estratégica y de negocio de las actividades analíticas en toda organización. La calidad como fin último en la consecución de objetivos es el concepto que sustenta la necesidad que la industria tiene de utilizar metodologías, tanto para llevar a cabo proyectos de puesta en marcha de nuevas funcionalidades como para ofrecer servicios de funcionalidades existentes. Solo si hay una planificación, un seguimiento, una ejecución, una revisión y una verificación podemos garantizar una calidad en el producto que finalmente se elabora. El estudiante aprenderá a adaptar la implementación de la calidad en entornos relacionados con BA.

6

7 CC-BY-NC-ND PID_ Metodologías y estándares 1. Metodologías y estándares Nos enfrentamos a proyectos complejos con multitud de tareas interdisciplinares e interdependientes, que además mezclan intereses y necesidades de diferentes grupos de personas y que normalmente están condicionados por limitaciones económicas y tecnológicas. Lo recomendable en estos casos es diseñar una hoja de ruta que nos va a permitir saber dónde estamos, dónde queremos llegar y las medidas a tomar para corregir periódicamente las desviaciones del rumbo seguido. Las hojas de ruta que proponemos son: Metodología CRISP-DM para la gestión de proyectos de minería de datos. Factores delta, factores clave para cultivar la visión analítica en las organizaciones. PMML como lenguaje estándar de apoyo al despliegue y mantenimiento de modelos data mining. Norma ISO para el gobierno de servicios informáticos. Se trata sin duda de cuatro guías que contribuirán enormemente a la consecución de objetivos, a la mejora de procesos y a la adopción de una cultura empresarial soportada por el análisis y el estudio de la información Metodología CRISP-DM CRISP-DM (cross industry standard process for data mining) nació en el seno de dos empresas, DaimlerChrysler y SPSS, que en su día fueron pioneras en la aplicación de técnicas data mining en los procesos de negocio. CRISP-DM es una metodología basada en la práctica y experiencia real de analistas DM que han contribuido activamente al desarrollo de la misma. CRISP-DM se organiza en fases, procesos, documentos entregables y actividades. Una fase, por ejemplo Comprensión del negocio se subdivide en procesos como Determinar los objetivos del negocio e Identificar los objetivos data mining. A su vez, los procesos tienen documentos entregables a los que llegaremos después de haber ejecutado una lista de actividades.

8 CC-BY-NC-ND PID_ Metodologías y estándares Figura 1. Estructura de la metodología (CRISP-DM 1.0) Calidadtotal Un aspecto a destacar es que la iteración y revisión de fases y procesos se establece como un aspecto clave si se quiere ejecutar un proyecto de calidad. De este modo se establecen micro ciclos de planificación, ejecución y revisión, de los que solo se sale cuando el proceso de revisión es satisfactorio. Este principio está muy presente tanto en la norma ISO 9000 como en la ISO Todas las fases son importantes, por supuesto, pero quisiera remarcar que la tendencia natural de la condición humana, por experiencia propia, es la de concentrar recursos en exceso al final del proyecto, en la fase despliegue, por no haber hecho las cosas bien en las fases anteriores. Merece la pena y es más óptimo y económico, no escatimar recursos en las fases iniciales de preparación, planificación, construcción e iteración. Vamos a estudiar con detalle todas las fases que nos propone la metodología CRISP-DM. Observad que en el centro del esquema que la resume se encuentra el objetivo de la misma, es decir, la conversión de los datos en conocimiento. Stakeholder A lo largo del estudio de las fases hablaremos repetidamente de el cliente al que hay que satisfacer. Sería muy útil hacer una generalización de este concepto, en inglés stakeholder o partes interesadas, no confundir con los usuarios clave.

9 CC-BY-NC-ND PID_ Metodologías y estándares Parte interesada es todo aquel a quien debemos reportarle directa o indirectamente cuentas del proyecto, precisamente por el interés que tiene en el mismo. A partir de ahora, cliente será equivalente a parte interesada. La siguiente figura esquematiza el ciclo de fases que propone CRISP-DM. Figura 2. Fases de la metodología CRISP-DM (CRISP-DM 1.0) Adecuacióndelametodologíaalproyecto Merece la pena mencionar que la metodología debe ser entendida siempre como una guía de trabajo que permite garantizar una calidad en la entrega del proyecto. Para conseguir que efectivamente sea una guía de trabajo útil y práctica, deberemos adaptarla a las necesidades de nuestro proyecto en concreto. Por la propia idiosincrasia de nuestro proyecto merecerá más la pena desarrollar a fondo la metodología en algunas fases; y quizá en otras, o porque muchas cosas nos vienen dadas o porque ya se han ejecutado con éxito en proyectos anteriores, no merecerá la pena ser tan exhaustivos en la documentación, control y gestión de las mismas Comprensión del negocio En esta fase trataremos de conseguir desde una clara perspectiva de negocio cuáles son los objetivos del mismo, tratando de evitar el gran error de dedicar el esfuerzo de todo el proyecto a proporcionar respuestas correctas a preguntas equivocadas. Con los objetivos de negocio en mente, elaboraremos un estudio de la situación actual del negocio respecto de los objetivos planteados, en este punto, trataremos de clarificar recursos, requerimientos y limitaciones, para así poder concretar objetivos data mining que contribuyan claramente a la consecución de los objetivos primarios.

10 CC-BY-NC-ND PID_ Metodologías y estándares Finalmente, elaboraremos un plan de proyecto en el que detallaremos las fases, tareas y actividades que nos deberán llevar a alcanzar los objetivos planteados. Figura 3. Comprensión del negocio (CRISP-DM 1.0) Objetivos del negocio Enmarcarelentornodelentorno Recogeremos en un documento la situación actual de la organización, tratando de este modo de establecer una fotografía del punto de partida del proyecto. En el documento debe aparecer una primera aproximación de los objetivos de negocio, así como de los recursos tanto materiales como humanos con los que se cuenta para ello. Actividades a ejecutar son: Identificar en la organización, divisiones, departamentos y grupos de trabajo. Identificar personas clave en la organización, sus funciones y responsabilidades. Identificar al patrocinador del proyecto, los stakeholders del proyecto y proponer un comité de seguimiento para el mismo. Identificar las unidades de negocio implicadas en el proyecto.

11 CC-BY-NC-ND PID_ Metodologías y estándares Describir el problema que tratamos de resolver con el proyecto e identificar los antecedentes del mismo (ya se ha hecho algo al respecto, se llevan a cabo tareas analíticas en algún departamento, etc.). Identificar a los usuarios clave y documentar sus necesidades y expectativas en el proyecto. Esclarecer si ya se han tomado iniciativas para cubrir las necesidades detectadas y en caso afirmativo, valorar ventajas e inconvenientes de estas iniciativas. Identificarlosobjetivosdelnegocio Identificar el objetivo principal de la organización sería como el leitmotiv del proyecto, al que le debería seguir una lista de objetivos secundarios que ayudarán a concretar y contribuir a alcanzar el objetivo principal. Es importante remarcar que los objetivos deben ser alcanzables. Actividades a ejecutar son: Descripción informal del problema que se pretende resolver. Listar las preguntas de negocio a las que se pretende dar respuesta con el proyecto. Identificar requerimientos colaterales en el proyecto. Listar los beneficios que se pretenden conseguir con el proyecto. Criteriosparamedireléxito Cada objetivo de negocio debe poder ser asociado al menos a un criterio medible de éxito y a ser posible, habrá de establecer quién ejecutará estas mediciones. Medir el grado de cumplimiento de los objetivos de negocio es un aspecto irrenunciable del proyecto y debe ser tenido en cuenta en el momento de plantear los propios objetivos. Evaluar la situación actual Detallaremos los recursos a nivel de hardware, software, fuentes de datos y personal de que disponemos, también detallaremos los requerimientos, supuestos que aceptamos y limitaciones identificadas, para, finalmente, diseñar una matriz de riesgos y contingencias.

12 CC-BY-NC-ND PID_ Metodologías y estándares Inventarioderecursos A nivel de recursos humanos identificaremos a expertos de negocio, soporte tecnológico y expertos analistas. A nivel de datos, identificaremos fuentes de datos externas, internas, analíticas y operacionales. A nivel de recursos de computación, identificar hardware y estado en el que se encuentra. Identificar también recursos de software data mining o analítico disponible o a adquirir. Requerimientos,supuestosylimitaciones Estableceremos los requerimientos respecto de la programación del proyecto, precisión, capacidad de despliegue, capacidad de mantener los servicios puestos en marcha y capacidad de repetir los pasos de modelado y despliegue para futuros ajustes. Asimismo, estableceremos los supuestos en términos de objetivos marcados, calidad de los datos, factores externos como coyuntura económica o acciones de la competencia. Clarificar más las estimaciones económicas que se hayan hecho para adquirir recursos. Clarificar también los supuestos acordados en cuanto a comunicación y explicación del modelado utilizado a la dirección. Identificar las limitaciones en diferentes ámbitos como el legal, el presupuestario o los recursos de todo tipo. Por ejemplo, derechos legales de acceso a los datos, accesibilidad tecnológica a los datos, presupuesto de costes fijos, costes de implementación y rangos de tolerancia en las desviaciones. Riesgosycontingencias Deberemos identificar los riesgos del proyecto, que pueden venir por problemas en el negocio, en la propia organización interna, en los recursos económicos, en los aspectos tecnológicos o en la baja calidad de las fuentes de datos. Considerar también circunstancias que podrían impactar en el proyecto, así como su coste en tiempo y en dinero. Para mitigar o anular los riesgos deberemos prever un plan de contingencias. Análisiscoste-beneficio

13 CC-BY-NC-ND PID_ Metodologías y estándares Deberemos estimar los costes de adquisición de datos, costes de implementación y despliegue de la solución, costes de formación, partida para imprevistos, costes operativos de mantenerla en funcionamiento y finalmente, un estudio de los beneficios esperados, acompañado de un estudio ROI del retorno de la inversión esperados. Objetivos data mining Si los objetivos de negocio están expuestos en términos empresariales, los objetivos de data mining deben estar expuestos en términos técnicos dentro del ámbito de conocimiento de la minería de datos. Identificarlosobjetivosdatamining Deberemos hacer el ejercicio de trasladar los objetivos de negocio a la arena del data mining. También será conveniente asignar cada objetivo a la correspondiente competencia data mining, es decir, clasificación, asociación, segmentación, predicción, etc. Criteriosparamedireléxito Estableceremos los grados de precisión que exigiremos a nuestros modelos para ser aceptados, estos criterios deberán estar soportados por las buenas prácticas del mercado (benchmarking). Plan de proyecto Merece la pena mencionar que el plan de proyecto debe concebirse como una herramienta dinámica y susceptible de ser revisada, actualizada y modificada siempre que sea necesario y que debería ser consultado si no al inicio y finalización de cada tarea, sí al menos en los hitos. Detallarelplandeproyecto Listaremos las fases identificadas junto con su respectivo detalle de tareas, duración, recursos necesarios, entradas y salidas de información, y dependencias. Importante también marcar los riesgos identificados y especificar el impacto en tiempo que podrían acarrear al proyecto. Será de gran ayuda poder plasmar en el plan de proyecto la iteración de fases hasta conseguir los niveles de calidad establecidos e identificar los puntos de decisión y revisión que se establezcan. Evaluacióninicialdeherramientasytécnicas

14 CC-BY-NC-ND PID_ Metodologías y estándares Estableceremos los criterios de selección para la herramienta data mining que se vaya a seleccionar. Elaboraremos una lista de posibles software que cumplan con los criterios establecidos. Se evaluarán también la oportunidad de uso de determinadas técnicas data mining teniendo en cuenta las necesidades del proyecto y las capacidades de la herramienta seleccionada Comprensión de los datos Comprensión se refiere a trabajar los datos con el objetivo de familiarizarse al máximo con ellos, saber de dónde provienen, en qué condiciones nos llegan, cuál es su estructura, qué propiedades tienen, qué inconvenientes presentan y cómo podemos mitigarlos o eliminarlos. Se trata de una fase crítica puesto que es donde trabajamos de lleno con la calidad de los datos, que por otro lado debemos ver como la materia prima para el data mining. Tener una buena calidad de los datos será siempre una condición necesaria aunque no suficiente para tener éxito en el proyecto. Figura 4. Comprensión de los datos (CRISP-DM 1.0)

15 CC-BY-NC-ND PID_ Metodologías y estándares Captura de datos Ejecutaremos los procesos de carga de información con el objetivo de iniciar las tareas de comprensión de los datos. Existen herramientas especializadas en los procesos de comprensión de los datos o bien la propia herramienta data mining puede llegar a cubrir las necesidades de esta fase. Informederequerimientosycriterios Documentaremos las distintas selecciones realizadas a la hora de cargar información, así como si hay atributos más importantes que otros. Verificaremos si disponemos de los datos y atributos necesarios para alcanzar nuestros objetivos. Prestaremos especial atención a los procesos de integración de información de varias fuentes en una, puesto que pueden generar problemas nuevos. Se deberá tener prevista la gestión de los valores ausentes missing values o incluso la gestión de datos no en formato electrónico, en papel u otros. Descripción de los datos En esta fase realizaremos los primeros pasos de exploración de los datos. Informedeatributosyvolúmenes Por un lado documentaremos tanto el formato de los datos que nos llegan como su nivel de calidad, inventariaremos las tablas con las que trabajaremos, sus relaciones y volumetría. Por otro lado, analizaremos posibles correlaciones entre atributos, así como calcular medidas básicas de estadística, como la media, mediana, desviación estándar, variancia, moda, etc. Es importante que tratemos de relacionar estas medidas básicas con el negocio, intentando encontrar explicaciones de por qué obtenemos estos datos calculados. Deberemos asegurarnos de si todos los atributos de trabajo tienen o no alguna relación con los objetivos planteados y verificaremos con la ayuda de expertos de negocio si todavía deberían incorporarse más atributos de trabajo. Quizá de este informe salga la necesidad de revisar los documentos tanto de objetivos como de supuestos.

16 CC-BY-NC-ND PID_ Metodologías y estándares Exploración de los datos La utilización de las técnicas clásicas de exploración de datos, queries, informes y gráficos pueden ayudarnos a confirmar o revisar los objetivos data mining planteados, a revisar los procesos de captura y descripción de datos y averiguar si hay que incorporar tareas de transformación de datos. Identificacióndehipótesis,propiedadesyobjetivos Documentaremos las conclusiones de esta primera exploración de datos, entre las que incluiremos planteamientos de hipótesis iniciales y su conversión en objetivos data mining si es posible, contribuiremos a clarificar y concretar más si cabe los objetivos data mining. En cierto modo, la exploración que se propone consiste en una búsqueda a ciegas porque no sabemos ni qué buscamos ni qué nos encontraremos. Dicho esto, será preferible que esta búsqueda siempre se haga con perspectiva de cubrir los objetivos data mining marcados. Verificaciones y gestión de la calidad En esta fase se desarrollarán la mayor parte de las actividades data quality management, que se tratarán más extensamente en un capítulo propio. Identificacióndeproblemasysoluciones Estudiar el grado de cobertura de los datos están todos los casos posibles representados? o si por el contrario, lo que tenemos en realidad es una visión sesgada del universo que queremos estudiar. Buscaremos inconsistencias en los datos, precios desorbitados, ingresos imposibles, etc. Identificaremos atributos vacíos y establecer una estrategia para reemplazarlos o eliminarlos. Estudiar las desviaciones por si se trata de ruido, valores outliers, por ejemplo, o si por el contrario se trata de patrones que merecen más estudio. Contrastar los supuestos hechos con anterioridad para verificar si una vez revisados los datos, siguen teniendo sentido o hay que replantearlos.

17 CC-BY-NC-ND PID_ Metodologías y estándares Preparar los datos El objetivo de esta fase es el de poder disponer del juego de datos final sobre el que se aplicarán los modelos. También se desarrollará la documentación descriptiva necesaria sobre el juego de datos. Figura 5. Preparación de los datos (CRISP-DM 1.0) Selección de datos Deberemos dar respuesta a la pregunta qué datos son los más apropiados para alcanzar los objetivos marcados? Esto significa evaluar la relevancia de los datos, la calidad de los mismos y las limitaciones técnicas que se puedan derivar de aspectos como el volumen de datos. Documentaremos los motivos tanto para incluir datos, como para excluir datos. Criteriosdeselecciónyexclusióndedatos Nos replantearemos los criterios de selección de datos basándonos, por un lado, en la experiencia adquirida en el proceso de exploración de datos, y por otro lado, en la experiencia adquirida en el proceso de modelado. Consideraremos el uso de técnicas estadísticas de muestreo y técnicas de relevancia de atributos, que nos ayudarán, por ejemplo, a plantear la necesidad de iniciar actividades de reducción de la dimensionalidad.

18 CC-BY-NC-ND PID_ Metodologías y estándares Prestaremos atención a la incorporación de datos de diferentes fuentes y por supuesto a la gestión del ruido. Limpieza de datos En este paso ejecutaremos tareas derivadas de la gestión de la calidad de los datos, como la gestión de datos ausentes vía el relleno con valores por defecto o mediante técnicas estadísticas como la estimación de valores. Detallaraccionesarealizarparagarantizarlacalidad Gestionaremos el ruido, ignorándolo y documentándolo, eliminándolo o corrigiéndolo. Gestionaremos aquellos valores especiales que pueden llevar a conclusiones erróneas, por ejemplo, preguntas no respondidas en cuestionarios, o truncados de valores numéricos. Construcción del juego de datos Se ejecutarán las tareas propias de construcción del juego de datos, extracción de datos de acuerdo a los criterios de selección establecidos, generación de nuevos atributos calculados, transformación de atributos existentes. Ejecutarlastransformacionesprevistas Nos plantearemos el uso de herramientas para ejecutar estas tareas en función de si vamos a conseguir más eficiencia, precisión y capacidad de repetir las tareas de construcción del juego de datos. Será deseable tener la posibilidad de construir juegos de datos por escenarios o simulaciones. La generación de nuevos atributos puede venir motivada por una necesidad de normalización del atributo, por una consecuencia del modelado que saque a la luz aspectos no cubiertos con los datos existentes o por ejemplo, porque nos interesa, por el tipo de algoritmo, convertir un atributo numérico en categórico. En esta fase también deberemos considerar las necesidades del algoritmo seleccionado, por ejemplo, si vamos a usar una regresión lineal, deberemos considerar si hay atributos con una relación no lineal respecto de la variable objetivo, puesto que estos atributos no deberían ser usados en la fase de modelado. Integración de datos Ejecutaremos tareas de generación de nuevos registros procedentes de tablas o fuentes distintas, se tratará de gestionar las complejidades propias de las fusiones de datos.

19 CC-BY-NC-ND PID_ Metodologías y estándares Integrarlasdistintasfuentesdedatos La agregación suele ser una de las actividades que se lleva a cabo en un proceso de fusión de datos. Pasamos de un estado de información detallada a un estado de información sumarizada. Formateo de datos El formateo se refiere a cambios sobre los atributos, que solo modifican su forma y nunca su significado. Ajustesexigidosporelmodelado Habrá que reorganizar atributos, por ejemplo, los atributos clave al principio y el atributo objetivo al final. En función de las necesidades del modelado, podría ser conveniente ordenar los registros de un determinado modo. Finalmente, se ejecutarán tareas de formateo de los propios atributos Modelado El objetivo último de esta fase será el de disponer de un modelo que nos ayude a alcanzar los objetivos data mining y los objetivos de negocio establecidos en el proyecto. Podemos entender el modelo como la habilidad de aplicar una técnica a un juego de datos con el objetivo de predecir una variable objetivo o encontrar un patrón desconocido. El hecho de que esta fase entre en iteración tanto con su antecesora, la preparación de los datos, como con su sucesora, la evaluación del modelo, nos da una idea de la importancia de la misma en términos de la calidad del proyecto.

20 CC-BY-NC-ND PID_ Metodologías y estándares Figura 6. Modelado (CRISP-DM 1.0) Selección de la técnica de modelado Dado un problema en el ámbito data mining, pueden existir una o varias técnicas que den respuesta al mismo, por ejemplo: Un problema de segmentación puede aceptar técnicas de clustering, de redes neuronales o simplemente técnicas de visualización. Un problema de clasificación puede aceptar técnicas de análisis discriminante, de árboles de decisión, de redes neuronales o de K Nearest Neighbor. Un problema de predicción aceptará técnicas de análisis de regresión, de árboles de regresión, de redes neuronales o de K-NN. Un problema de análisis de dependencias puede afrontarse con técnicas de análisis de correlaciones, análisis de regresión, reglas de asociación, redes bayesianas o técnicas de visualización. En definitiva, un mismo problema puede resolverse con varias técnicas y una técnica puede servir para resolver varios problemas. Seleccióndetécnicasyherramientas

21 CC-BY-NC-ND PID_ Metodologías y estándares Del universo de posibilidades deberá seleccionarse una o varias técnicas para ser usadas por separado, varios modelos, o en combinación, generando un único modelo en varios pasos. Identificarlosprerrequisitosdelmodelo Los datos deben estar en formatos específicos, los atributos en posiciones concretas, los registros en un orden preestablecido, las relaciones entre atributos quizá deben cumplir condiciones de independencia o de linealidad. Deberemos verificar todos los requisitos que nos exija la técnica seleccionada y regresar a la tarea de preparación de los datos en caso necesario. Estrategia de verificación de la calidad del modelo Deberemos diseñar el procedimiento a seguir para verificar el grado de precisión del modelo o para entrenarlo si es necesario. Por ejemplo, en el caso de técnicas supervisadas como la clasificación, el juego de datos deberá separarse en subjuegos para el entrenamiento del modelo, las pruebas del modelo y la verificación del modelo, cumpliendo unos parámetros de precisión preestablecidos. Entrenamiento,pruebayevaluacióndelmodelo Será deseable preparar un juego de entrenamiento, prueba y verificación específicos para cada objetivo data mining. En el caso de requerir iteraciones en el proceso de construcción, deberemos decidir o calcular cuántas, teniendo en cuenta los efectos negativos del sobreentrenamiento y de la pérdida de tiempo y recursos computacionales. Construcción del modelo Se ejecutará la herramienta de modelado sobre los juegos de datos con el fin de crear uno o varios modelos. Ajustesdeparámetros Los algoritmos suelen tener parámetros que deberemos ajustar y documentar para dejar constancia de la base lógica que los justifica. Ejecucióndelmodelo Ejecutaremos la técnica seleccionada sobre nuestro juego de datos y se dejará constancia de los resultados obtenidos.

22 CC-BY-NC-ND PID_ Metodologías y estándares Descripcióndelmodeloresultante Documentaremos tanto los parámetros utilizados como el resultado de aplicar el modelo sobre el juego de datos. Por ejemplo, en el caso de modelos basados en reglas, documentaremos las reglas obtenidas así como su grado de cobertura del problema y precisión en el resultado. En el caso de modelos opacos, como las redes neuronales, documentaremos la topología de la red, el grado de precisión de la misma o el grado de sensibilidad observada. Prestaremos especial atención a las consecuencias que pudieran derivarse de los resultados, como la identificación de patrones. Ajuste del modelo Anteriormente se definieron los criterios de éxito para los objetivos data mining, pues bien, en esta tarea procederemos a la verificación de su cumplimiento. Evaluacióndelmodelo Será recomendable crear un ranking de los resultados obtenidos en función del grado de cumplimiento de los criterios de éxito sobre los objetivos data mining. Interpretaremos los resultados en clave de negocio, contando para ello con expertos de negocio y por supuesto con el analista. Evaluaremos la plausibilidad y fiabilidad del modelo así como su impacto en los objetivos data mining establecido. Sugieren estos resultados el planteamiento de nuevos objetivos? Contrastaremos los resultados contra nuestra base de datos de conocimiento para verificar si las conclusiones aportan conocimiento nuevo y útil. Analizaremos opciones y potencialidades de aplicación y despliegue de los resultados. Si la salida del modelo consiste en la generación de reglas, nos aseguraremos de que tienen sentido, son aplicables y que el número de reglas generado es el adecuado. Revisióndeparámetros

23 CC-BY-NC-ND PID_ Metodologías y estándares Analizaremos el impacto que los parámetros han tenido en el resultado final, con el objetivo de ganar conocimiento en el proceso de ajuste del modelo y poder iterar los pasos de modelado y evaluación del modelo hasta dar con el mejor modelo posible Evaluación del modelo En fases anteriores nos hemos preocupado de asegurar la fiabilidad y plausibilidad del modelo, en cambio en esta fase nos centraremos en evaluar el grado de acercamiento a los objetivos de negocio y en la búsqueda, si las hay, de razones de negocio por las cuales el modelo es ineficiente. Una forma esquemática y gráfica de visualizar el propósito de un proyecto data mining es pensar en la siguiente ecuación: R e s u l t a d o s = M o d e l o s + D e s c u b r i m i e n t o s Es decir, el propósito de un proyecto data mining no son los modelos, que son por supuesto importantes, sino también los descubrimientos, que podríamos definir como cualquier cosa aparte del modelo que contribuye a alcanzar los objetivos de negocio o que contribuye a plantear nuevas preguntas, que a su vez son decisivas para alcanzar los objetivos de negocio. Figura 7. Evaluación (CRISP-DM 1.0) Evaluación de modelos Siempre y cuando sea posible probaremos el modelo en entornos de prueba para asegurarnos de que el posterior proceso de despliegue se realiza satisfactoriamente y para asegurarnos también de que el modelo obtenido es capaz de dar respuesta a los objetivos de negocio.

24 CC-BY-NC-ND PID_ Metodologías y estándares Verificaciónderesultadoscontracriteriosdeéxito Documentaremos los resultados de nuestras evaluaciones en términos de cumplimiento de los objetivos de negocio, cuantificándolos si es posible y contrastándolos con los criterios de éxito establecidos. Estableceremos un ranking de resultados con respecto a los criterios de éxito con relación al grado de cumplimiento de los objetivos de negocio. Adicionalmente, también se emitirá opinión sobre otros descubrimientos que se hayan realizado aparte del modelado, que aunque probablemente no contribuyan directamente a los objetivos planteados, quizá puedan abrir puertas a nuevos planteamientos y líneas de trabajo. Modelosaprobados Argumentaremos la decisión de aprobación o no de los modelos, haciendo referencia a los resultados y a los criterios de éxito establecidos. Revisión del proceso En este punto disponemos de uno o varios modelos aprobados y que en principio cumplen con los objetivos de negocio planteados. Se impone ahora una revisión genérica de todo el proceso de minería de datos para asegurar que no se ha tratado algún aspecto importante de forma demasiado superficial. La motivación principal de esta tarea de revisión será la de realizar una revisión integral de los niveles de calidad del proyecto. Identificacióndeerrores,mejorasyalternativas Identificaremos tareas que probablemente se hayan ejecutado sin suficiente rigor y merezcan ser revisadas o repetidas. Trataremos de identificar mejoras y alternativas de optimización sobre tareas y actividades. Siguientes pasos Como consecuencia de todas las tareas de evaluación ejecutadas en esta fase, en esta tarea tomaremos la decisión de repetir o revisar algunos pasos o incluso fases enteras, o bien damos por finalizada la fase de construcción y pasamos al despliegue, o incluso fruto del conocimiento adquirido hasta ahora, podría en este punto proponerse el inicio de nuevos proyectos. Prosycontrasdelasaccionesatomar