FACULTAD DE INGENIERÍA

Tamaño: px

Comenzar la demostración a partir de la página:

Download "FACULTAD DE INGENIERÍA"

Alba Robles Martín
hace 7 años
Vistas:

1 FACULTAD DE INGENIERÍA II JORNADAS DE DATA MINING CONFERENCIA 7.- " CASO SNOOP CONSULTING-ORACLE Fernando Das Neves Gerente de I+D de Snoop Consulting-Oracle Data Mining Technologies IAE - Pilar, 7 y 8 de agosto de 2007

2 Oracle Data Miner: Data Mining sobre enormes conjuntos de datos Data Mining está orientado a un propósito Explicar Predecir Agrupar Detectar Mapear Importancia de atributos clasificación/regresión clustering/segmentación Detección de anomalías y outliers Proyectar datos en menos dimensiones 1

Mapear Importancia de atributos clasificación/regresión

3 Oracle Data Miner Ventajas de Oracle Data Miner Amplio abanico de algoritmos Motor de Data mining es parte de la DB Oracle10g Simplifica el procesamiento de datos, elimina movimiento de datos, asegura escalabilidad y seguridad. Los mismos componentes que se usan para construir modelos se pueden usar para construir aplicaciones. Con JDeveloper, se puede construir y evaluar modelos y generar código Java. 2

4 Beneficios de Oracle Data Miner Carácteristica Algoritmos de DM en la BD Amplio rango de algoritmos de data mining Corre en diferentes platformas Parte de la Tecnología Oracle Beneficio Elimina movimiento y exposición de datos Pueden aplicarse a la mayoría de los problemas de DM Las aplications pueden ser desarrolladas y luego instaladas en otra plataforma Grid, RAC, BI, Java y PL/SQL Oferta de Oracle Data Miner Selección y asignación de peso a los atributos MDL ( supervisados ) Clasificación y Predicción Naive Bayes Redes Bayesianas Adaptativas Support Vector Machines ( supervición Clustering y Asociaciones (sin Reglas de Asociación Clustering Ortogonal Clustering con k-means Extracción de Atributos Non Negative Matrix Factorization Regresión SVMR Alineación de Secuencias BLAST Reglas de Asociación 3

Oferta de Oracle Data Miner Selección y asignación de peso a los atributos MDL ( supervisados ) Clasificación y Predicción Naive Bayes Redes Bayesianas Adaptativas Support Vector Machines (

5 Clustering en ODM Basado en densidad Encuentra clusters naturales Crea árboles desbalanceados Número muy grande de registros necesario para que los clusters sean confiables. Resistente al ruido y alto número de dimensiones. Combinar atributos numéricos y categóricos O-Clustering en ODM 4

sean confiables. Resistente al ruido y alto número de dimensiones.

6 Bayes Adaptativo Rápido (aprox. tan rápido como árboles) Usa un ranking de predictores para determinar un camino de búsqueda greedy para construir un nodo de decisión Produce probabilidades de predicción Puede manejar altas dimensiones El resultado es similar a un árbol y explica las decisiones SVM en Oracle Data Miner Aprenden a separan grupos no basadas en maximizar la separación (margen) entre los elementos de cada grupo ( ejemplos (requieren Precisas como Redes Neuronales, sin los problemas de overfitting El algoritmo de SVM en ODM es de los mejores del mercado aprende a clasificar elementos en grupos y es muy bueno estimando parámetros automáticamente. 5

predicción Puede manejar altas dimensiones El resultado es similar a un árbol y explica las decisiones SVM en Oracle Data Miner Aprenden a separan grupos no basadas

7 ( Factorization NMF (Non-Negative Matrix Método para encontrar un conjunto de descriptores que, combinados, aproximen a los elementos de una tabla. Atributos Numéricos Puede funcionar con alta dimensionalidad y pocos valores por dimensión. Resultado más simple de interpretar que otros métodos de factorización. En ODM, NMF encuentra los vectores descriptores para clasificar nuevos elementos. Oracle Data Miner y Text Mining Oracle Data Miner puede funcionar independientemente o junto con Oracle Text para procesar documentos de texto, convertilos a vectores y usarlos como fuentes de datos. Oracle Text filtra e indexa documentos y construye el índice de tokens Oracle Data Miner toma los documentos y construye modelos de text mining. 6

En ODM, NMF encuentra los vectores descriptores para clasificar nuevos elementos.

8 Data Mining Instantáneo: Explain Automatiza la preparación de los datos No genera objetos intermedios en la BD Informa la importancia de cada atributo para explicar el resultado Disponible como Plug-in de Eclipse DBMS_PREDICTIVE_ANALYTICS.EXPLAIN ( data_table_name IN VARCHAR2, explain_column_name IN VARCHAR2, result_table_name IN VARCHAR2, data_schema_name IN VARCHAR2 DEFAULT NULL); Proceso de Explain 7

9 Data Mining Instantáneo: Predict Determina automáticamente el tipo de problema Prepara los datos No crea objetos intermedios en la base Produce una predicción por cada registro. Disponible como Plug-in de Eclipse. DBMS_PREDICTIVE_ANALYTICS.PREDICT ( accuracy OUT NUMBER, data_table_name IN VARCHAR2, case_id_column_name IN VARCHAR2, target_column_name IN VARCHAR2, result_table_name IN VARCHAR2, data_schema_name IN VARCHAR2 DEFAULT NULL); Proceso de Predict 8

10 Resultado de Explain Predict en CoIL 2000 Tarea: Predecir cuales clientes estarían interesados en comprar un seguro para casa rodante. Muchos de los intentos fueron sofisticados pero poco eficientes. Predict descubre los 4 atributos más importantes, que son además los seleccionados por el ganador de la competición. 9

Muchos de los intentos fueron sofisticados pero poco eficientes.

11 SQL y Analítica Avanzada En Oracle DM, funciones analíticas son parte del vocabulario. Una sintaxis relativamente simple permite exploraciones poderosas con poco esfuerzo. SQL y Analítica Avanzada Ej: Crear un modelo de ventas CREATE TABLE dt_settings ( setting_name VARCHAR2(30), setting_value VARCHAR2(30)); BEGIN -- settings del algoritmo de prediccion INSERT INTO dt_sample_settings VALUES (dbms_data_mining.algo_name, dbms_data_mining.algo_decision_tree); COMMIT; -- construir modelo de prediccion DBMS_DATA_MINING.CREATE_MODEL( model_name => 'modelo_atricion', mining_function => dbms_data_mining.classification, data_table_name => 'clientes_dataset', case_id_column_name => 'cliente_id', target_column_name => 'atricion', settings_table_name => 'dt_settings'); END; 10

INTO dt_sample_settings VALUES (dbms_data_mining.algo_name, dbms_data_mining.algo_decision_tree); COMMIT; -- construir modelo de prediccion DBMS_DATA_MINING.

12 SQL y Analítica Avanzada Ejemplo: Encontrar clientes con alta probabilidad de atrición, ranking de más de 90, y han hablado recientemente acerca de Tarjeta Plus. SELECT C.cli_nombre, C.info_contacto, PREDICTION_DETAILS(modelo_atricion USING C.*) FROM clientes C WHERE PREDICTION_PROBABILITY(modelo_atricion,'atricion' USING C.*) > 0.8 AND C.cli_value > 90 AND C.cliente_id IN (SELECT Call.cliente_id FROM call_center Call WHERE Call.date BETWEEN '01-Apr-2007' AND '08-Aug-2007' AND CONTAINS(Call.notas, 'tarjeta plus', 1) > 0) Oracle Data Miner Integrado a la BD, diseñado para funcionar con conjuntos inmensos de datos. Interaz de usuario orientada a tareas. Realiza exitosamente las tareas más difíciles: preparación de datos y ajuste de parámetros. Amplio abanico de algoritmos disponibles. Programable en Java o PL/SQL, fácilmente incorporable a una aplicación. Integrado a la línea de BI de Oracle. 11

cliente_id IN (SELECT Call.cliente_id FROM call_center Call WHERE Call.date BETWEEN '01-Apr-2007' AND '08-Aug-2007' AND CONTAINS(Call.

Documentos relacionados

Aprendizaje Automatizado

Aprendizaje Automatizado Aprendizaje Automatizado Programas que mejoran su comportamiento con la experiencia. Dos formas de adquirir experiencia: A partir de ejemplos suministrados por un usuario (un conjunto