Nuevas Tendencias Analítica en la Industria Financiera. Roger Molina Salvador Gerente de Proyectos Informese Ltda. Suc. Perú

Transcripción

1

2

3

4 Nuevas Tendencias Analítica en la Industria Financiera Roger Molina Salvador Gerente de Proyectos Informese Ltda. Suc. Perú

5 Agenda Big Data Big Data Analytics El Análisis de Entidades La propuesta de IBM IBM SPSS Analytics

6 Qué entendemos por Big Data?

7 BigData

8 Gestión Inteligente con Analítica 8

9 Gestión Inteligente con Analítica 10

10 Muchas áreas de oportunidad Servicios financieros Servicios públicos Transporte TI Salud y Ciencia Comercio al detalle Telecomunicaciones Aplicación de la ley

11 Muchas áreas de oportunidad Servicios Financieros Predecir comportamiento de cliente. PLA, identificar fraudes 360 vista del Cliente Estudio de las colas largas de actividad de transacciones. Análisis de los logs de datos para auditoría interna y cumplimiento. Sistemas de recomendación Análisis de Entidades

12 Qué entendemos por Big Data?

13 BIG DATA Big Data se define como el conjunto de herramientas informáticas destinadas a la manipulación, gestión y análisis de grandes volúmenes de datos de todo tipo los cuales no pueden ser gestionados por las herramientas informáticas tradicionales.

14 Las 3 V s del Big Data? Gestión Inteligente con Analítica 15

15 Gestión Inteligente con Analítica 16

16 Qué es HADOOP? Hadoop es un sistema de código abierto que se utiliza para almacenar, procesar y analizar grandes volúmenes de datos Hadoop es capaz de almacenar toda clase de datos: estructurados, no estructurados, semiestructurados; archivos de registro, imágenes, video, audio, comunicación, etc. Gestión Inteligente con Analítica 17

17 Arquitectura: Sistema de fichero distribuido, escalabilidad y disponibilidad debido a la replicación de los datos y tolerancia a fallos. Gestión Inteligente con Analítica 18 Proceso batch creado para el proceso distribuido de los datos. Permite paralelizar el trabajo sobre los grandes volúmenes de datos.

18 Arquitectura de Hadoop Social Feeds GIS Data Imagenes Social Feeds World Events Document s, XML , otros noestr. Logs Auditoria Market Events Datos en HDFS es distribuido en Datos es dividido y almacenado en numerosos dato y nodos numerosos Gestión HDFS Inteligente nodos con Analítica (sistema esclavos los 19 tolerante a fallos) Web logs Data Fields, RFID CCTV Footage HDFS tiene un nodo maestro y nodos esclavos Nodo Maestro almacena el meta bloques de datos Name Node & Job Tracker (master) Nodo Maestro y nodos esclavos/datos residen en sevidores commodity Query es enviado al nodo master Nodo Master usa el proceso Map para asignar los sub-job a los nodos esclavos Nodos Esclavos pueden aun asignar a otros nodos esclavos Los sub-job son ejecutados en paralelo en cada nodo en los cluster contra los datos en los nodos locales Los esclavos completan su trabajo y devuelven los resultados al nodo maestro Cada nodo/servidor ofrece almacenamiento y procesamiento local El nodo maestro ensambla los resultados usan el proceso Reduce Usuario envía un query via una interface/aplicación

19 Gestión Inteligente con Analítica 20

20 Qué es Big Data Analytics? Gestión Inteligente con Analítica 21

21 Big Data Analytics Big data analytics is the process of examining big data to uncover hidden patterns, unknown correlations and other useful information that can be used to make better decisions. With big data analytics, data scientists and others can analyze huge volumes of data that conventional analytics and business intelligence solutions can't touch. Gestión Inteligente con Analítica 22

22 Las 3 V s del Big Data Gestión Inteligente con Analítica 23

23 La cuarta V : La Veracidad Nivel de fiabilidad Requisito y reto importante La imprevisibilidad no se puede eliminar

24 Un problema Cómo toma esa decisión? Es posible cuantificar ese riesgo? Qué fuentes dispone? Cuán confiables son?

25 Un problema Unificación y consistencia de datos

26 Información en contexto y acumulado Bases de datos judiciales joset@spss.com Perfil Redes Sociales Centrales de Riesgo Base de datos clientes Bases de datos migraciones

27 Retos Información faltante Coherencia Análisis de datos

28 El Análisis de Entidades Entity Analytics

29 Entity Analytics El análisis de entidades se centra en mejorar la coherencia de los datos actuales mediante la resolución de conflictos de identidades dentro de los propios registros.

30 Cómo se puede aplicar? Fraude Reclamaciones de seguros Solicitud de prestamos Cobro de cheque en ventanillas Reclutamiento e investigación Contratación de funcionarios. Investigación de declaraciones. Calidad de datos Unificación de la cartera de clientes

31 De esa forma Registros Civiles Dep. Mr. Joseph Carbella 55 Church Street New York, NY Tel#: DOB: 07/08/66 SID#: DL#: ACCT # DDA

32 De esa forma Registros Civiles Dep. Registros Públicos Ente Recaudador Seguro Social Mr. Joseph Carbella 55 Church Street New York, NY Tel#: DOB: 07/08/66 SID#: DL#: ACCT # DDA Mr. Joey Carbello 555 Church Ave New York, NY Tel#: DL#: PPN#: ACCT # MORTGAGE Mr. Joe Carbello 1 Bourne St Clinton MA TEL#: DL#: DOB: 07/09/66 ACCT # CREDIT CARDS Mr. Joe Jones APT 4909 Bethesda, MD Tel#: DOB: 09/07/66 TRUST FUND Coincidencia Cercana Coincidencia Exacta

33

34 En Resumen EA les permitirá Personas, Asociaciones políticas, empresas. Se pueden agregar nuevas entidades y características IBM SPSS Única tecnología comercial de este tipo que se puede desplegar el mismo día que se instala.

35 La propuesta de IBM

36 Estrategia de IBM Big Data Visibility Understand, find, and navigate federated big data BI / Reporting Analytic Applications Exploration / Visualization Functional App Industry App Predictive Analytics IBM Big Data Platform Content BI / Analytics Reporting Analytics Analyze, predict and automate for more accurate answers Volume, Variety Visualization & Discovery Application Development Systems Management Volume Cost-effectively process and analyze any type of data Velocity Hadoop System Accelerators Stream Computing Data Warehouse Purpose-built offerings High-performance appliances and software Veracity Analyze data-in-motion to produce insights in micro-seconds Information Integration, Data Quality & Governance Trusted information Parallel processing for high-volume integration

37 IBM proporciona una plataforma complete para soportar esta evolución. Visibility InfoSphere Data Explorer Volume, Variety BI / Reporting Analytic Applications Exploration / Visualization Visualization & Discovery Functional App Industry App Predictive Analytics IBM Big Data Platform Application Development Content BI / Reporting Analytics Systems Management Analytics Cognos BI (in-memory) Cognos Real-Time SPSS Modeler SPSS Analytic Server Social Media Analytics Volume InfoSphere BigInsights Pure Data for Hadoop Accelerators Pure Data for Analytics DB2 BLU Velocity Hadoop System Stream Computing Data Warehouse InfoSphere Warehouse Veracity InfoSphere Streams Information Integration, Data Quality & Governance Master Data Management IBM InfoSphere Information Server Data Quality Databases & Tools

38 IBM SPSS Analytics para Big Data Gestión Inteligente con Analítica 39

39 Plataforma IBM SPSS: Integran a Big Data SPSS Modeler SPSS C&D Services SPSS Analytic Server SPSS Analytic Catalyst (*)

40 IBM SPSS Modeler Gestión Inteligente con Analítica 41

41 IBM SPSS Collaboration & Deployment (C&D) Colaborativo Comparte y almacene rutas, modelos o resultados. Trabajar con multiples fuentes de datos (históricas y en tiempo real) Automatizado Programe modelos analíticos basado en tiempo o eventos Controle procesos analiticos y auditelos. Actualice y reconstruya modelos para asegurar el rendimiento. Despligue Implemente analitica con sus procesos de negocios Calificación en tiempo real o por lotes Gestión Inteligente con Analítica 42

42 IBM SPSS Analytic Server Permite aprovechar los datos almacenados en Hadoop mediante el uso de IBM SPSS Modeler, permitiendo capacidades de Big Data Analytics. Proporciona: Soporte para las diversas distribuciones de Hadoop (InfoSphereBigInsigths, Cloudera, Hortonsworks y Apache) Interface que permite incorporar algoritmos estadísticos diseñados para ir a los datos. Una interface familiar que oculta el entorno de big data para que el analista se enfoque en analizar los datos. Una solución escalable a problemas de casi cualquier tamaño.

43 IBM SPSS Analytic Server IBM SPSS Modeler SQL / UDF Stream File Big Data Request IBM SPSS Analytic Server Relational Database Modeler Client Modeler Server Hadoop Job IBM SPSS Analytic Catalyst Analytics Analytic Catalyst Tablet Client Analytic Catalyst Browser Client IBM InfoSphere BigInsights & Other Hadoop Distributions Gestión Inteligente con Analítica 44

44 IBM SPSS Modeler y Analytic Server Proporciona una plataforma analítica predictiva integrada y accesible que fue diseñada para big data. Distribución de procesamiento analítico en ambientes de Hadoop con soporte para IBM InfoSphere BigInsights, Cloudera, Hortonworks y Apache Permite a los usuarios acceder a data estructurada y no estructurada (RDBMS, Hadoop, social media, etc). Gestión Inteligente con Analítica 45

45 Ejemplo de IBM SPSS Modeler con IBM SPSS Analytic Server mostrando la integración con R.

46 Casos de Éxito: Big Data Analytics

47 Necesidad: Evitar los casos de fraude mediante una aplicación que pueda hacerlo en tiempo real. Manejan información a través de PC, teléfonos como medios de pago en miles de sitios web. Poder predecir donde podría suceder fraude antes que en alguno de los 90MM de navegadores conectados al sitio en un día dado. Situación Actual: PayPal maneja filtros de administración de fraudes: revisión por su monto, origen u otros factores. PayPal (y Amazon) desarrollaron herramientas que dependen de grandes conjuntos de datos (IP, información del navegador, y demás datos técnicos para refinar los modelos para predecir, identificar y prevenir actividades fraudulentas.

48 Firma global de servicios financieros estadounidense, sede New York. 42 países, oficinas, + 60K empleados. Corporaciones multinacionales, gobiernos, instituciones financieras y particulares. + US$ 300MM en activos Hadoop desde 2010 Usan Hadoop para rastrear toda su web y bases de datos en busca de registros que indiquen la posibilidad de que aparezca cualquier problema Los problemas se descubren en tiempo real y se dispone de la trazabilidad completa sobre: quien hizo que, cómo, cuándo y qué causo el problema. Morgan Stanley Smith Barney (MSSB), creada 2009 y gestiona 1.7 trillones de dólares en activos para los 4M de clientes. Recomienda sus inversiones en acciones, bonos, y renta fija. Informes de analistas, datos públicos y sociales. Todo se emplea en recomendaciones de comprar y vender accione sobre la base de las posiciones en tiempo real y las condiciones del mercado.

49