Talend Integration Suite

Transcripción

1 Talend Integration Suite Talend Integration Suite es un sistema que mejora considerablemente la eficiencia del trabajo de integración de datos a través de un entorno de desarrollo gráfico fácil de usar. Este permite el despliegue rápido de trabajos y reduce los costos de mantenimiento con conectores predefinidos para todos los sistemas de origen y destino, soportando todos los tipos de integración de datos, migración de datos y las operaciones de sincronización de datos. Junto al canal de soporte profesional, se dispone de soporte de alta calidad a través de una comunidad mundial de usuarios en web, que realizan pruebas y retroalimentación continua. Talend Integration Suite es un servicio de suscripción desarrollado por Talend con soporte técnico de nivel profesional y funcionalidades de nivel corporativo. Está diseñado para soportar el desarrollo multiusuario, escalar a los más altos niveles de volúmenes de datos y operar procesos complejos. "Talend fue sin duda la solución más adecuada para nosotros, especialmente en términos de una conversión rápida y sencilla, la variedad de conectores, y su rendimiento cuando se trata de grandes volúmenes de datos. Ahora podemos manejar los elevadísimos volúmenes de datos de nuestra gran red utilizando un repositorio de datos central y Talend Integration Suite. También me gusta la política de concesión de licencias de Talend: el crecimiento de nuestra empresa y el crecimiento del volumen de datos no afectan los costos de licencia. Esto ayuda a nuestros presupuestos y nos proporciona confiabilidad en la planeación. " Cyril Zenger, OSS/-BSS Engineer, ewz Telecom. Talend Integration Suite está disponible en varias ediciones para adecuarse a las necesidades de cualquier organización: Talend Integration Suite Team Edition ofrece todas las funciones de colaboración y las funciones de ejecución programada basadas en el tiempo (calendario). Talend Integration Suite Professional Edition extiende la versión Team Edition con la ejecución programada avanzada, basada en eventos y características adicionales de ejecución, la gestión de recuperación de errores y capacidades de gestión en tiempo real. Talend Integration Suite RTx extiende la versión Professional Edition con las características de SOA, así como capacidades adicionales en tiempo real, centrándose en requerimientos intensivos de integración en tiempo real. Talend Integration Suite Enterprise Edition incluye funciones adicionales tales como alta disponibilidad y gestión en red entre otras funciones de nivel corporativo. Talend Integration Suite MPx amplía la versión Enterprise Edition con la ejecución masiva en paralelo y capacidades de manejo de volúmenes de datos elevados. Sistemas de BI Integración de Datos Bogotá - Colombia Bases de Datos analíticas +(571)

2 Talend en los Sistemas de TI Limpiar datos Intercambiar datos en el sistema De información Administrar una sola Versión de la verdad MDM Hub Analizar datos CRM Producción Presupuesto Nueva Contabilidad Datamart Ventas Extraer, Transformar & Cargar Datos (ETL) Migración de aplicaciones instaladas Intercambio de datos con Socios & clientes Datamart Mercadeo Bodega de Dato 5 Contabilidad Existente Talend 2010 Clientes & Proveedores Sistemas de BI Integración de Datos Bogotá - Colombia Bases de Datos analíticas +(571)

3 TALEND INTEGRATION SUITE Detalles & Opciones El trabajo en Equipo y la Consolidación del Desarrollo El manejador de metadatos (o repositorio compartido) de Talend Integration Suite, está diseñado para consolidar toda la información del proyecto y los metadatos corporativos en un repositorio centralizado, compartido por todos los colaboradores dentro de los procesos de integración: los usuarios de negocios, desarrolladores de procesos y el personal de TI. Todos pueden acceder a la misma y única versión de la verdad. Este repositorio compartido facilita la colaboración entre los miembros del equipo, al permitirles almacenar y compartir sus modelos de negocios, trabajos de integración de datos, metadatos y todos los elementos de Talend. Tener un repositorio compartido promueve la reutilización de las rutinas, los objetos y el código. Además estimula el desarrollo de mejores prácticas que luego pueden ser aprovechados por todos los desarrolladores para sus trabajos de integración de datos, migración de datos y sincronización de datos. Detrás del repositorio compartido está un administrador de fuentes (SVN) estándar de la industria, que cuenta con amplias capacidades de control de versiones, así como capacidades de colaboración avanzadas, incluyendo check-in y check-out a nivel de objeto, análisis de impacto, el seguimiento de origen de datos, comparación de versiones y más. Los usuarios, roles, permisos y privilegios se gestionan de forma centralizada a través del sistema de administración central basado en Web, que soporta sistemas LDAP, tales como Active Directory. Industrialización La arquitectura de los procesos de la empresa es a menudo compleja y su implementación toma mucho tiempo. Talend Integration Suite incluye características de automatización a fin de facilitar el desarrollo y la implementación de estos procesos. Sistemas de BI Integración de Datos Bogotá - Colombia Bases de Datos analíticas +(571)

4 Múltiples asistentes ayudan a automatizar las conexiones de fuentes heterogéneas, incluyendo las plataformas de escala corporativa (SAP, Oracle,..), o fuentes versátiles como EBCDIC, JBIS, JNDI, XML, servicios Web y más. Los Joblets de Talend, son los modelos básicos de los procesos que pueden ser reutilizados para facilitar la industrialización de los mismos. La función de Proyectos de referencia ayuda a evitar la duplicación (copiar y pegar) de los proyectos existentes. Los proyectos "Esclavos" están vinculados a un proyecto "maestro" por referencia, balanceando desarrollos y procesos. La función de procesamiento paralelo ayuda a aprovechar al máximo las capacidades del servidor y el número de procesadores disponibles, mejorando en gran medida el tiempo de proceso de ejecución. Las capacidades avanzadas de análisis de impacto y el seguimiento de origen de los usuarios de datos ayudan a conocer el camino seguido por los datos a través del sistema de información y el impacto de un cambio en la estructura de datos o procesos de transformación. Sistemas de BI Integración de Datos Bogotá - Colombia Bases de Datos analíticas +(571)

5 La función de captura de datos modificados Change Data Capture (Publicar & Suscribir CDC) identifica rápidamente y captura los datos que se han añadido, actualizado, o eliminado de las tablas de la base de datos y hace que estos cambios (y sólo los cambios) estén disponibles para los suscriptores. Las características adicionales de reglas de negocio, permiten a los usuarios incorporar el JBoss Rules Governor (BRMS) para tener una definición administración centralizada de las reglas de negocio compatibles con JBoss. La herramienta de auditoría de proyectos, proporciona métricas cualitativas y cuantitativas, calculadas contra las mejores prácticas, que ayudan a optimizar los proyectos de integración de datos, migración de datos y sincronización de datos. Administración de Implementaciones Complejas Talend Integration Suite, incorpora potentes capacidades para la gestión de todas las implementaciones de integración de datos, desde los procesos más sencillos hasta los más complejos, desde procesos individuales hasta miles de procesos, y con volúmenes de datos que van desde unos pocos registros hasta terabytes de datos, a través de una consola central, denominada Centro de Administración de Talend. Basado en la Web 2.0 e incluyendo tecnología Ajax, el Centro de Administración Web de la aplicación ofrece un ambiente amigable y la capacidad de refrescar rápidamente la pantalla. El Job Conductor coordina y programa la ejecución de los procesos. Proporciona una interfaz de ejecución centralizada, desde la que se pueden iniciar todos los procesos a petición o según una programación basada en el tiempo. El Job Conductor asigna automáticamente los servidores disponibles para ejecución y realiza un seguimiento permanente de sus recursos para equilibrar inteligentemente la carga de la ejecución de los procesos. Sistemas de BI Integración de Datos Bogotá - Colombia Bases de Datos analíticas +(571)

6 En la edición profesional y superiores, el Job Conductor añade capacidades de programación basado en eventos para la integración de datos en tiempo real, incluyendo la presentación de informes y estadísticas de ejecución en tiempo real. También agrega una función de planeación de ejecución, que ayuda a los usuarios centralizar la distribución de ejecución en función de cada tarea y facilitar la recuperación de errores. El Grid Conductor optimiza la escalabilidad y la disponibilidad de los procesos de integración, asegurando un uso óptimo de la red y distribuyendo los procesos de forma automática en la red de ejecución. Con el equilibrio de carga dinámica, que supervisa constantemente los recursos disponibles en los servidores de ejecución y una distribución inteligente de los trabajos, el Grid Conductor garantiza permanentemente que todos los trabajos se ejecutan y hacen el mejor aprovechamiento de los recursos disponibles, eliminando los cuellos de botella creados por el enfoque tradicional de un solo servidor de ejecución. Esto alivia las preocupaciones relacionadas con derecho preferente de los recursos cuando se ejecutan un gran número de trabajos simultáneamente, o cuando se utilizan servidores no dedicados. Grid conductor también proporciona fail-over automático en caso de no estar disponible un recurso de ejecución. Sistemas de BI Integración de Datos Bogotá - Colombia Bases de Datos analíticas +(571)

7 La elevada disponibilidad se logra a través de la capacidad de desplegar múltiples líneas de procesos, múltiples servidores de tareas de ejecución y de agrupar las bases de datos, garantizando de conmutación por error y evitando cualquier interrupción de ejecución. La Ejecución a Distancia permite la ejecución remota de procesos en los sistemas especificados. Esto puede ser extremadamente útil para probar el proceso con la misma configuración que el entorno de producción, o en diferentes sistemas operativos, o simplemente para ejecutar procesos a petición en los sistemas específicos, sin pasar por procedimientos de implementación compleja. Monitoreo de Ejecución Talend Integration Suite suministra funciones avanzadas de monitoreo, que permiten la supervisión centralizada de todos los procesos de integración. La Consola de Monitoreo de actividad monitorea los eventos de los procesos (éxitos, fallos, advertencias, etc.), los tiempos de ejecución y los volúmenes de datos a través de una única consola, que está totalmente integrada con Talend Integration Suite Studio. Con indicadores personalizables y rangos, la consola de supervisión de actividad proporciona una vista de alto nivel que permite profundizar en las estadísticas de cada proceso. El tablero de control (incluido en el Centro de Administración de Talend) es una versión basada en Web de la consola de supervisión de actividad, a la que se puede acceder fácilmente a través de un navegador Web. El tablero de control ofrece diagramas de Sistemas de BI Integración de Datos Bogotá - Colombia Bases de Datos analíticas +(571)

8 rendimiento de ejecución e indicadores de estado, permitiendo a cualquier interesado para ver tanto el estado actual, como el histórico de la ejecución de cualquier proceso de integración. Los procesos de gestión de datos pueden informar en tiempo real su estado de ejecución y el rendimiento. Esta característica es esencial para los equipos de operaciones de TI que necesitan visibilidad en tiempo real sobre el progreso de los procesos, sin tener que esperar hasta el final de la ejecución completa. Esta característica se ha diseñado para un uso mínimo de ancho de banda y recursos, y se puede desactivar si es necesario. Procesamiento Masivo en Paralelo Basada en la tecnología premiada de Talend, Integration Suite MPX es una plataforma de gran escalabilidad, para la integración de datos masiva y paralela, que se ajusta a los volúmenes de datos más elevados. Dirigido a empresas que necesitan procesar volúmenes de datos extremadamente grandes en marcos de tiempo muy cortos, Talend Integration Suite MPX supera los requisitos más exigentes y supera todas las pruebas de rendimiento existente. Tecnología FileScale: Talend Integration Suite MPX posee la exclusiva tecnología FileScale, que aprovecha la arquitectura de hardware del servidor de ejecución y maximiza el rendimiento de los algoritmos de bajo nivel. Por medio de la arquitectura MapReduce rompe de forma automática los trabajos de de procesamiento de datos en una serie de procesos granulares. Sistemas de BI Integración de Datos Bogotá - Colombia Bases de Datos analíticas +(571)

9 Procesamiento Masivo en Paralelo: Los desafíos involucrados en el procesamiento de grandes cantidades de datos son similares a las de cualquier proyecto a gran escala. Por lo general, el mejor enfoque consiste en dividir la tarea en el mayor número posible de subtareas y distribuirlas en todos los recursos disponibles, con el fin de realizar el proceso en paralelo. Talend Integration Suite MPX maximiza las capacidades del servidor y el número de procesadores disponibles, mejorando en gran medida el tiempo de procesamiento. También automatiza la distribución de conjuntos de datos en paralelo en múltiples flujos, para acelerar aun más el proceso, aprovechando los cargadores masivos en paralelo de los principales motores RDBMS. Ver más acerca del MPx. Hadoop: Apache Hadoop es una plataforma de software de código abierto Java que soporta aplicaciones distribuidas, intensivas en datos. Se permite a las aplicaciones trabajar con miles de nodos y petabytes de datos. Talend Integration Suite MPX incluye soporte nativo para Hadoop, por lo que es posible escalar a cualquier nivel y apoyar cualquier tipo de datos complejos, por lo que las empresas pueden aprovechar sus grupos Hadoop para los de volúmenes de datos pico y para realizar transformaciones complejas. Integración en Tiempo Real Basado en la galardonada tecnología de Talend para la integración de datos corporativos, Talend Integration Suite RTx es la plataforma de integración de datos en tiempo real, requerida para la integración de aplicaciones que así lo requieran. Con la demanda actual, los datos con una hora de antigüedad ya son obsoletos. Usando una solución de baja latencia para procesar los datos en tiempo real, los interesados pueden estar mejor informados y así tomar mejor las decisiones críticas. Arquitectura Orientada a los Servicios: A través de la consola de Administración de Talend y del ambiente de integración 100% web y gráfico de Talend Integration Suite, los trabajos de integración de datos pueden implementados como servicios (servicios web), lo que permite su despliegue automático dentro o a través de aplicaciones heterogéneas y sistemas que utilizan SOAP (RPC o de basados en documentos). Un asistente WSDL dedicado, ayuda a Sistemas de BI Integración de Datos Bogotá - Colombia Bases de Datos analíticas +(571)

10 generar descriptores WSDL para implementar procesos como los servicios Web y encontrar las correspondientes entradas UDDI para los servicios Web. Además, Talend Integration Suite RTx, proporciona exportación nativa a JBoss ESB para la plena interoperabilidad entre aplicaciones. El Administrador de SOA también cuenta con una capacidad avanzada para la gestión de solicitud de entrada, sobre la base de una óptima puesta en común y de cola del sistema. El grupo de los servicios activos definido por el usuario, maneja un número de solicitudes en tiempo real, mientras que un gestor de colas controla las solicitudes adicionales, protegiendo el rendimiento para el procesamiento asincrónico. Ejecución Basada en Eventos: Talend Integration Suite RTx ofrece ejecución de procesos en tiempo real, a través de eventos activados por medio de servicios Web o por medio de ejecución directa. El detector de eventos permite la activación de procesos por demanda, por medio de la llegada de un mensaje a través del MOM compatible con JMS, a través de un bus de servicios empresariales (ESB), a través de RPC, HTTP, monitores de socket y usando condiciones de tipo "esperar a que ". Las latencias y los volúmenes se pueden configurar basados en una alimentación por flujo ("como viene"), como lotes (tamaño de lote personalizable) para quasi-tiempo real, en modo temporizado, o utilizando una combinación de modos. Conectores de Tiempo Real: Talend Integration Suite RTx ofrece múltiples conectores dedicados al procesamiento de datos en tiempo real, incluidos los componentes de servicios Web para consumir WS utilizando protocolos SOAP o REST; componentes MOM para comunicaciones asincrónicas; conectores de mensajería basados en JMS para permitir sistemas de arquitectura orientada a eventos (EDA) y soportar una arquitectura orientada a servicios (SOA). Conectores para API de aplicaciones empresariales en tiempo real, incluyendo Salesforce.com, SAP, Microsoft Dynamics, etc. Otros conectores que permiten la integración de datos con sistemas RDBMS, sistemas mainframe o delegados, LDAP, correo electrónico, HTTP, FTP, etc. Sistemas de BI Integración de Datos Bogotá - Colombia Bases de Datos analíticas +(571)

11 Captura de Cambios de Datos: La captura de los cambios de datos (CDC) reduce el flujo de datos entre sistemas y por lo tanto ayuda a reducir el tiempo de procesamiento. La función de CDC identifica y captura en tiempo real, los datos que se han añadido, actualizado, o eliminado de las tablas de base de datos. Esta funcionalidad transaccional, está disponible de forma nativa para las principales RDBMS y a través de la integración Attunity para mainframes y sistemas de delegados. El modo de Publicación & Suscripción hace que estos cambios (y sólo los cambios) estén disponibles para los suscriptores en forma flujo continuo o en un modo resumido, en función de las necesidades de la aplicación de suscripción. Este modo permite el soporte de latencias múltiples y múltiples tipos de consumidores. Sistemas de BI Integración de Datos Bogotá - Colombia Bases de Datos analíticas +(571)