INFORME RESULTADO FINAL PRUEBA GENERAL DE CONTINUIDAD DEL NEGOCIO. Agosto 29 a Septiembre 2 GESTIÓN DE CRISIS Y CONTINUIDAD DEL NEGOCIO

Transcripción

1 INFORME RESULTADO FINAL PRUEBA GENERAL DE CONTINUIDAD DEL NEGOCIO Agosto 29 a Septiembre 2 GESTIÓN DE CRISIS Y CONTINUIDAD DEL NEGOCIO DEPOSITO CENTRALIZADO DE VALORES - DECEVAL S. A. GERENCIA DE RIESGOS Y CUMPLIMIENTO JEFATURA DE CONTINUIDAD DEL NEGOCIO SEPTIEMBRE DE 2016 GESTION DE CRISIS Y CONTINUIDAD DEL NEGOCIO Página 1

2 TABLA DE CONTENIDO 1 OBJETIVOS PLANTEADOS PARA LA PRUEBA Objetivo general Objetivos específicos 3 2 RESULTADOS Y HALLAZGOS 4 3 planes de acción 11 4 evaluación DE SATISFACCIÓN Evaluación Interna Población Objetivo: Criterios de Evaluación y Calificación Obtenida: Evaluación Externa 14 5 CONCLUSIONES 18 GESTION DE CRISIS Y CONTINUIDAD DEL NEGOCIO Página 2

3 1 OBJETIVOS PLANTEADOS PARA LA PRUEBA 1.1 Objetivo general Operar todos los sistemas core de Deceval desde el datacenter de contingencia por una semana simulando una caída controlada. 1.2 Objetivos específicos Verificar la autonomía del segundo nodo Verificar el RTO para sistemas core Medición de tiempos para activación de contingencia. Verificar la aplicabilidad y suficiencia de la documentación Verificar que el ambiente de contingencia funciona adecuadamente. GESTION DE CRISIS Y CONTINUIDAD DEL NEGOCIO Página 3

4 2 RESULTADOS Y HALLAZGOS Proceso Fecha y Hora Resultados Hallazgos Activación de Lunes 29 de agosto Exitoso En el proceso de paso a servicios en 5:20 am Se procede de acuerdo contingencia se identificó sitio de con el plan establecido. lo siguiente: contingencia Activación en sitio. (Calle 26). Retraso en el inicio RTO SIIDJ: 50 min RTO Web (Pagarés, Tidis, SGA): 50 min RTO Portal: 50 min debido a mayor tiempo consumido en actividad previa de generación y transferencia de back up de Entrust de Triara a Colombia XV. Se debió a mayor tamaño del back up. Demora en activación de base de datos debido a que las notificaciones que deben llegar automáticamente a través de correo electrónico no se generaron. Esto generó la necesidad de hacer validaciones adicionales para confirmar que no hubiera problemas. Incidente presentando al iniciar la aplicación SIIDJ. Interfaces de red NFS no subieron GESTION DE CRISIS Y CONTINUIDAD DEL NEGOCIO Página 4

5 Proceso Fecha y Hora Resultados Hallazgos en el primer intento. Las incidencias reportadas dieron como resultado un tiempo de activación superior al que se venía manejando en los últimos ejercicios. Sin embargo el proceso se mantiene dentro de los límites de la promesa de servicio, es decir por debajo de 90 minutos. Activación de Viernes 26 de Exitoso correo agosto 10 pm Se llevó a cabo el traslado electrónico del servicio de correo electrónico de acuerdo con la planeación establecida. Verificación Lunes 29 de agosto Exitoso de Usuario a las 6:15 am Verificación correcta Pagarés para el sistema de pagarés. Verificación de componentes de firma. Verificación Lunes 29 de agosto Exitoso Los usuarios se de Usuario a las 6:40 am Verificación correcta presentaron más tarde Operaciones para todos los sistemas. lo acordado a realizar la validación Operación en Lunes 29 de agosto Exitoso Incidente: Contingencia Viernes 2 de Se mantienen disponibles Imposibilidad para septiembre todos los servicios operando transferencia de en ambiente de contingencia archivos PDF durante toda la semana. asociados al servicio SIIDJ Tidis FTP a GESTION DE CRISIS Y CONTINUIDAD DEL NEGOCIO Página 5

6 Proceso Fecha y Hora Resultados Hallazgos Pagarés Tidis Ftp Tidis web SGA Portal Web PC Firmante Servicios Ftp Correo Electrónico Se llevan a cabo procesos especiales durante la semana con resultados satisfactorios, tales como: Cierre del mes, facturación. Pagos de dividendos en los primeros días del mes Se opera satisfactoriamente con los canales de comunicación contingentes (Level 3) para la sede principal. SAO y Medellín El correo electrónico funciona adecuadamente tanto para servicio de relay como para servicio de buzones. Bancolombia. o Día: Lunes 29 de agosto Viernes 2 de septiembre o Tiempo de solución: No se dio solución por ser un inconveniente propio del cliente Bancolombia) Antecedentes: En el mes de julio se implementó una mejora al proceso de Tidis con Bancolombia, mediante ele cual se implementó la generación de archivos PDF para ser transmitidos vía SFTP con información del proceso. Descripción: A pesar de que el cambio mencionado fue implementado por Deceval en el ambiente de contingencia y el servicio estuvo disponible durante la semana del 29 de agosto al 5 de septiembre, el cliente Bancolombia no realizó la implementación correspondiente en su infraestructura para hacer viable la conexión al GESTION DE CRISIS Y CONTINUIDAD DEL NEGOCIO Página 6

7 Proceso Fecha y Hora Resultados Hallazgos datacenter de contingencia de Deceval por lo cual durante la semana no les fue posible tomar los archivos PDF del proceso como lo hacen habitualmente. Solución: Dado que el incidente y su solución sólo podía ser implementada por el cliente, Deceval ofreció un procedimiento de contingencia manual el cual implica el envío cada 30 minutos de los archivos requeridos a través de correo electrónico con la información cifrada. Este procedimiento manual e usó durante toda la semana. Se espera que el cliente realice la modificación en su infraestructura lo antes posible Incidente: Error en la generación de reportes de portafolio que incluían Bonos Pensionales Día: Miércoles 31 de agosto GESTION DE CRISIS Y CONTINUIDAD DEL NEGOCIO Página 7

8 Proceso Fecha y Hora Resultados Hallazgos Descripción: Los reportes de portafolios requeridos por los clientes para el proceso de pagos, se generaron con errores para aquellos que incluían registros de bonos pensionales. Este incidente afectó a dos clientes y generó retrasos en los procesos de cierre operativo del día. Solución: Se implementó una solución temporal en la noche del 31 de agosto para entregar los reportes correctos a los clientes al día siguiente. El análisis del problema indico que este no se debió al uso de la infraestructura contingente ya que al generar el reporte con la misma fecha después del retorno en ambiente principal se identificó el mismo comportamiento. Al cierre del presente informe el análisis de la causa raíz que está ligada a aspectos netamente funcionales del sistema, se encontraba en curso. GESTION DE CRISIS Y CONTINUIDAD DEL NEGOCIO Página 8

9 Proceso Fecha y Hora Resultados Hallazgos Incidente: No generación de reportes internos para facturación Día: Jueves 1 de septiembre Descripción: La generación de reportes requerida por usuarios internos para generar la facturación generaba errores imposibilitando la disponibilidad de dichos reportes. Solución: El diagnóstico indicó que debido a la alta concurrencia en las solicitudes, el espacio temporal que se utiliza para la generación de reportes llegó a su límite generando los rechazos en las solicitudes y los errores presentados. Para dar solución se cancelaron los reportes en curso, se solicitó desconexión a todos los usuarios y se desocupó el espacio de almacenamiento temporal que se había llenado. Al dar inicio de nuevo a la generación de reportes estos funcionaron adecuadamente. GESTION DE CRISIS Y CONTINUIDAD DEL NEGOCIO Página 9

10 Proceso Fecha y Hora Resultados Hallazgos Retorno Viernes 2 de Exitoso: La activación se dio en servicios core septiembre El retorno se realizó de aproximadamente pm (Remoto) forma remota. minutos. Los servicios core quedan disponibles a las 10:30 pm del mismo viernes 2 de septiembre Retorno Viernes 2 de Exitoso correo septiembre 11:45 El correo electrónico queda electrónico pm disponible y funcionando adecuadamente a la 1:11 am Verificación Viernes 2 de Exitoso Final de septiembre a las Verificación correcta Usuario 10:30 pm para el sistema de Pagarés pagarés. Cierre Sábado 3 de Exitoso tecnológico septiembre No se presenta ninguna novedad en el proceso Verificación Lunes 5 de Exitoso final septiembre a las Verificación correcta para Operaciones 6:30 am todos los sistemas. GESTION DE CRISIS Y CONTINUIDAD DEL NEGOCIO Página 10

11 3 PLANES DE ACCIÓN Sobre los incidentes reportados en el proceso de activación y durante la semana se establecieron los siguientes compromisos: Situación Plan de Acción Fecha de Implementación Aumento del tiempo en generación de back up de Entrust antes del inicio de la activación Revisión de configuración de la réplica del backup del Entrust y ajustes para el proceso de activación del ambiente contingente. Septiembre 30 Responsable Sandra Cárdenas Demora en la activación de la base de datos por correos automáticos que no se generaron Interfaces de red que no subieron adecuadamente Imposibilidad transferencia archivos para de PDF Revisión de procedimientos de Veritas, para confirmar las cuentas para las notificaciones. Inclusión de validaciones adicionales para los servicios de correo electrónico. Implementación de un script en estos servidores que efectúe un reset de las interfaces. El miso será validado por medio de Veritas para que revise el estado de estas interfaces y notifique si encuentran arriba y sin inconvenientes. Seguimiento a Bancolombia para la implementación Septiembre 30 Septiembre 30 Octubre 15 Sandra Cárdenas Sandra Cárdenas Sandra Cárdenas Paola Castillo GESTION DE CRISIS Y CONTINUIDAD DEL NEGOCIO Página 11

12 Situación Plan de Acción Fecha de Implementación asociados al servicio Tidis FTP a Bancolombia. del cambio requerido para lograr conectividad con el datacenter de contingencia Responsable Error en la generación de reportes de portafolio que incluían Bonos Pensionales Revisión del procedimiento de control de cambios para evitar que este tipo de situación se repita La causa raíz identificada por el equipo de TI es que el contenido de uno de los campos del reporte no es compatible con el formato definido para dicho campo. Por tanto se procedió a corregir esta desviación tanto en ambiente principal como contingente. Solucionado Dagoberto Rada No generación de reportes internos para facturación Configuración de límites par reportes de facturación para evitar el llenado del espacio temporal asociado a ellos Septiembre 30 Sandra Cárdenas GESTION DE CRISIS Y CONTINUIDAD DEL NEGOCIO Página 12

13 4 EVALUACIÓN DE SATISFACCIÓN 4.1 Evaluación Interna Como parte de la evaluación posterior al ejercicio se llevó a cabo una encuesta interna en la cual se busca evaluar la percepción de todos los involucrados en la prueba con respecto a: Coordinación y Preparación de la Prueba (40%) Operación de la Prueba (60%) A continuación se mencionan los resultados de la encuesta realizada para esta prueba: Población Objetivo: La encuesta se envió a todos los participantes internos del depósito, para ser solucionada entre el lunes 5 y el viernes 9 de Septiembre Criterios de Evaluación y Calificación Obtenida: Item 1: Coordinación y Preparación de la Prueba En este ítem se evaluaron temas como la correcta divulgación de objetivos, alcance, responsabilidades y resultados esperados entre todos los participantes. La adecuación de los objetivos planteados, la asignación de recursos y seguimiento de las actividades de la prueba durante su ejecución. El Resultado obtenido para este ítem fue 4.45 sobre 5. Item 2: Operación de la Prueba Este ítem busca evaluar la forma en que se llevaron a cabo las actividades durante la ejecución, la calidad del soporte y el logro de los resultados esperados. El resultado obtenido para este ítem fue 4.39 sobre 5. La calificación general fue de 4.41 sobre 5. GESTION DE CRISIS Y CONTINUIDAD DEL NEGOCIO Página 13

14 4.2 Evaluación Externa Como parte de la evaluación posterior, se llevó a cabo una evaluación de satisfacción dirigida a los clientes externos. La encuesta tuvo cuatro preguntas, la cuales podía ser calificadas en una escala de 1 a 5 siendo 1 la calificación más baja y 5 la más alta. } A continuación se muestran los resultados obtenidos: Calificación promedio Pregunta 1: 4.78 Calificación promedio Pregunta 2: 4.53 GESTION DE CRISIS Y CONTINUIDAD DEL NEGOCIO Página 14

15 Calificación promedio Pregunta 3: 4.33 Calificación promedio Pregunta 4: 4.71 Calificación Total: 4.6 GESTION DE CRISIS Y CONTINUIDAD DEL NEGOCIO Página 15

16 A continuación se mencionan algunas observaciones recibidas por parte de los clientes con relación al ejercicio: La prueba fue transparente, debido a que no se presentaron inconvenientes en la plataforma y el rendimiento fue óptimo. Debería programar esta prueba con mayor periodicidad Para nuestra operatividad el ejercicio se llevó con plena satisfacción Se ajustó correctamente el inconveniente de conectividad presentado en la prueba anterior. Importante prepararnos para futuros inconvenientes La prueba fue tan transparente para nosotros como usuarios que no fue necesario recurrir al soporte ni a la solución de dificultades. Excelente Prueba!!! No se presentó ninguna situación que requiriera de atención o soporte por parte de Deceval. Prueba de continuidad realizada con éxito No se necesitó soporte por parte de Deceval, y la conectividad estuvo bien durante toda las prueba. Me parece una muy buena opción de tener este respaldo en caso de algún problema En las pruebas realizadas, siempre se dispara desde el cierre del día hábil anterior a la prueba, por lo general este es un viernes, si el problema en un evento real sucede a mitad de semana se estaría en capacidad de entrar en contingencia con la brevedad requerida impactando lo menos posible el mercado Durante la pruebas se presentaron inconsistencias en los tiempos de respuesta y de comunicación del canal El proceso fluyo muy bien y nos da la tranquilidad en cualquier contingencia que se presente, además nos parece muy efectivo el realizar estas pruebas periódicamente pues nos permite tener presente el proceso No tuvimos inconveniente alguno durante la ejecución de la prueba, no fue necesario solicitar apoyo, ni consultar. "Muchas gracias por la encuesta, no se presentó ninguna novedad. Se demoran mucho en responder un correo, les recomiendo que cuando se envíe alguna inconsistencia respondan oportunamente, si no hay solución, por favor responder que ya recibieron el correo y que se está validando, pero las respuestas son después de una hora de reportada la inconsistencia No tuve ningún inconveniente con la contingencia de Deceval. La prueba se realizó sin ningún traumatismo GESTION DE CRISIS Y CONTINUIDAD DEL NEGOCIO Página 16

17 No tuvimos inconveniente al realizar el ejercicio de contingencia, cordial saludo Realmente no operamos mucho durante esta semana, pero en lo operado (reportes y demás) el servicio fue muy bueno Gracias por la información con anterioridad, es muy importante para nosotros estar enterado de los planes de contingencia que ustedes realicen. La conexión fue exitosa y no presentamos inconvenientes. : GESTION DE CRISIS Y CONTINUIDAD DEL NEGOCIO Página 17

18 5 CONCLUSIONES Se cumplió con el objetivo principal de operar todos los sistemas core desde el Datacenter de contingencia simulando una caída controlada, por una semana. Se realizó el proceso de activación de servicios en ambiente de contingencia haciendo uso de los procedimientos que se tienen definidos y publicados para ello. Se comprobó la autonomía del nodo alterno para los servicios core Se operaron correctamente los sistemas SIIDJ, Pagarés, Tidis Web y FTP, Base de Datos Única de Inversionistas, Portal Web y Sistema de Gestión de Asambleas y Correo Electrónico durante toda la semana, incluyendo procesos en línea, procesos batch, cierres nocturnos y back ups. Se dio un proceso de retorno a la normalidad controlado. El RTO para SIIDJ estuvo por debajo del esperado; fue de 50 min. El RTO para Servicios Web estuvo por debajo del esperado; fue de 50 min. El ejercicio permite demostrar que Deceval está en capacidad de recuperar y reanudar su operación y servicio al mercado de valores colombiano basado en la solución tecnológica con que cuenta. La prueba permitió identificar oportunidades de mejora en los servicios que actualmente se tienen disponibles en contingencia, a las cuales se hará seguimiento de acuerdo con lo dispuesto en el numeral de planes de acción de este informe. El ejercicio se considera exitoso y aumenta el nivel de confianza interna y externa sobre la Gestión de Crisis y Continuidad del Negocio. Agradecemos a todos los participantes su valiosa colaboración y aportes al proceso que permite afianzar los procedimientos y recursos de contingencia disponibles para reaccionar y recuperarnos ante un evento de crisis. GESTION DE CRISIS Y CONTINUIDAD DEL NEGOCIO Página 18