VICERRECTORÍA administrativa y financiera

Transcripción

1 VICERRECTORÍA administrativa y financiera SUBDIRECCIÓN DE GESTIÓN DE SISTEMAS DE INFORMACIÓN COMUNICADO 002 Segundo semestre de 2014 Informe sobre la situación de los sistemas en la Universidad 1. Sucesos El día martes 9 de septiembre del año en curso se presentó un corte de energía en la sede Calle 72 que interrumpió el servicio desde las 6:30 p.m. Esta caída eléctrica fue soportada por los sistemas de alimentación ininterrumpida (UPS, por sus siglas en inglés) con los que cuenta la Universidad durante un tiempo aproximado de 45 minutos, debido a que la planta eléctrica registró fallas y no pudo soportar el Centro de Cómputo, ni cargar debidamente las UPS. Debido a que la energía tardó en regresar y a que la planta eléctrica no funcionaba, las UPS terminaron descargándose, lo que trajo como consecuencia la caída de la plataforma IBM que comprende 3 servidores de rack, un almacenamiento SAN, su expansión, la librería, el nuevo servidor Blade marca IBM y el sistema de virtualización. Tras el retorno del fluido eléctrico, la solución IBM arrancó automáticamente pero, al verificar el estado de funcionamiento de las aplicaciones que corren sobre estos equipos, se encontraron fallas en tres discos duros del almacenamiento SAN. 2. Primeras acciones Identificada la anomalía, la Subdirección de Gestión de Sistemas de Información (en adelante, SGSI) estableció contacto inmediato con la empresa STS, a efecto de solicitar el soporte que permitiera enfrentar los daños. Dicha empresa asignó un ingeniero, quien se conectó a través de una VPN a los servidores. La firma STS confirmó el diagnóstico del daño en 3 discos, dos de ellos irreparables, que procedieron a cambiarse, mientras un tercero fue recompuesto para resolver el problema de almacenamiento. Solventados los inconvenientes con los discos duros, se procedió a arrancar los tres servidores IBM denominados UNI3, UNI4 y UNI5 para verificar su estado, pero, aunque las máquinas funcionaron, las bases de datos Oracle no subieron. En este proceso no se encontraron algunos filesystem que prestan el almacenamiento a los servidores y se acudió de nuevo al soporte de la empresa STS para solucionar el problema mediante conexión remota. Finalmente se pudo reparar el daño y se mostraron los filesystem a los servidores.

2 El Centro de Cómputo de la Universidad se encargó de realizar el procedimiento para restablecer las bases de datos Oracle, lo cual llevó a que se descubrieran diversos problemas como daños en la información, archivos corruptos, etc. Ante semejante contingencia, la SGSI solicitó a la firma Oracle prestar los servicios de soporte requeridos para solventar la emergencia presentada, obteniendo sus servicios a través de la web y vía telefónica con cuatro técnicos expertos simultáneamente desde diferentes países. El Centro de Cómputo se puso en contacto con la firma Oracle a través del procedimiento de severidad primera establecido para casos de pérdida total de servicio, que corresponde a la más urgente y prioritaria. Durante los procedimientos de validación del backup que Oracle solicitó en la máquina UNI4, se presentaron errores hacia la 1:30 a.m. del día 11 de septiembre, por lo que se detuvo todo el proceso. A las 6:00 a.m. del mismo día se reinició el procedimiento para diagnosticar en dónde radicaba el problema de la máquina UNI4. Se obtuvo como respuesta la localización de un error 0549 SRVBOOT FAILET que corresponde a un error en un disco del servidor. La empresa STS asignó a un ingeniero especializado, quien empezó a trabajar a las 10:00 a.m. para solucionar el inconveniente de inicio del servidor. Resuelto el problema de inicio, se verificó el estado de la máquina y se encontraron nuevos problemas de filesystem con errores diferentes a los ya detectados. El Centro de Cómputo procedió a documentar en ORACLE los errores para obtener nuevos esquemas de trabajo. Hacia las 4:50 p.m. del 11 de septiembre se presentó otra caída eléctrica, con el agravante, en esta ocasión, de que las UPS no soportaron la suspensión del fluido eléctrico y las máquinas se apagaron abruptamente. Al regresar la energía se detectaron nuevos errores, nuevos filesystem sin reconocer y problemas con el almacenamiento. En este proceso, hacia las 5:20 p.m. se registró un nuevo corte de energía que agravó la situación. Por consiguiente, la Subdirectora de Gestión de Sistemas de Información autorizó apagar las máquinas hasta establecer con Codensa la solución a los problemas eléctricos, poner en funcionamiento la planta eléctrica de la Universidad y mitigar el riesgo de daño de todos los servidores. A las 6:30 p.m. se apagó la solución IBM, el almacenamiento IBM y su extensión, así como el Blade IBM, que son los que se encontraban en la UPS que no soportó los cortes de energía. Los otros ambientes, como la plataforma web, siguieron funcionando sin inconvenientes, a pesar de que durante la noche se presentaron cuatro cortes más del fluido eléctrico. 3. Atención a múltiples problemas El día 12 de septiembre del año en curso, con la participación de la Subdirección de Servicios Generales, se trabajó en el arreglo de la parte eléctrica. A eso de las 3:50 p.m. se solicitó apagar toda la plataforma del Centro de Cómputo para realizar pruebas con la planta eléctrica y las UPS. Se encontraron contactos bloqueados que no permitían migrar la alimentación a la planta. Se realizaron limpiezas y ajustes, y se dejó en funcionamiento temporal mientras se obtiene un mantenimiento correctivo y preventivo radical.

3 Una vez solucionado el inconveniente con la parte eléctrica, y tras haber realizado pruebas de funcionamiento, se procedió a restablecer los servicios web y a subir la solución IBM y su almacenamiento. La ingeniera Andrea Lozano prosiguió con la exploración de errores en los equipos y en las bases de datos que no arrancaron. Para este momento se tenían abiertos casos A1 en Oracle, con las bases de datos de Siafi, Talento Humano, Sigan y Cordis, que presentaban fallas graves en su estructura y en su información. El día 13 de septiembre el Centro de Cómputo realizó los procedimientos recomendados por Oracle, mientras la SGSI contactaba a diferentes expertos en bases de datos en Oracle para requerir el correspondiente soporte técnico. Los ingenieros Chistiam Petro y Carlos Duque se conectaron de forma remota y realizaron procedimientos conjuntos con los ingenieros de la Universidad para restablecer los servicios. Finalmente se concluyó que era necesario seguir con los procedimientos recomendados por la firma Oracle, y entre las 11:00 p.m. y las 6:00 a.m. del día 15 de septiembre se continuaron los procedimientos de restauración de la información. El mismo día a las 8:30 a.m. se realizó una reunión con la Vicerrectora Administrativa y Financiera y la SGSI, y se consideró que era pertinente formalizar el diagnóstico y realizar la evaluación del estado de los fallos y acciones realizadas hasta el momento por los ingenieros del grupo de infraestructura. Se informó sobre los procedimientos recomendados por la firma Oracle para tratar de restablecer el backup de los aplicativos como Siafi, Cordis y Talento Humano, entre otros, los cuales se adelantaron de la siguiente manera: Para los sistemas de Talento Humano, Cordis y Sigan, las bases de datos fueron recuperadas con pérdidas parciales a partir del 4 de septiembre. Para el caso de Siafi y para el Centro de Lenguas, existen dos escenarios: si los procedimientos recomendados por Oracle funcionan, se recuperaría toda la información del backup al de 8 de septiembre. Si no se logra recuperar ese backup, se requerirá la recuperación de los registros de fechas anteriores, más probablemente, los registros generados a partir del 20 de agosto. Con este diagnóstico, la Vicerrectoría Administrativa y Financiera procedió a establecer un plan de emergencia que permitiera la recuperación de los diferentes sistemas y de la información de la Universidad que se vieron afectados, con la participación de las diferentes áreas involucradas en el proceso. Para tal fin se desarrolló una estrategia transversal con los responsables de cada una de las áreas, con el interlocutor del área de sistemas y el responsable del área de calidad. En primera instancia se verificaron los procesos que se venían desarrollando en cada uno de los sistemas de su competencia y la posibilidad de contar con los backup o copias en medio físico o magnéticas que permitieran recuperar la información perdida en cada uno de los casos. Una vez levantada dicha evaluación, se procedió a adelantar una acción articulada para la formulación de los procedimientos de la emergencia; se garantizó la participación de todos los interesados y la optimización del tiempo en la incorporación de los sistemas, una vez se encuentren restaurados.

4 4. Intervenciones necesarias Los principales aspectos a reconocer en este proceso fueron: a. En el caso del sistema de información de matrículas, se encontró que era posible recuperar prácticamente la totalidad de la información, exceptuando la correspondiente a los pines del proceso de inscripciones de pregrado y posgrado generados entre el 4 y 9 de septiembre. Para ello se solicitó el apoyo de la Tesorería de la Universidad, quien reportó dicha información. Estas acciones deben acompañarse de un operativo el día de los exámenes con el fin de culminar las inscripciones de los aspirantes con estos pines. El cálculo aproximado de los estudiantes en esta situación es cercano a 90. Igualmente se producirá una nota en la página web de la Universidad informando sobre la necesidad de subsanar dicha situación. b. En el caso del Sistema Cordis, se informó que el área de archivo cuenta con copia de los Cordis emitidos en ese periodo y registrados en una planilla manual. Sin embargo, se requiere la información generada en las diferentes áreas de la Universidad, para lo cual se hizo el envío de la solicitud en la estructura de información definida en el equipo transversal. c. En el caso de Talento Humano, esta cuenta con la información a partir del 4 de septiembre. El área responsable informa que en este periodo se adelantaron pocas actualizaciones de novedades en el sistema. d. En el caso del Centro de Lenguas se tienen cuatro procedimientos: registro de notas, matrículas, pagos de recibos complementarios y pagos a profesores. En relación con las calificaciones, se solicitará a los profesores la actualización del segundo periodo de manera simultánea con la del tercer periodo. Las matrículas y los pagos complementarios se recuperarán a través de Tesorería. Estos informes se remitieron el día 15 de septiembre. e. Con respecto al Sistema Siafi, se determinará el mecanismo para restablecer la información de cerca de 500 registros que se perderían, en el peor de los escenarios, fijándose un procedimiento de emergencia para cubrir los gastos más urgentes de la Universidad, siempre que sobre el rubro presupuestal se tenga el saldo certificado por el área de Presupuesto. Se acordó, además, que los registros de las disponibilidades, los registros presupuestales y las demás acciones deben coincidir con la numeración ya generada por el sistema de información y que se encuentra registrada manualmente en los libros de radicación que reposan en la Subdirección Financiera. En todo caso, se requerirán los soportes a las áreas de origen y será necesaria la actualización desde el área financiera. f. En relación con el sistema de contratos, se solicitó formalmente la información. Es de resaltar que dicha área cuenta con una copia en medio magnético que facilitará la actualización de la base de datos. g. Respecto al proceso de designación de decanos, cabe aclarar que los daños presentados no afectan la realización de la consulta dispuesta para su designación en la Facultad de Artes.

5 5. Corte a septiembre 17, 9:00 a.m. A septiembre 17 los Sistemas Cordis y Sigan han sido restaurados y se está incorporando la información correspondiente a los días 5, 6,7 y 8 de septiembre, de acuerdo con lo planeado con las áreas. El sistema de Talento Humano, donde se encuentra la nómina, cuenta con backup y ha sido restaurado al 100%. Para el sistema Siafi, no fue posible recuperar ningún otro backup y se pone en marcha el plan de emergencia para recuperar la información registrada desde el 20 de agosto de Aclaraciones Como es sabido, desde hace aproximadamente cuatro años se vienen presentando problemas diversos en la parte eléctrica que soporta el área del Centro de Cómputo, que es a la vez el custodio de la información de la Universidad Pedagógica Nacional. Uno de los servicios que presta el Centro de Cómputo es el almacenamiento de la información institucional, la cual se encuentra en una base de datos Oracle 9 instalada en un servidor IBM AIX 5.3 y AIX 5.2, plataforma que fue adquirida hace más de 8 años. Por fallas atribuibles a la histórica falta de planeación en mantenimientos preventivos y correctivos, no solo de la parte eléctrica (UPS, planta, aires, etc.) sino en general de todos los componentes que comprende el Centro de Cómputo y que se originan en tradicionales problemas presupuestales, se generaron riesgos sobre los cuales el grupo de infraestructura, que hace parte de la SGSI, ha informado a las correspondientes instancias y administraciones. En varios momentos, y también debido a fallas externas del fluido de Codensa, el problema eléctrico ha generado múltiples caídas de la plataforma del Centro de Computo (servidores), ocasionando daños en los equipos, tanto físicos (monitores, board, discos duros, memorias, etc.), como lógicos (degradación de los sistemas operativos, pérdida de la información almacenada en los mismos tanto a nivel de filesystem como en base de datos). Las consecuencias son de naturaleza diversa, como la interrupción de los servicios misionales de la Universidad y la generación de sobrecostos ante la necesidad de contratar personal especializado para solventar los problemas explicados anteriormente. Desde el mes de julio, y particularmente en agosto, la actual administración universitaria asumió la atención del problema. En primer lugar, ha reajustado los esquemas de inversión de recursos CREE para garantizar un rubro importante que cubra las necesidades primarias que permitan soportar la plataforma minimizando riesgos. Ello comprende mantenimientos correctivos, preventivos y actualización de equipos, no solo en la parte eléctrica, sino en todos los componentes físicos que contiene un Centro de Cómputo. A la fecha se están realizando las gestiones correspondientes para la adquisición de la infraestructura requerida, a efecto de solventar las necesidades en lo referente

6 al hardware indispensable para la sostenibilidad en el corto plazo de los sistemas de la Universidad. Similar acción se adelanta para mantener y actualizar los contratos de soporte de emergencia con entidades externas y para enfrentar el problema estructural de la planta eléctrica. De fondo, la Administración Universitaria ha iniciado, desde el mismo mes de julio, los estudios conducentes a obtener aplicativos actualizados y modernos que soporten sin riesgo la información administrativa y misional universitaria. Las discusiones han girado en torno a las adquisiciones necesarias, sus ofertas y precios, así como las formas de adquisición más recomendables: leasing, renting o compra, con los correspondientes mecanismos jurídicos. La complejidad de un problema que completa años sin el tratamiento adecuado exige soluciones de fondo y no improvisaciones. No será posible alcanzar en pocos meses la solución a problemas forjados con el paso de los años. La discusión abarca aspectos técnicos y decisiones con respecto al tipo de estructura que debe tomarse: La información en la nube? Con qué empresa? A qué costo? Bajo qué lenguaje? Con qué requisitos? Esta discusión, desde luego, debe involucrar a la academia misma, incluyendo a los departamentos, programas y profesores, cuya labor académica se despliega en estas áreas. Pero debe contar, así mismo, con el presupuesto adecuado. El Rector, personalmente, ha liderado un proceso iniciado a finales del mes de julio que propone la creación de un centro de desarrollo tecnológico que comprenda investigación e incorpore los programas académicos que agencia la Universidad con soporte tecnológico; que obtenga financiación externa y haga parte fundamental del próximo Plan de Desarrollo Institucional con proyectos que consulten las experiencias y avances del saber universitario en la materia. A dicho propósito han sido convocados grupos de investigación como Cognitec, Kenta, Episteme y Sinapsys, cuya participación, ligada a otras unidades académicas y administrativas de la Universidad y del IPN, producirá conclusiones en un corto plazo. La relación de la academia con la SGSI asegura, igualmente, la prelación de las necesidades educativas y del proceso enseñanza-aprendizaje sobre las decisiones administrativas. Es un asunto que llevará tiempo, pero que ha empezado construirse con certezas. Finalmente, es necesario presentar excusas a toda la comunidad universitaria por los inconvenientes presentados, especialmente, en relación con la creación de registros presupuestales y el trámite respectivo de contratos y demás asuntos involucrados con el aplicativo Siafi. Entendemos lo tortuoso del camino y nos angustian las demoras y suplicios que todo lo anterior ha causado. Simplemente, entregamos la convicción de que trabajamos en forma denodada y sin descanso para superar las dificultades. JUANA PATRICIA CAYCEDO GUTIÉRREZ Vicerrectora Administrativa y Financiera GLORIA MÉNDEZ RUIZ Subdirectora de Gestión de Sistemas de Información Universidad Pedagógica Nacional Bogotá, D.C., 17 de septiembre de 2014