Estrategias para implantar Sistemas de Contingencia y Recuperación en las Plantas de Fabricación y en el Laboratorio. Orientaciones.

Transcripción

1 Estrategias para implantar Sistemas de Contingencia y Recuperación en las Plantas de Fabricación y en el Laboratorio Orientaciones & Mejores prácticas Resumen Supongamos (no siempre es así en la realidad) que pudiéramos partir de cero en la concepción y el diseño de un sistema de contingencia y recuperación para los sistemas de la planta de fabricación y/o del laboratorio. Qué funcionalidades nos serían precisas? Con qué nivel de cobertura? Qué podríamos esperar de él? Y visto el despliegue de los dispositivos Por donde empezamos? Todos ellos requieren de las mismas funcionalidades? Cuando una vez decidido a emprender ese camino nos percatamos de que disponemos de un presupuesto limitado Dónde debo poner foco? Cuales han de ser mis prioridades? Qué puedo dejar fuera? En este documento hemos querido recoger nuestra experiencia en el planteamiento y realización de este tipo de proyectos, considerando la necesaria operatividad y también la obtención de un Retorno de la Inversión en plazos muy razonables. Introducción Prácticamente todos los clientes que visitamos comentan al poner sobre la mesa el estado de sus los planes de contingencia para los sistemas automatizados de la planta que es una problemática resuelta. Bueno más o menos. En la mayor parte de los casos (y hablamos de porcentajes muy altos), las copias de seguridad se realizan (cuando se obtienen) manualmente, utilizando dispositivos removibles. IT se ocupa de realizarlas para los servidores, y los Departamentos de Ingeniería y Mantenimiento (que son quienes las precisan) ni las ven. Y también puede darse el caso de que el respaldo quede en manos de externos que puedan actuar como subcontratistas del mantenimiento de las máquinas. Si estas tareas (especialmente las rutinarias) no se realizan con la disciplina adecuada, con la frecuencia debida (lo que tampoco es habitual) y los resultados no se almacenan de forma organizada (hemos encontrado muy pocos casos en los que ello ocurra), las posibilidades de error en su manipulación (y por tanto en la recuperación de los sistemas en caso de fallo) son altísimas. Enero de 2.015

2 Consecuencias: (1): En caso de producirse una incidencia que afecte a la operatividad de alguno de los sistemas de la planta o del laboratorio, es muy posible que la producción deba pararse durante un tiempo significativo. Y eso representa pérdidas para la compañía en la cantidad y/o en la calidad de los bienes elaborados. (2): En una situación de pánico (más o menos controlado) como la que estas circunstancias pueden llegar a provocar, la probabilidad de hacer mal las cosas se acrecienta. (3): Y por mucho que la parada pueda realizarse de forma controlada para realizar actualizaciones de las plataformas hardware o software (especialmente las más críticas), si no se dispone de medios para realizar pruebas previas, los niveles de riesgo continúan siendo altos. Principalmente porque los ciclos de vida de los sistemas de planta acostumbran a ser significativamente más largos que los de sus primos hermanos de IT y nos podemos encontrar sin recambios en caso de precisarlos. Crash! Aparece el problema!... Tenemos copia de seguridad de los sistemas operativos/programas/datos de los dispositivos afectados por el paro o la avería? Suponiendo que dispongamos de ella. Es realmente la última copia realizada? Y si no lo fuera qué consecuencias puede traer el comenzar a trabajar con un contenido sobrepasado. Puede afectar a la calidad del producto? Significa perder datos de los procesos que puedan comprometer su trazabilidad? Imaginemos que hemos podido obtener un soporte con el contenido adecuado qué es lo que debemos restaurar? El sistema operativo? Está aún disponible? Los parches? Cuáles? (porque no todos son necesarios) En qué orden hay que hacerlo? En cuanto a los programas: Tenemos copia de ellos? Quién los tiene? Con qué parámetros estaban trabajando?... Y los datos: En qué día/hora se salvaguardaron? Es relevante una pérdida de información como la que (inevitablemente) deberemos asumir? Entre tanta pregunta los responsable corriendo bajo presión, con prisas y creciente nerviosismo. Hay que tomar decisiones sobre la marcha, obtener los medios. Quizá (si no hay procedimientos claros) se deberá realizar alguna que otra marcha atrás en el curso del proceso La precisión requiere de disciplina: No hay que olvidar nada,se debe tener a mano lo necesario y hacer bien las cosas, en el orden debido y empleando los medios adecuados (para lo cual hace falta un plan, naturalmente). Y la prevención es una parte importante de este método. Mientras no seamos capaces de restablecer la situación al estado anterior, precisaremos de medidas excepcionales que nos posibiliten trabajar con medios provisionales. La tecnología hoy (y especialmente las herramientas de virtualización) suministran herramientas para hacerlo. Servicios necesarios Según la relevancia de cara a conseguir el objetivo que nos proponemos, podríamos identificar tres bloques de funciones para mantener un control de la situación: Básicas, avanzadas y complementarias. Las funciones básicas se proponen esencialmente facilitar las tareas de restauración de un dispositivo en caso de caída, y requieren de: a) La obtención periódica y sistemáticamente de copias de seguridad de los dispositivos b) El almacenamiento y catalogación de dichas copias, de forma organizada y manteniendo las versiones que permitan garantizar una marcha atrás adecuada en un lugar seguro, conocido y controlado. c) La realización de un control de los cambios (si se han producido) para llevar una correcta gestión del versionado. Disponer de esta información puede ser imprescindible en momentos en los que se deban restaurar componentes que puedan afectar a métodos o a parámetros con impacto en el proceso. d) Y (éste es el auténtico objetivo), abordar el proceso de eventual restauración de forma rápida y eficiente de las plataformas que hayan sufrido un incidente dejándolas en situación de normalidad. Cómo evitarlo? Hay dos axiomas a tener en cuenta en el proceso de restablecer correcta y eficazmente la situación previa a la irrupción de un incidente: El tiempo y la precisión en la realización del proceso. El tiempo para recuperar la normalidad ha de ser el mínimo posible: Lo lograremos automatizando al máximo las operaciones. Es preciso que no se improvise, que se tome el mínimo número de decisiones y que en el mayor número de tareas no se requiera ninguna intervención.

3 Las funciones avanzadas se concentran en la gestión y el control de los cambios, aportando medios para: a. Vigilar (manteniendo registros de auditoría) quién accede a los sistemas y realiza modificaciones en ellos, restringiendo en base a mecanismos de autentificación y autorización los márgenes de actuación y exigiendo que se documenten las variaciones, explicando la causa y contenido. Esta función puede resultar especialmente útil si son proveedores externos quienes realizan el mantenimiento de los medios y las instalaciones. b. Asegurarse (a traves de un circuito de aprobaciones) de que un cambio no entra en vigor si no ha sido visado y sancionado por la persona responsable. Aunque esta función no revista especial importancia en algunos sectores industriales, es básica en otros (especialmente farma) que han de atenerse a estrictos cumplimientos normativos. c. Realizar una comparativa detallada de diferentes versiones de un mismo componente, identificando (a nivel de línea de código) e individualizando cada una de las modificaciones. Con ello se mantiene un auténtico control y se facilita, en caso necesario, el proceso de identificar el punto al que regresar en caso de producirse un retroceso. Las funciones complementarias se encargan de proporcionar seguridad al propio sistema que por constituir una pieza especialmente sensible conviene proteger de forma adecuada. a) Los medios de archivado deben permitir extraer selectivamente datos o versiones que no precisan ser conservados para su inmediata recuperación, pero que conviene por necesidades administrativas, históricas o legales mantener. En un dispositivo online (caro), este tipo de informaciones ocupan un espacio innecesario. Lo mejor es trasladarlas a otro tipo de media más económico y fácilmente almacenable (Disco externo, USB, CD-ROM, cinta) b) La realización y gestión de una tercera copia, que replique offsite el contenido del sistema primario para evitar su pérdida en caso de desastres. c) Sistemas de gestión documental que permitan mantener y acceder online a la información administrativa y técnica de los medios. Área Funciones básicas Funciones avanzadas Funciones complementarias Seguridad Física Seguridad Lógica Control de Cambios Compliance Realización programada y automática de copias de seguridad Restauración de datos y programas sobre los soportes originales Identificación y registro de nuevas versiones en número ajustado a las necesidades Identificación y comunicación de la existencia de cambios no sujetos a los procedimientos Restauración de datos y/o programas sobre soportes disimilares Control mediante UserId/Psw de los accesos a los sistemas Identificación y difusión de la entidad de los cambios Procesos de solicitud/aprobación mediante workflow de entrada en vigor de los cambios Realización de terceras copias de forma programada y automática Gestión de la documentación asociada a cada uno de los dispositivos de la planta Archiving y almacenamiento offline de datos históricos durante los períodos de retención obligatorios

4 Definición del alcance Veamos ahora qué funciones son necesarias en nuestra planta o laboratorio para cada dispositivo?: En principio, disponemos de tres grandes conjuntos de funcionalidades de manufactura que son soportadas por tres tipos de dispositivos: 1. Sistemas de programación, supervisión, gestión de alarmas y control de las operaciones (corresponden al nivel 3 del modelo ISA-95), como HPLCs (High Perfomance Liquid Cromatographs), MES (Manufacturing Execution Systems), LIMS (Laboratory Information Management Systems), WMS (Warehouse Management Systems), 2. Medios de captación de datos, supervisión y monitorización del proceso (nivel 2 en ISA-95), como SCADAs (Supervision, Control and Data Acquisition). Estos tipos de aplicaciones que desarrollan tareas complejas y requieren de la capacidad de gestionar en paralelo diversas actividades se alojan sobre sistemas operativos de una cierta complejidad. Windows por su popularidad y coste es una de las opciones más extendidas, pero existen también sistemas sustentados en otros tipos de plataformas abiertas: Unix, Linux, Ubuntu, 3. Los controladores de ejecución e interficies (que corresponden al nivel 1 de ISA-95) como robots, PLCs (Programmable Logic Controllers) o HMIs (Human- Machine Interfaces) son dispositivos basados en sistemas operativos mucho mas sencillos, sin capacidades multitarea y desarrollados en la mayor parte de los casos por los propios fabricantes de la maquinaria. Por esta razón son necesarios medios específicos para interfasar con cada uno de ellos. Criterios de clasificación Para proseguir en nuestro razonamiento y teniendo en cuenta las anteriores consideraciones, deberíamos identificar qué funciones sería necesario aportar a cada uno de los dispositivos para conseguir un panorama racional de contingencia de todos ellos. Para hacerlo, lo mejor es objetivizarlo, definiendo y evaluando en cada uno de ellos los valores de tres atributos que nos van a permitir realizar un ranking de necesidades, Consideremos, pues, a estos efectos los siguientes parámetros (individualizados a nivel da cada uno de los dispositivos)

5 1. La criticidad del dispositivo. Es decir, el impacto que puede tener sobre la planta su malfuncionamiento. Lo será si es capaz de producir pérdidas sustanciosas directas o indirectas en la cantidad y/o en la calidad de la producción. Si su detención no representa ningún contratiempo (o este es insignificante) podríamos catalogarlo como no crítico. Y, entre ambos polos, todos los matices intermedios que deseemos establecer. 2. El nivel de conectividad (real o potencial) del que disponga. Si existe un medio de enviar o recibir impulsos electrónicos (cable o wireless), podemos clasificar el equipo como conectado. Puede ocurrir que no disponga de formas de comunicación ni salidas al exterior (cajas negras), o que, disponiendo de ellas, por las razones que sea, no se haya establecido enlace con las redes de la planta. En el primer caso serían no conectables, y en el segundo, lo serían potencialmente. 3. El tercer atributo es la volatilidad, entendiendo como tal la frecuencia con la cual varían los datos o programas que el sistema almacena o que rigen su comportamiento. La volatilidad será alta si hay cambios a menudo. En cambio, el sistema podrá considerarse estable si éstos son pocos y distantes en el tiempo. Puede establecerse entre ambos la gradación que se considere necesaria para reflejar la enorme variedad de situaciones que hayan de tenerse en cuenta. c) Los costes directos derivados de las tareas de consultoría y asesoramiento necesarias para realizar la puesta en marcha. d) Los costes indirectos del proceso anterior, teniendo en cuenta de que en muchos casos la realización de intervenciones sobre los dispositivos de planta puede requerir la detención de los procesos de manufactura o desarrollar dichas tareas en horas en las cuales la producción esté parada (noches o fines de semana). e) Formación y entrenamiento de ingenieros y operadores encargados de la realización de los controles y (en caso necesario), de la recuperación de los sistemas. f) El monto de las licencias específicas (habitualmente se conceden de esta forma) necesario para realizar los procesos correspondientes sobre una tipología de dispositivo determinada y/o una cantidad establecida de dispositivos de una clase concreta. g) Las necesidades derivadas de la conectividad, especialmente si esta debe establecerse: Cableado, receptores y antenas, etc h) Si es necesario, la realización de los procesos de validación que permitan asegurar que se cumplen las normativas aplicables (GMP, 21 CFR Part 11, u otras ). Estas tres últimas actividades pueden ser realizadas (al menos en una parte) diferidas en el tiempo y en función de las prioridades, con lo cual la inversión necesaria es posible efectuarla de forma flexible. Consideraciones respecto al budget La estructura de costes para abordar un proyecto de estas características debería tener en cuenta los siguientes puntos: a) El proceso de valoración de las soluciones, a fin de asegurar que se cumplen las expectativas y que se cubren los objetivos a alcanzar. b) El coste del núcleo de la solución: Hardware, sistemas operativos, sistemas de gestión de datos y el software de aplicación sobre el servidor (kernel). Y el alojamiento físico de los medios en un entorno en el que puedan subsistir y operar de forma acorde a las especificaciones Estrategias recomendadas Realizada esta clasificación, nuestra propuesta para establecer funciones y prioridades en la implementación de un sistema de contingencia y recuperación de los sistemas de la planta y del laboratorio (lo que responde a la pregunta de por dónde comenzamos?) estaría sobre las siguientes líneas: Con la más alta prioridad en el calendario de puesta en marcha y la mayor funcionalidad deberían contar los sistemas y dispositivos que dispongan de conectividad, sean críticos y altamente volátiles. La ejecución de todas las tareas puede automatizarse al cien por cien (ahorrando tiempo de dedicación y ganando tiempo en los procesos), no precisando de más atención que una supervisión periódica (máxima disciplina y garantía de una correcta operatividad). Invertir en la resolución de este problema es un valor seguro.

6 Un segundo nivel de prioridades podríamos adjudicar a los dispositivos conectados que sean críticos (bastaría para estos proporcionar funcionalidades básicas) o altamente volátiles (en este caso sería recomendable suministrar funciones limitadas de control de cambios). Los dispositivos conectados pero ni críticos ni volátiles podrían (no necesariamente) ser candidatos a recibir prestaciones básicas, aunque esta habría de ser una decisión sujeta a un análisis coste/beneficio. Recomendaríamos proceder a conectar sistemas críticos y con alta volatilidad no enlazados a la red y suministrarles lo antes posible funciones avanzadas. El riesgo en el que se incurre si se mantienen fuera de un contexto en que se les pueda proporcionar automatización y disciplina es muy alto, ya que la alternativa (efectuar las operaciones manualmente y almacenar los resultados junto a los demás respaldos) está exenta de las garantías necesarias. Incorporar en las primeras fases otros dispositivos no conectados con bajo nivel de criticidad y/o de volatilidad es ya un tema presupuestario. Gestionarlos de forma manual contradice uno de los axiomas que hemos establecido al comienzo: Disponer de un lugar (deseablemente único) al que acudir en caso de incidencia. Pero incorporarlos al sistema supone de hecho un coste que, aunque es desplazable en el tiempo, puede encarecer el despliegue y obstaculizar la obtención de los recursos económicos necesarios. En la imagen de la derecha tiene nuestras recomendaciones para abordar la primera etapa de un proyecto de contingencia y recuperación en la planta y/o en el laboratorio, especialmente en tiempos como los que corren en los que no abundan presupuestos para invertir en la mejora de los sistemas productivos. Conclusión Por muy amplia que sea la panoplia de sistemas y dispositivos desplegados en la planta de fabricación, es posible objetivizar el problema y establecer un equilibrio conveniente entre las prestaciones (ajustadas a cada necesidad) y los costes. No es necesario invertir ni un euro más del que se necesita para asegurar un correcto nivel de protección frente a los riesgos a los que diariamente se enfrentan. Ingelan Francesc Carbonell, Esc.A Ent.3 Tel Fax: info@ingelan.com Hacemos que las cosas ocurran Ingelan 2015 Todos los derechos reservados