SISTEMA DE AYUDA A LA DOSIFICACIÓN DE INSULINA EN PACIENTES CON DIABETES MELLITUS TIPO 1 MEDIANTE APRENDIZAJE POR INTERACCIÓN

Transcripción

1 SISTEMA DE AYUDA A LA DOSIFICACIÓN DE INSULINA EN PACIENTES CON DIABETES MELLITUS TIPO 1 MEDIANTE APRENDIZAJE POR INTERACCIÓN Pablo F. Viñas pabvin@cartif.es Lorena González Sal lorgon@cartif.es Enrique Baeyens Lázaro enrbae@cartif.es Ernesto Martínez ernesto@autom.uva.es Javier Pérez Turiel javper@cartif.es Alberto Herreros López albher@eis.uva.es Resumen La dosificación óptima de la insulina que requiere un paciente con Diabetes Mellitus Tipo 1 en cada momento es un factor clave para un mejor control de los niveles de glucosa y la mejora de la calidad de vida de estos pacientes. A pesar de las nuevas terapias de insulinización que se están desarrollando, este es un problema que todavía no se ha resuelto completa y satisfactoriamente. Sin embargo, cualquier mejora que se logre en este sentido es de importancia fundamental para aumentar de forma apreciable la calidad de vida y disminuir el riesgo al desarrollo de complicaciones en estos pacientes. Nuestro trabajo está enfocado a dar una solución a este problema mediante la aplicación de las técnicas de aprendizaje por interacción. La evaluación de los algoritmos de optimización de la dosis de insulina que se desarrollaron se efectuó sobre modelos matemáticos. Actualmente se está desarrollando un protocolo para la obtención de nuevos modelos que reflejen otras características. Palabras Clave: Diabetes, Aprendizaje por Interacción, Dosificación de Insulina. 1 INTRODUCIÓN La regulación de la glucosa en el cuerpo humano se efectúa mediante un conjunto de hormonas que interactúan de forma coordinada: insulina, glucagón cortisol, hormona de crecimiento, catecolaminas, etc. La insulina facilita la transferencia de glucosa por la membrana celular y así deprime la concentración de glucosa en el plasma sanguíneo (hipoglucemia). Ciertos tejidos como los músculos esqueléticos y cardiaco, fibroblastos, glándulas mamarias, hipófisis anterior y el tejido adiposo requieren insulina para la absorción de glucosa a través de sus membranas celulares. En cambio, la permeabilidad del tejido nervioso, eritrocitos, células de la mucosa intestinal, túbulos renales y células hepáticas a la glucosa es independiente de la acción de la insulina. La insulina también acrecienta la transferencia de aminoácidos y ácidos grasos por las membranas celulares en articular del músculo cardíaco y esquelético. En conjunto, la insulina promueve el almacenamiento de energía y también es necesaria para el crecimiento normal. Esta es la única hormona que causa hipoglucemia. Todas las demás, en cambio inducen hiperglucemia, es decir, un aumento de la concentración plasmática de glucosa. Los pacientes con Diabetes Mellitus Tipo1 (DM1), sufren una alteración patológica de todo el metabolismo por una deficiencia marcada en la secreción de insulina [8]. El tratamiento prescripto por los médicos para estos pacientes, aborda el problema desde un punto de vista integral (dieta, ejercicio, administración de medicamentos) buscando disminuir los riesgos o complicaciones que puede sufrir un paciente tanto a corto como a largo plazo.

2 Es necesario llegar a una relación de compromiso entre el objetivo de lograr un control del metabolismo de un paciente y la consecuente pérdida de la calidad de vida por el hecho de tener que cambiar los hábitos radicalmente. Este trabajo se centra exclusivamente en la administración de medicamentos y específicamente en el criterio de insulinización con una pauta intensiva, según la cual, el paciente se inyecta entre 3 y 4 dosis diarias de insulina, antes de la ingesta de comida. La dosis que se debe administrar al paciente está prescripta por el médico a partir de una estimación inicial para la que se ha teniendo en cuenta, el peso, sexo, edad, etc. y una posterior corrección basadas en la metodología de prueba y el error. Durante esta etapa de ajuste y hasta encontrar la dosis que se adapta al paciente, el control del médico es muy frecuente. Una vez encontrada la dosis las consultas se espacian en el tiempo. Se recomienda que en este periodo se realice un control por un profesional de la salud cada tres meses. El paciente debe administrarse la dosis que le ha sido prescripta por el médico, pero tiene que realizar pequeños ajustes dependiendo del perfil glucémico. La técnica que se utiliza actualmente para obtener el perfil glucémico es la medición de la glucemia capilar mediante punción digital y lectura con reflectómetro. Dado que el método es incomodo y doloroso es difícil que un paciente realice mas de tres determinaciones al día, salvo en el caso de que precise un control muy estricto o en determinadas circunstancias. Se recomienda realizar una medición del nivel de la glucosa antes de la administración de cada dosis de insulina. Un sistema de ayuda al tratamiento de pacientes DM1 es un dispositivo que asesora la dosis de insulina que debe administrarse en cada momento. El sistema utiliza información del paciente, como la glucemia, estilo de vida, salud general, realiza una valoración de su comportamiento y da un consejo para mejorar este comportamiento. Este consejo pude estar referido en el cambio en la dosis de insulina, al tiempo entre las inyecciones, a los hábitos de la dieta o del ejercicio físico, etc. En el control diario de la diabetes, un paciente diabético puede ajustar únicamente la dosis de insulina, otras alternativas deberían ser realizadas por el especialista en diabetes. Aunque aparenta ser un sistema sencillo de decisión, en la práctica su diseño no resulta trivial. Mas aún, se puede asegurar que los sistemas de ayuda actuales no alcanzan a cubrir las expectativas médicas. Las principales razones son: la inexistencia de un algoritmo con capacidad de contemplar todas las circunstancias, ya que cada paciente es diferente y su glucemia varía día a día. Existen dos enfoques para el diseño de sistemas de ayuda al tratamiento de pacientes diabéticos: control basados en modelos matemáticos y control basados en reglas. El primer enfoque consiste en construir un modelo matemático del sistema de regulación de la glucosa y a partir de ese modelo diseñar un algoritmo de control para su aplicación en el paciente. El principal inconveniente de esta técnica es la gran complejidad del sistema de regulación de la glucosa en un individuo, lo que hace que los modelos obtenidos sean muy complejos y con poco poder predictivo. El otro enfoque utilizado ha sido el control basado en reglas. En este caso el sistema de regulación de la glucosa se trata como un modelo de tipo de caja negra y se utilizan reglas sencillas del tipo Si (condición) Entonces (acción). Las reglas se ajustan mediante experimentación y experiencia. La mayor parte de los sistemas de este tipo que aparecen publicados en la literatura utilizan reglas estáticas. En la práctica, ambos enfoques obtienen resultados limitados y similares, no pudiéndose indicar que alguno sea superior al otro. En los últimos años se han presentado algunos nuevos enfoques que tratan de plantear algunas mejoras sobre las técnicas de control. Por ejemplo se ha planteado la posibilidad de parametrizar [3, 4] una regla de control (como las mencionadas anteriormente) y luego sintonizar estos parámetros utilizando el paradigma del control adaptativo. Otra propuesta es la que asume al sistema de control de la glucosa como un reactor tipo batch que repite en el tiempo el mismo proceso. En esta estrategia se presupone que hay características de las soluciones óptimas que son invariantes en el tiempo con respecto a las incertidumbres [2]. 2 APRENDIZAJE POR INTERACCIÓN (REINFORCEMENT LEARNING) La idea de esta técnica es aprender de la interacción con el entorno. Se trata de responder a la siguiente pregunta, qué debe hacer un agente que se relaciona con el medio que lo rodea en un determinado momento? En la mayoría de las técnicas de aprendizaje automático, al agente se le indica que acción es la más apropiada en cada momento (aprendizaje supervisado). Por el contrario, en el aprendizaje por interacción el agente debe descubrir por sí mismo que acciones le darán la mayor recompensa por elegirlas. En los casos mas interesantes las acciones no deben afectar solamente a la recompensa inmediata sino también a las que obtendrá debido a las futuras situaciones que se puedan presentar. Las dos características mas importantes y distintivas en el

3 Aprendizaje por Interacción son la búsqueda por prueba y error y el retraso en la recompensa. El aprendizaje por interacción no se caracteriza por el método de aprendizaje utilizado sino por el planteo del problema de aprendizaje. Cualquier método que tenga una buena adaptación para resolver un problema de este tipo, se puede considerar como un método de aprendizaje por interacción. Uno de los logros que se alcanzan con el aprendizaje por interacción es la relación de compromiso entre exploración y explotación, esto no se logra con otras técnicas de aprendizaje. Un agente que quiera aprender debe ser capaz de percibir el estado del ambiente y de realizar acciones que afecten a ese estado. El agente debe tener un objetivo o varios relacionados con el estado del entorno. La formulación intenta incluir justamente estos tres aspectos - sensación, acción y objetivos.[6] Figura 1: Relación Agente-Paciente El algoritmo que nosotros utilizamos y que es conocido como Q-Learning. Lo presentamos en una forma simplificada: Q( s, a ) t t Q( s, a ) + α t t [ rt γ maxq ( st+ 1, a) Q( st, at )] En este caso Q es la función valor de la acción para una política determinada, a continuación se presentaran las dos políticas que se eligieron en las experiencias. El parámetro α se lo llama tamaño del paso y es un peso que se le asigna al conocimiento que se puede adquirir en cada interacción. El parámetro λ se lo llama tasa de descuento y brinda la posibilidad de manejar la memoria del agente. Los dos parámetros pueden tomar valores entre 0 y 1. a (1) 3 DESARROLLO 3.1 SIMULACIÓN DE PACIENTES DIABÉTICOS Los experimentos se han planteado sobre simulaciones basadas en modelos de pacientes diabéticos. Los modelos fueron desarrollados por L. Santoso [3, 4], a partir de una población real de pacientes. Son modelos Markovianos, donde las probabilidades de transición son funciones de la insulina. Los modelos comprenden tres estados: glucemia baja, glucemia normal, glucemia alta. La matriz T(ins) = [ tij (ins)] es la matriz de transición de probabilidades para esta cadena, donde tij es una función de la insulina. Para esta simulación se eligió una dosis de insulina prescripta Insp de 5 Unidades, y una posibilidad de corregir la dosis por parte del paciente en 2 Unidades. Quedando definidas 3 acciones posibles Ins = Insp ± 2 [ud], para los modelos propuesto quedan 3 [ud], 5[ud] y 7[ud], respectivamente. Se utilizó el modelo de un paciente que ha sido catalogado como un paciente diabético "Ideal" en el control de la glucosa. Dosis Estado Estado Probabilidad Inicial Final 3 ud. Bajo Bajo 0,1 3 ud. Bajo Normal 0,35 3 ud. Bajo Alto 0,55 3 ud. Normal Bajo 0 3 ud. Normal Normal 0,1 3 ud. Normal Alto 0,9 3 ud. Alto Bajo 0,1 3 ud. Alto Normal 0,1 3 ud. Alto Alto 0,8 5 ud. Bajo Bajo 0,45 5 ud. Bajo Normal 0,275 5 ud. Bajo Alto 0,275 5 ud. Normal Bajo 0,2 5 ud. Normal Normal 0,6 5 ud. Normal Alto 0,2 5 ud. Alto Bajo 0,275 5 ud. Alto Normal 0,275 5 ud. Alto Alto 0,45 7 ud. Bajo Bajo 0,8 7 ud. Bajo Normal 0,1 7 ud. Bajo Alto 0,1 7 ud. Normal Bajo 0,9 7 ud. Normal Normal 0,1 7 ud. Normal Alto 0 7 ud. Alto Bajo 0,55 7 ud. Alto Normal 0,35 7 ud. Alto Alto 0,1 Tabla 1: Modelo de un paciente con DM1

4 la 3.2 REGLA HEURÍSTICA El método que se ha utilizado como referencia para la comparación y que se ha denominado "Regla Heurística", es una regla intuitiva y es la que le enseñan los médicos a los pacientes. En esta se le indica al paciente que antes de aplicarse una dosis se debe hacer una medición de la glucemia y aplicar la lógica que se representa en la tabla 2. Glucemia Dosis Bajo Menos que lo prescripto Normal Lo prescripto Alto Mas que lo prescripto Tabla 2. Política heurística 3.3 POLÍTICAS APLICADAS POR EL AGENTE En este método lo que se trata de estimar a través de la experiencia adquirida la función valor de la acción cuando el agente se encuentra en un estado y aplica una determinada política de aprendizaje. Se implementaron dos políticas: Política Epsilon-Greedy: esta tiene un comportamiento "avaro" la mayor parte del tiempo, es decir elige la acción con la que piensa obtener el máximo beneficio a largo plazo. Pero cada vez que tiene que tomar una decisión tiene una pequeña probabilidad Epsilon con la que puede elegir una acción aleatoria independiente de la estimación del valor de la acción. Esto asegura una exploración a lo largo del tiempo. Política Softmax: esta es otra política que como en el caso anterior trata de balancear la relación entre exploración y explotación. El método mas común utilizado para esta política es la distribución de Gibbs o Boltzan. La acción se elige según una probabilidad que depende de la estimación de valor de la acción. 4 RESULTADOS 4.1 EXPERIMENTOS PLANTEADOS Se han planteado dos experimentos con distintos objetivos para el control de la glucosa en los pacientes diabéticos: Primer Caso: se pretende mantener al paciente la mayor cantidad de veces posibles en el estado de glucemia normal, esto quiere decir que este es el único objetivo. La manera de fijar estos objetivos para el agente es definiendo los valores de la recompensa que recibirá en caso de realizar acciones correctas o incorrectas. Para lograr esto se fija en el caso de realizar una acción sobre el paciente que lo lleve a un estado de glucemia normal el agente recibirá una recompensa igual a 5, en cualquier otro caso la recompensa será igual a -5. Segundo Caso: en este se pretende que el paciente este la mayor cantidad de veces posibles en el estado de glucemia normal y que se encuentre la menor cantidad de veces posibles en el estado de glucemia baja, esto quiere decir que tendremos dos objetivos. Se definieron los valores de la recompensa que recibirá en cada caso de la siguiente manera, al realizar una acción sobre el paciente que lo lleve a un estado de glucemia normal el agente recibirá una recompensa igual a 5, en caso de realizar una acción que produzca como resultado una hiperglucemia recibirá una recompensa igual a -1 y por último en caso que la acción elegida lleve al paciente a un estado de glucemia baja la recompensa será igual a GRÁFICAS OBTENIDAS Para poder comparar los algoritmos que ofrecen mas interés para su análisis se muestran los resultados que se obtuvieron de la aplicación de estos. Se va a presentar dos tipos de gráficas: _ la evolución en el tiempo del promedio de veces que el paciente estuvo en un determinado estado. _ evolución en el tiempo del promedio de veces que el agente eligió la acción óptima para el estado que se encontraba La segunda grafica se logra gracias al conocimiento del modelo (en este caso por ser un paciente simulado). Se puede utilizar esta información para poder estudiar el comportamiento del agente cuando actúa sobre un modelo conocido, esta información no estará disponible en caso de que el agente este actuando en un paciente real, del que no se tiene esta información para poder determinar cual será la acción óptima a determinar en cada caso. 4.3 PRIMER EXPERIMENTO Aquí se plantea que tanto los estados de alta o baja glucemia son igualmente malos por los que se los penaliza de la misma manera. Los resultados que obtuvimos al aplicar la regla heurística se pueden ver en la figura 2. Para un agente que aplica la política Epsilon-Greedy, consideramos dos casos diferentes. En el primero, se le ordena al agente que aplique esta política durante

5 la duración de la experiencia, por lo que el agente debe balancear la exploración y la explotación en todo el periodo en el que actúa. Los resultados se pueden observar en las figuras 3 y 4. En el segundo, se le ordena al agente que aplique la política solo en las primeras 200 tomas de decisión que debe realizar luego de esto solo podrá explotar el conocimiento que adquirió en el primer periodo. Los resultados se pueden observar en las figuras 5 y 6. Figura 3: Evolución de los estados de baja, normal y alta glucemia, para un paciente con un agente con política Epsilon-Egreedy. Figura 2: Evolución de los estados de baja, normal y alta glucemia para un paciente al que se le aplica una regla heurística aaaaaaaaaaaaaaaaaaaaa Figura 4: Evolución de la calidad de las acciones elegidas por el agente

6 4.4 SEGUNDO EXPERIMENTO En este indicamos al agente que el mejor estado en el que puede estar el paciente es el estado con una glucemia normal, el peor estado es el baja glucemia y el estado con una glucemia alta es mala pero un poco menos que el estado con glucemia baja. En este experimento se presentan a un agente que se le indica que aplique una política Epsilon-Greedy durante las primeras 200 tomas de decisión para luego explotar el conocimiento adquirido en este primer periodo. Los resultados se presentan en las figuras 7 y 8. Figura 5: Evolución de los estados de baja, normal y alta glucemia, para un paciente con un agente con política Epsilon-Egreedy en los primeros 200 pasos. Figura 6: Evolución de la calidad de las acciones elegidas por el agente Figura 7: Evolución de los estados de baja, normal y alta glucemia, para un paciente con un agente con política Epsilon-Egreedy en los primeros 200 pasos.

7 6 CONCLUCIONES Figura 8: Evolución de la calidad de las acciones elegidas por el agente 5 DISCUCIÓN De los resultados obtenidos se puede llegar a deducir que la percepción del estado del paciente en estos modelos es deficiente, esto quiere decir que pude haber otros factores que influyen (además de la glucemia) en la determinación de la dosis de insulina que se adapte a los requerimientos del paciente. Esto se deduce que al aplicar una acción óptima para la percepción del estado en el que se encuentra el paciente la posibilidad de lograr el objetivo fijado es relativamente baja. Por otro lado se podría interpretar esto como un ruido del sistema que dificulta el aprendizaje ya que aumenta el tiempo necesario para lograr una estimación del valor de la función de la acciones para cada estado que converja. Posiblemente una descripción mas extensa del estado del paciente pueda lograr disminuir estas incertidumbres, aunque se debe ser muy cuidadoso de aumentar en tanto la descripción que luego se haga inmanejable la cantidad de posibilidades, que va a llevar en un aumento en el tiempo de la exploración. Se puede observar claramente en estas experiencias lo delicado del balance entre la exploración y explotación en los experimentos del primer caso cuando se realiza una exploración continua en el tiempo y cuando se explora solamente al inicio para luego dedicarse a explotar el conocimiento adquirido. En el primer caso la curva de la evolución en el tiempo del promedio de veces que el agente eligió la acción optima es mas lenta y mantiene un error estacionario, por el hecho de que mantendrá una exploración continua en el tiempo, si se lo compara con la segunda experiencia. Por otro lado en el caso de que el paciente cambie el agente no se percataría y posiblemente elija acciones equivocadas para este nuevo paciente. En este trabajo se ha aplicado la técnica de aprendizaje por interacción, (Reinforcement Learning) en el problema de encontrar una política de dosificación de la dosis de insulina en pacientes con diabetes tipo 1. Los resultados que hemos obtenido en simulación son prometedores. A pesar de estos resultado parciales, creemos que son posibles mejoras en el desarrollo de un sistema que tenga la robustez necesaria. Actualmente se esta trabajando en conjunto con el Hospital Universitario de Valladolid en un protocolo que permitirá obtener datos, que sirvan para ampliar los modelos Markovianos que se cuenta actualmente. Se espera que estos modelos sirvan para desarrollar mejoras en las políticas de dosificación de insulina con lo que se reducirá el riesgo de complicaciones que poseen estos pacientes. Referencias [1] Cavan D. A., Hejlesen O. K., Hovorka R. et al, Preliminary experience of the DIAS computer model in providing insulin dose advice to patients with insulin dependent diabetes. Computer Methods and Programs in Biomedicine, pages , vol. 56, [2] Doyle III F.J. Srinvasan B., Bonvin D. Run-to- Run control strategy for diabetes managment, Poceedings of the 23 rd Anual EMBS International Conference, Istambul, Turkey, October 2001 [3] Santoso L., Mareels I. M. Y. Markovian framework for diabetes control. In Proceedings of the 40th IEEE Conference on Decision and Control, pages , Orlando, Florida USA, December [4] Santoso L., I. Mareels M. Y. A direct adaptative control strtegy for managing diabetes mellitus. In Proceedings of the 41st IEEE Conference on Decision and Control, pages , Las Vegas, Nevada USA, December [5] Schrezenmeir J. Dirting K. And Papazov P. Controlled multicenter study on the effect of computer assistance in intensive insulin therapy of type 1 diabetics, Computer Methods and Programs in Biomedicine,pages , vol 69, [6] Sutton R. S. and Barto A. G. Reinforcement Learning: An introduction, The MIT Press, Cambridge Masachusetts. USA, [7] The Diabetes Control and Complications Trial Research Group. The efect of intensive treatment of

8 diabetes on the development and progressionof longterm complications in insulin-dependent diabetes mellitus, The New England Journal of Medicine, pages , vol 329, september [8] Williams R. H. et al. Tratado de Endocrinología, Interamericana, España, 1984.