Metodología CUSUM en la curva de aprendizaje de la punción epidural obstétrica en un hospital universitario

Transcripción

1 (Rev. Esp. Anestesiol. Reanim. 2010; 57: 11-15) ORIGINAL Metodología CUSUM en la curva de aprendizaje de la punción epidural obstétrica en un hospital universitario E. Guasch a, *, J. Díez b, **, F. Gilsanz a, *** a Servicio de Anestesiología, Reanimación y Terapia del Dolor. b Sección de Bioestadística. Unidad de Investigación. Universidad Autónoma de Madrid. Hospital Universitario La Paz. Madrid. Resumen INTRODUCCIÓN: El aprendizaje de las habilidades en anestesia muestra una amplia variabilidad interindividual. Nuestro objetivo fue establecer y probar una herramienta individualizada de monitorización de la capacitación técnica (CUSUM), que permitiera establecer de forma objetiva si un individuo alcanzaba un nivel mínimo y cuándo ocurría esto. MATERIAL Y MÉTODOS: Participaron 9 médicos residentes de Anestesiología y Reanimación en su tercer año de residencia, para que recogiesen sus 100 primeros procedimientos de analgesia epidural obstétrica, anónimamente en una base de datos. Estos datos, fueron analizados con el método CUSUM. Se tomó como una tasa de éxito aceptable 80% al primer intento y una necesidad de ayuda del 20%. RESULTADOS: Se analizaron 765 bloqueos, 84,7±22,8 por residente, rango Tres de los residentes no completaron los 100 bloqueos. Siete de ellos alcanzaron la destreza con 23 bloqueos y 2 residentes no alcanzaron la destreza. En tres residentes, la supervisión fue necesaria en más del 20% de casos al final del periodo de estudio. La recogida de datos, parece variable entre los residentes, infra o sobreestimando los fallos y/o la necesidad de ayuda. La punción dural accidental se dio en 6 casos (0,78%) y la hemática en 40 (5,2%). DISCUSIÓN: Aunque la tasa de éxito es alcanzada rápidamente por algunos residentes de tercer año, creemos que el elevado grado de supervision es útil para controlar el progreso de la curva de aprendizaje en casos individuales que precisen más control. Palabras clave: Curva de aprendizaje. Anestesia obstétrica. Aprendizaje en anestesia. Analgesia epidural *Jefe de Sección. **Médico Adjunto. ***Jefe de Servicio. Catedrático. Correspondencia: Dra. Emilia Guasch Avda. Independencia, 38. 1º B San Sebastián de los Reyes (Madrid) emiguasch@hotmail.com Aceptado para su publicación en diciembre de Monitoring skill acquisition in obstetric epidural puncture at a university hospital using the cumulative sum method Summary BACKGROUND AND OBJECTIVE: Skill acquisition in anesthesiology is subject to a great deal of interindividual variability. Our aim was to develop and test an individualized tool for monitoring acquisition of technical skills based on the cumulative sum (CUSUM) approach. This system objectively assesses whether an individual has acquired a minimum skill level and identifies the moment when the skill has been learned. MATERIAL AND METHODS: Nine third-year residents in anesthesiology and postoperative recovery care participated. The residents anonymously recorded their first 100 obstetric epidural analgesia procedures in a database. The data were then analyzed with the CUSUM method. We considered acceptable skill acquisition to be reflected by a firstattempt success rate of 80% and a rate of success with help of 20%. RESULTS: A total of 765 epidural blocks were analyzed, giving a mean (SD) of 84.7 (2.8) procedures per resident (range, procedures per resident). Seven residents became competent with the skill after 23 procedures and 2 residents were not successful in learning the skill. At the end of the study, 3 residents had required help with more than 20% of the procedures. Data collection from the trainees seemed to vary, leading to possible under- or overestimation of failures and/or need for help. Accidental dural puncture occurred 6 times (0.78%) and blood vessel puncture 40 times (5.2%). CONCLUSIONS: Although some third-year residents reach the targeted rate of success quickly, we believe that close supervision is useful to control progress along the learning curve for individuals who need more help. Key words: Learning curve. Obstetric anesthesia. Anesthesia training. Epidural analgesia

2 Rev. Esp. Anestesiol. Reanim. Vol. 57, Núm. 1, 2010 Introducción La realización de bloqueos neuroaxiales para el dolor del trabajo de parto, es una habilidad que debe ser adquirida por los residentes de Anestesiología y Reanimación dentro de sus programas para la capacitación en anestesia regional. El entrenamiento en anestesia es progresivo y se realiza bajo supervisión, la cual, es regresiva con el tiempo y con la adquisición paulatina de las habilidades. Sin embargo, la supervisión es una de las variables más influenciables e influyentes durante la residencia, ya que asegura, en teoría, estándares altos de calidad en la asistencia y educación de alta calidad. Se han desarrollado instrumentos para medir su calidad y los sesgos a los que ésta puede estar sometida por parte de los instructores 1. Los procesos de aprendizaje, tanto individuales como institucionales, son complejos y dependen de una gran variedad de factores, tales como las preferencias institucionales particulares, la situación y disposición individuales del enseñante y del residente y del número de casos disponible a realizar. Los datos referentes a la adquisición de la destreza necesaria para la realización de técnicas concretas en anestesiología, es escasa, si bien parece razonable, el establecimiento de un número mínimo de casos por cada procedimiento, para garantizar un nivel de éxito aceptable 2-5. Para evaluar estos procesos de aprendizaje, se cuenta con una herramienta relativamente nueva que es el método LC-CUSUM 6, que es una gráfica ponderada de un proceso en el tiempo que representa las sumas acumuladas de las desviaciones de cada muestra respecto a un valor objetivo (ver Anexo 1 para explicación detallada). El método CUSUM, ha sido utilizado en anestesiología 7 y en otros campos de la medicina como la detección de tendencias en la medición de la temperatura 8 o el recuento leucocitario 9. También se ha utilizado, para la construcción de curvas de aprendizaje de colonoscopias 10, anestesia epidural obstétrica (AEO) 11, anestesia espinal y canulaciones venosas centrales y arteriales 3. En lo referente a la curva de aprendizaje de la anestesia espinal, para obtener una tasa de éxito del 90%, se precisan unos 71 casos realizados. En la anestesia epidural, las curvas de aprendizaje muestran que éste es el proceso más difícil dentro de las habilidades básicas en anestesiología, requiriendo un número aproximado de 90 procedimientos, para obtener una tasa de éxito del 80%, nivel que nosotros hemos tomado como tasa aceptable de éxito, a partir del cual el proceso estaría bajo control. Inicialmente, el proceso de aprendizaje es rápido, con un porcentaje de éxito del 60% tras tan sólo 20 procedimientos. Sin embargo, a partir de ese punto, la variabilidad individual puede disminuir 5, indicando la continuidad del proceso de aprendizaje en el tiempo 12. En particular, se obtiene más información sobre las causas que producen una situación fuera de control. Asimismo detectan mejor pequeñas variaciones del proceso. Se toman muestras periódicamente durante el proceso para verificar que la media y la variabilidad del proceso no han cambiado, para mantener el proceso bajo estado de control estadístico 13. Nuestro objetivo fue establecer y probar una herramienta individualizada de monitorización de la capacitación técnica (CUSUM), que permitiera establecer de forma objetiva si un individuo alcanzaba un nivel mínimo y cuándo ocurría esto. Material y métodos ANEXO 1 El método CUSUM está diseñado con el fin de monitorizar un proceso secuencial, y tiene la propiedad de probar y rechazar si procede la hipótesis nula H 0 de que el proceso está bajo control. La hipótesis alternativa H 1 será por tanto la de que el proceso está fuera de control. Matemáticamente el análisis implica la representación de la siguiente variable cuantitativa St frente al número de procedimientos t. St =max (0, S t-1 + W t ) El valor inicial es S 0 =0 y donde W t es una medida de la desviación del resultado respecto al valor objetivo. Se considera que el proceso es aceptable, en tanto en cuanto el score CUSUM se mantiene por debajo de un valor límite h. Alternativamente, el método LC-CUSUM se desarrolló como una derivación del método general, y está dirigido a determinar si un proceso ha alcanzado un nivel predefinido de competencia. Asume, por tanto, que el proceso arranca de forma no controlada, y monitoriza el momento en que se alcanza dicho control predefinido (la persona alcanza el nivel de competencia seleccionado). Así, las hipótesis se invierten en el caso del LC-CUSUM: H 0 significa que el proceso está fuera de control y H 1 que el proceso está controlado. Los gráficos de control por variables, dentro de los que se encuadran los gráficos de tipo CUSUM, son una herramienta estadística que detecta la variabilidad, consistencia, control y mejora de un proceso y son una representación gráfica de la variación producida en el proceso en el tiempo. Los gráficos de control por variables permiten estudiar la calidad de características numéricas. La gráfica de control se usa como una forma de observar, detectar y prevenir el comportamiento del proceso a través de sus pasos vitales. Asimismo nos muestra datos en una forma estática, tienen por supuesto sus aplicaciones, y es necesario saber sobre los cambios en los procesos de producción, la naturaleza de estos cambios en determinado periodo de tiempo y en forma dinámica, es por esto que las gráficas de control son ampliamente probadas en la práctica. En particular, se obtiene más información sobre las causas que producen una situación fuera de control. Asimismo detectan mejor pequeñas variaciones del proceso. Se toman muestras periódicamente durante el proceso para verificar que la media y la variabilidad del proceso no han cambiado, para mantener el proceso bajo estado de control estadístico 13. Tras la aprobación del Comité de investigación universitario, se reclutaron 9 residentes en su tercer año de formación, para que recogiesen sus 100 primeros 12 18

3 E. GUASCH ET AL Metodología CUSUM en la curva de aprendizaje de la punción epidural obstétrica en un hospital universitario procedimientos de AEO, anónimamente en una base de datos Excel (Excel. Microsoft. EEUU). En esta base de datos, se recogían las siguientes variables: datos generales, médicos y obstétricos de las pacientes (edad, peso, talla, antecedentes, paridad, cm de dilatación), datos de la punción (dificultad de punción, punción hemática, parestesias, punción dural accidental), datos de eficacia del bloqueo (necesidad de una nueva punción por ineficacia, dolor durante la dilatación cervical, dolor durante el periodo expulsivo), considerando a todos ellos como ineficacia total o parcial del bloqueo, necesidad de ayuda por parte del médico adjunto u otro residente mayor. Estos datos, fueron registrados por los residentes durante su periodo de rotación y entregados a los investigadores una vez finalizado el periodo de aprendizaje del residente, para ser posteriormente analizados con el método LC-CUSUM. Se tomó como una tasa de éxito aceptable 80% al primer intento y una necesidad de ayuda de 20%. Usamos Minitab 15 (Minitab 15.0, Minitab Inc., State College, EEUU) para todos los análisis gráficos. Resultados Fig. 1. Ejemplos de Adquisición de la habilidad (tasa de éxito > 80%, residentes 1 y 7). Cada punto significa un bloqueo epidural. La línea, significa el nivel de competencia. Se cruza el nivel deseado tras 18 casos y 71 casos respectivamente, mostrando la amplia variabilidad interindividual. Se analizó un total de 765 bloqueos, 84,7±22,8 por residente, con un rango de entre 47 y 100 bloqueos. Los datos relativos a las pacientes resultaron homogéneos en edad, peso, talla e índice de masa corporal cuando se compararon por residente (ANOVA). Tres de los residentes no completaron los 100 bloqueos realizados o registrados. De estos residentes que no completaron los 100 procedimientos, sólo uno no alcanzó la destreza mínima (residente 3). Siete residentes del total de aquellos cuyos datos se analizaron, alcanzaron la destreza preestablecida como aceptable para que el proceso se considerase bajo control (tasa de éxito del 80%) tras la realización de una media de 23 bloqueos (Figura 1). Los residentes mostraron una gran variabilidad interindividual en el número de bloqueos requerido para alcanzar la competencia, ya que la desviación estándar fue de 21,7 bloqueos. Dos residentes no alcanzaron la capacitación tras los bloqueos practicados. Uno de ellos, residente 3, no alcanzó la cifra de 100 procedimientos realizados y en el otro, residente 9, sí alcanzó este número de bloqueos (Figura 2). La supervisión fue necesaria en más del 20% de casos al final del periodo de estudio para tres residentes (Figuras 3 y 4). La punción dural accidental se dio en 6 casos (0,78%) y la hemática en 46 (5,73%). La tasa global de complicaciones fue del 6%. El análisis de las complicaciones no fue susceptible de análisis con CUSUM, ya que el grado de supervisión impedía que las complicaciones fuesen numerosas y se pudiese establecer un número aceptable o inaceptable de fallos. Discusión Nuestro estudio, muestra que la analgesia epidural obstétrica es una habilidad en la que la variabilidad individual es amplia, a la hora de adquirir la competencia para realizarla con éxito y de forma autónoma. La muestra de residentes analizada son individuos en su tercer año de formación, periodo en el cual ya han adquirido otras habilidades, como la canalización de vías, la intubación orotraqueal o la anestesia espinal, la Fig. 2. Ejemplos de curvas de No adquisición de la habilidad (residente 3 y 9). Cada punto representa un bloqueo realizado. El residente 3, sólo recogió 53 casos y aún no había alcanzado la competencia, si bien la tendencia en los últimos casos la tendencia fue positiva. El residente 9, no la adquirió tras completar los 100 casos y estaba aún lejos de adquirirla

4 Rev. Esp. Anestesiol. Reanim. Vol. 57, Núm. 1, 2010 Fig. 3. Necesidad de grado de supervisión < 20%. Análisis CUSUM (residente 1 y 6). El residente 1 y 6 son dos ejemplos de adquisición de habilidad y necesidad de supervisión inferior al marcado. En ambos residentes, se aprecia que pronto actúan con una supervisión inferior a la considerada objetivo ( target ), que es el 20%. cual pudiera ser una razón por la que la cifra encontrada por nosotros, difiere de otros estudios 7,11. Sin embargo, coincidimos con Naik et al 11 en la amplia variabilidad en el número de casos necesario entre los residentes para alcanzar la competencia, que en su estudio, osciló entre 1 y 85 bloqueos, habiendo igualmente algún residente que tras el periodo de rotación no alcanzó dicha competencia. La muestra de residentes analizada, constituida por residentes procedentes de hospitales en los que no se realiza actividad obstétrica, fue homogénea en este punto. Además, todos ellos habían adquirido la habilidad en la realización de punciones espinales (intradurales) y ninguno de ellos había realizado un número mayor de 5 punciones epidurales antes de realizar la primera en nuestro servicio. Creemos que es importante analizar, no sólo el Fig. 4. Necesidad de grado de supervisión >20%. Análisis CUSUM (residentes 3 y 9). Los residentes 3 y 9, no alcanzaron la destreza con los casos realizados. Se aprecia el paralelismo entre la curva de número de éxitos (Fig. 2) y la necesidad de ayuda. En el caso del residente 3, se observa la tendencia a ir mejorando con el tiempo y aunque no adquirió la competencia con 53 bloqueos, probablemente lo habría hecho antes de los 100 bloqueos. En el caso del residente 9, ésta no se alcanzó a pesar de que tuvo un alto grado de supervisión durante todo ese periodo. número de AEO que debe realizar el residente para adquirir la destreza necesaria, sino que el análisis de la necesidad de supervisión aporta datos adicionales, especialmente en un modelo de alta supervisión como es el español, en general. Previamente, se han analizado el número de casos necesarios a realizar de determinados procedimientos en anestesiología, para adquirir la competencia y entre los procedimientos analizados 11, la AEO es el procedimiento que requiere un mayor número de casos, alrededor de 90. Sin embargo, en dicho estudio, los residentes reclutados y estudiados, lo fueron durante el primer año, lo que podría explicar por qué el número de casos necesario en nuestra muestra fue menor. Asimismo, la muestra de estos autores, comprendía bloqueos epidurales no obstétricos, lo que puede dar lugar a resultados diferentes 11. La principal limitación de nuestro estudio es que se entregaron los datos al médico adjunto una vez finalizado el periodo de rotación, si bien los residentes registraban sus datos diariamente, por lo que no se fijó un nivel previamente, a partir del cual el resultado estuviese fuera de control, sino que se asumió fuera de control al principio y se predeterminó un porcentaje de éxito aceptable, como establece el método LC- CUSUM. Además, esta forma de recogida impidió el control estrecho del resultado residente por residente y caso a caso, para poder controlar de cerca la evolución de cada uno. De todas formas, creemos que a pesar de estas limitaciones, es la primera ocasión que en España se utiliza esta metodología para evaluar la adquisición de competencias y aun a riesgo de que la homogeneidad en la recogida de datos pudiese ser dudosa, decidimos realizar una primera experiencia realizando este estudio de forma anónima, con el fin de que los residentes tuviesen la libertad de anotar los datos bajo su criterio y no ser así estigmatizados. Probablemente en el futuro, sea más práctico y útil a los residentes, el tener una supervisión directa de su curva de aprendizaje, aun a riesgo de ser penalizados. Finalmente, al ser los propios residentes quienes recogen los datos, puede haber diferencias de criterio a la hora de valorar el éxito del bloqueo o la necesidad de ayuda, a pesar de estar definido este dato al inicio de la rotación y controlado al realizar la visita postparto a las 24 horas de la punción, donde se le preguntaba a la mujer por la eficacia del bloqueo y por la satisfacción. Es la primera vez que tenemos conocimiento de que se haya utilizado el método LC-CUSUM en España, para valorar la competencia profesional de los residentes. La evaluación de la competencia profesional, es un procedimiento complejo, que incluye la observación directa por parte del tutor, la evaluación teórica de los 14 20

5 E. GUASCH ET AL Metodología CUSUM en la curva de aprendizaje de la punción epidural obstétrica en un hospital universitario conocimientos, la supervisión de los médicos adjuntos supervisores o responsables y la representación gráfica del éxito del procedimiento, donde se encuadra el CUSUM, que ha sido utilizado también en la evaluación de actividades quirúrgicas 6. En los programas de formación en anestesia regional 14, se incluye, además de un número mínimo de bloqueos a practicar, una formación progresiva en bloqueos básicos, intermedios o avanzados, en cuanto a nivel de dificultad se refiere. Además, se somete a los residentes a pruebas de evaluación y se les requiere para la participación en actividades científicas e investigadoras de los servicios en los que trabajan, con implicación y responsabilidad progresivas. Creemos que el método CUSUM, es válido para medir la competencia profesional de los residentes en AEO y probablemente pueda usarse en otros ámbitos. La adecuada supervisión mientras se realiza el aprendizaje, será útil para controlar a los residentes menos hábiles y conseguir que adquieran la competencia de forma adecuada. BIBLIOGRAFÍA 1. De Oliveira Filho GR, Dal Mago AJ, Soares Garcia JH, Goldschmidt R. An instrument designed for faculty supervisión evaluation by anesthesia residents and its psychometric properties. Anesth Analg. 2008;107: Kopacz D, Neal J, Pollock J. The regional anesthesia learning curve : what is the minimum number of epidural and spinal blocks to reach consistencv? Reg Anesth. 1996;21(3): Kestin I. A statistical approach and measuring the competence of anaesthetic trainees at practical procedures. Br J Anaesth. 1995;75(6): Wilson M. Assessing intravenous and tracheal intubation training. Anaesthesia. 1991;46(7): Konrad C, Schiipfer G, Wietlisbach M, Gerber H. Learning manual skills in anesthesiology: Is there a recommended number of cases for anesthetic procedures? Anesth Analg. 1998;86(3): Biau DJ, Williams SM, Schlup MM, Nizard RS, Porcher R. Quantitative and individualized assessment of the learning curve using LC- CUSUM. Br J Surg. 2008;95(7): De Oliveira Filho GR. The construction of learning curves for basic skills in anesthetic procedures: An application for the Cumulative Sum method. Anesth Analg. 2002;95(2): Wohl H. The cusum plot: its utility in the analysis of clinical data. N Engl J Med. 1977;296(18): Kinsey SE, Giles FJ, Holton J. Cusum plotting of temperature charts for assessing antimicrobial treatment in neutropenic patients. BMJ. 1989;299(6702): Williams SM, Parry BR, Schlup MMT. Quality control: an application of the cusum. BMJ. 1992;304(6838): Naik VN, Devito I, Halpern SH. Cusum analysis is a useful tool to assess resident proficiency at insertion of labour epidurals. Can J Anesth. 2003;50(7): Bouchacourt JP, Castromán P. Evaluación del aprendizaje de la intubación orotraqueal mediante el método de la suma acumulativa (CuSum). Rev Esp Anestesiol Reanim. 2007;54(6): Verdoy PJ. Control estadístico de la calidad. Diagramas de control. En Verdoy PJ.et al. Manual de control estadístico de calidad. Teoría y aplicaciones. Collecció treballs d informática i tecnología num 21. Castelló de la Plana: Publicacions de la Universidad Jaume I; pp Hargett MJ, Beckman JD, Liguori GA, Neal JM. Education Committee in the Department of Anesthesiology at Hospital for Special Surgery. Guidelines for Regional Anesthesia Fellowship Training. Reg Anesth Pain Med. 2005;30(3):