Evaluación de la calidad del reporte de efectividad y seguridad y evaluación económica de levonorgestrel de liberación intrauterina en contracepción

Transcripción

1 Evaluación de la calidad del reporte de efectividad y seguridad y evaluación económica de levonorgestrel de liberación intrauterina en contracepción de larga duración frente a implantes de etonogestrel, levonorgestrel y DIU en el contexto colombiano

2 Título de los reportes Efectividad y seguridad del sistema intrauterino liberador de levonorgestrel (SIU-LNG) como método anticonceptivo en mujeres en edad fértil. Análisis de costo-efectividad del uso de levonorgestrel de liberación intrauterina en contracepción de larga duración frente a implantes de etonogestrel, levonorgestrel y DIU, en contexto colombiano. Entidad nominadora Bayer S.A. Revisores IETS Sierra Matamoros, Fabio Alexander. Epidemiólogo Senior. Instituto de Evaluación Tecnológica en Salud IETS. Osorio, Diana Isabel. Economista. Economista junior. Instituto de Evaluación Tecnológica en Salud IETS. Conflictos de interés Los revisores declaran, bajo la metodología establecida por el Instituto de Evaluación Tecnológica en Salud - IETS, que no existe ningún conflicto de interés invalidante de tipo financiero, intelectual, de pertenencia o familiar que pueda afectar el desarrollo de esta revisión. Fuentes de financiación Ministerio de Salud y Protección Social. Contrato Interadministrativo 243 de Correspondencia Instituto de Evaluación Tecnológica en Salud - IETS Autopista Norte Of. 201 Bogotá, D.C., Colombia. subdireccion.etes@iets.org.co

3 Lista de chequeo para los reportes de evaluación de efectividad, seguridad o validez diagnóstica de tecnologías en salud Estos criterios de verificación son la herramienta para verificar en qué medida un informe de efectividad, seguridad o validez diagnóstica de tecnologías en salud responde a los criterios más relevantes sobre su calidad metodológica y de reporte. El referente para la elaboración de las evaluaciones de efectividad y seguridad es el Manual metodológico para la elaboración de evaluaciones de efectividad, seguridad y validez diagnóstica de tecnologías en salud, disponible en la página web del IETS Fecha: 01/Agosto/2016 Autor: Martín Emilio Romero Prada, Lina María Huérfano Rey. Título del reporte: Efectividad y seguridad del sistema intrauterino liberador de levonorgestrol (SIU-LNG) como método anticonceptivo en mujeres en edad fértil. Revisó: Fabio Alexander Sierra Matamoros Documentos a entregar Reporte de efectividad y seguridad en la plantilla establecida, con todas las tablas y anexos diligenciados Artículos incluidos en la revisión Entrega? (Sí/No) Sí No Sección N Criterio Introducción Se identificaron los autores del reporte (grupo desarrollador)? Participaron en la evaluación todos los actores clave? Se declaró si el reporte fue sometido a revisión externa por pares? (Cumple, no cumple, incierto) Cumple 3. No se reporta revisión del documento o de la pregunta PICO por pares. No se reporta sometimiento a evaluación por pares. 4 Se describieron las fuentes de financiación? Cumple 3 5 Se declaró la existencia de conflictos de interés? Cumple 3 6 Se indicaron los datos de contacto para solicitar más información? Cumple 3, 4 7 Se presentó un resumen ejecutivo incluyendo introducción, objetivo, metodología, resultados y conclusiones? Cumple 8 8 Se presentó una introducción, Cumple 9

4 Pregunta de evaluación y criterios de elegibilidad Metodología 18 incluyendo la síntesis del problema a investigar, justificación, alcance y objetivo de la evaluación? Se describió la condición de salud de interés de acuerdo con lo especificado en el manual metodológico IETS? Se describieron las tecnologías de interés de acuerdo con lo especificado en el manual metodológico IETS? Se presentó con claridad y precisión la pregunta de evaluación en estructura PICOT? Se definió cada uno de los elementos de la pregunta PICOT de acuerdo con las consideraciones del manual metodológico IETS? Se siguieron los pasos para la formulación preliminar de la pregunta de evaluación, de acuerdo con lo especificado en el manual metodológico IETS? Se realizó una consulta con expertos temáticos, representantes de sociedades científicas, pacientes y cuidadores para el refinamiento de la pregunta de evaluación? Se definieron con claridad y precisión los criterios de elegibilidad de la evidencia (de inclusión y exclusión) en términos de población, subgrupos, tecnologías de interés, comparadores, desenlaces y tiempo (si aplicó)? Se definieron y justificaron los criterios de inclusión o exclusión de estudios, relacionados con el formato, idioma y fecha de publicación? Se definieron y justificaron los criterios de inclusión o exclusión de estudios, relacionados con el diseño, la calidad metodológica y de reporte? La evaluación fue realizada de acuerdo con un protocolo definido a priori por el grupo desarrollador, revisado por pares y que incluyó: pregunta de evaluación en estructura PICOT, criterios de elegibilidad de la evidencia y métodos de búsqueda (Cumple, no cumple, incierto) Cumple Al tratarse de un dispositivo de planificación, no aplican todos los criterios de condición de salud. Cumple Cumple 13 Faltan desenlaces de seguridad. No se presenta el proceso seguido para la elaboración y refinamiento de la pregunta. No se reporta. Cumple No se especifican los criterios en términos de población, intervención o comparadores. Falta especificar el formato (texto completo versus resúmenes o presentaciones) Cumple 13 No presenta y tampoco hace referencia a un protocolo a priori con la metodología y definición de la pregunta PICO, que haya sido revisado por

5 de evidencia? Se realizó una búsqueda de evidencia en las bases de datos electrónicas correspondientes al tipo de estudio, de acuerdo con lo especificado en el manual metodológico IETS? Se emplearon métodos de búsqueda complementarios: consulta con expertos temáticos, productores y comercializadores de las tecnologías evaluadas y de sus comparadores, búsqueda manual "en bola de nieve", búsqueda en bases de datos especializadas, revisión de información sobre vigilancia poscomercialización, etc? Se realizó la actualización de la búsqueda de estudios primarios para las revisiones sistemáticas seleccionadas, de acuerdo con lo especificado en el manual metodológico IETS? La tamización de las referencias fue duplicada e independiente y se describieron las estrategias empleadas para resolver los desacuerdos entre los pares revisores? Se evaluó la calidad de la evidencia de acuerdo con lo especificado en el manual metodológico IETS? Se describieron los métodos de extracción de datos y síntesis de la evidencia? (Cumple, no cumple, incierto) Cumple pares. No se reporta búsqueda de literatura en fuentes adicionales a las bases de datos. Los autores no encontraron revisiones sistemáticas, razón por la cual no se puede realizar la actualización. Sin embargo, se escribe que esta publicación es una actualización del mismo estudio realizado anteriormente por los autores, cuyos resultados no son anexados, por lo que no se puede establecer si la actualización corresponde a una búsqueda independiente (caso en el que este es otro estudio) o a la actualización de alguna revisión encontrada en el primer estudio. La tamización se hizo de manera independiente pero no se reportan estrategias para resolución de discrepancias Cumple 15 Se hace referencia al estudio realizado previamente por los autores. Se incluyeron dos 15-16

6 Resultados Discusión y conclusione s Se realizó un control de calidad sobre la extracción de datos? Se presentaron los reportes de la búsqueda de evidencia en bases de datos electrónicas, de acuerdo con lo especificado en el manual metodológico IETS? Se presentaron los resultados de la búsqueda de evidencia, tamización de referencias y selección de estudios mediante el diagrama de flujo PRISMA? Se presentó un listado de referencias de los estudios incluidos y excluidos (junto con las razones para su exclusión)? Se reportaron los hallazgos de acuerdo con lo especificado en el manual metodológico IETS? Se presentaron las características de los estudios incluidos en la síntesis de evidencia, de acuerdo con lo especificado en el manual metodológico IETS? Se presentó una discusión de acuerdo con lo especificado en el manual metodológico IETS? (Cumple, no cumple, incierto) estudios que no corresponden a los criterios de inclusión: una revisión no sistemática de la literatura y un ensayo en fase II. No se reporta. Cumple Cumple 25 Se presenta el listado pero no las razones para la exclusión. Aunque se utilizan las plantillas para reporte de la evaluación de calidad como de las características de los estudios incluidos, no se presentan las medidas de efecto de los estudios incluidos y su significancia, tampoco existe una definición detallada de desenlaces e intervenciones en los estudios evaluados Cumple 17-18,26 Hacen falta los siguientes elementos: similitudes y diferencias de este estudio con otros estudios similares, limitaciones fortalezas y sesgos potenciales, validez externa de los resultados obtenidos, transferibilidad, implicaciones en aspectos organizacionales y vacíos 19

7 32 Se presentaron las conclusiones de la evaluación de acuerdo con lo especificado en el manual metodológico IETS? (Cumple, no cumple, incierto) de conocimiento. No se presenta un apartado para las conclusiones. Si están integradas en la discusión, hace falta especificar la calidad de la evidencia en la que se basan y presentar de manera separada conclusiones de efectividad y de seguridad. 19

8 Lista de chequeo para los reportes de evaluación económica de tecnologías en salud Estos criterios de verificación son la herramienta para verificar en qué medida una evaluación económica en salud responde a los criterios más relevantes sobre su calidad metodológica y de reporte. El referente para la elaboración de las evaluaciones de efectividad y seguridad es el Manual metodológico para la elaboración de evaluaciones económicas en salud, disponible en la página web del IETS Fecha: 01/Agosto/2016 Autor: Martín Emilio Romero Prada, Lina María Huérfano Rey. Título del reporte: Análisis de costo-efectividad del uso de levonorgestrel de liberación intrauterina en contracepción de larga duración frente a implantes de etonogestrel, levonorgestrel y DIU, en contexto colombiano. Revisó: Diana Isabel Osorio Cuevas. Título Documentos a entregar Reporte de evaluación económica en la plantilla establecida, con todas las tablas y anexos diligenciados Artículos de los cuales se extrajo información para alimentar el modelo Modelo de decisiones en el software que permita verificar los resultados Sección N Criterio Resumen del informe El título permite identificar el estudio como una evaluación económica del tipo costoefectividad? El título permite identificar las tecnologías comparadas en la evaluación económica? El título permite identificar que la evaluación económica fue desarrollada en el contexto colombiano? El resumen ejecutivo cumple con la extensión señalada en la plantilla de evaluaciones económicas? El resumen ejecutivo contiene todas las secciones señaladas en la plantilla de evaluaciones económicas? Entrega? (Sí/No) Sí No Sí (cd de 2014, archivo de Excel) Sí cumple Sí cumple Sí cumple Sí cumple La sección problema de decisión tiene 150 palabras. Se deben reportar las siguientes secciones: tipo de evaluación económica, elección de alternativas y comparadores, población objetivo, fuentes de datos de efectividad y seguridad,

9 Introducción 6 Pregunta de investigación económica Perspectiva 14 La introducción muestra el contexto del estudio y el problema económico que busca resolverse? La pregunta de investigación económica fue diseñada con la estrategia PICOT? La selección de la población objetivo del estudio (así como sus características demográficas) y los posibles subgrupos dentro de ella, es explicada con claridad? La elección de las tecnologías intervención y comparador está claramente explicada? La longitud del horizonte temporal está claramente justificada? Se diligenció la pregunta de investigación de acuerdo a la forma funcional que muestra el manual de evaluaciones económicas? La pregunta de investigación económica va dirigida a resolver el problema económico planteado anteriormente? La pregunta de investigación económica fue sometida a un proceso de participación y deliberación con actores interesados? La perspectiva seleccionada corresponde a la que se recomienda en el manual de evaluaciones económicas? fuentes de datos de costos, discusión. Se hace una descripción de la importancia que tienen los métodos de planificación, el acceso a estos y algunos aspectos relevantes de la salud reproductiva en el caso de las mujeres. Sin embargo, no resulta claro cuál es el propósito de esta investigación y cuáles son las diferencias entre las alternativas Sí cumple Sí cumple 39 Se debe justificar la elección de las tecnologías a evaluar, solo se enlistan y no se hace referencia a los hallazgos del reporte de efectividad y seguridad. Se deben incluir las referencias o la literatura clínica que sustenta el horizonte temporal Sí cumple 38 Sí cumple 38 Sí cumple Se debe eliminar la frase estimar el impacto del uso de las tecnologías a nivel de sociedad para evitar la imprecisión dado que 39

10 Tasa de descuento Desenlaces La tasa de descuento seleccionada corresponde a la que se recomienda en el manual de evaluaciones económicas? Si la tasa de descuento seleccionada no corresponde a la que se recomienda en el manual de evaluaciones económicas, o no se utilizó una tasa de descuento, esto fue debidamente justificado? La selección de los desenlaces fue justificada claramente, de manera que se entienda que contribuyen a resolver el problema económico? Se citan claramente las fuentes de donde se obtiene la información de los desenlaces? Si se escogieron datos de un estudio de efectividad individual, se justificó que esa información fuera suficiente y necesaria para responder el problema económico planteado? Si se escogieron datos de un estudio de efectividad individual, fueron descritas las características de diseño del estudio? Si se utilizaron datos estimados a partir de síntesis de evidencia, se explica claramente qué métodos fueron utilizados para la selección de los estudios incluidos? Si se utilizaron datos estimados a partir de síntesis de evidencia, se explica claramente qué métodos fueron utilizados para la síntesis de los datos de efectividad clínica? después se menciona al tercero pagador. Sí cumple 39 Se debe justificar por qué el desenlace de la evaluación económica son el número de embarazos evitados. No se hace referencia el reporte de efectividad y seguridad, ni a los estudios clínicos que sustenten la selección de este desenlace. Se mencionan las bases electrónicas de datos, los criterios de inclusión y exclusión para la búsqueda de probabilidades del modelo, no resulta claro si también son los mismos estudios para el desenlace en salud del modelo. Se mencionan las bases electrónicas de datos, los criterios de inclusión y exclusión solamente para la búsqueda de probabilidades del modelo, no resulta claro si también son los mismos estudios para el

11 Costos Si los datos de valoración de estados de salud fueron obtenidos de la literatura, se explican claramente las características de diseño del estudio citado, así como la población sobre la cual fue desarrollado? Si las valoraciones fueron directamente calculadas por el centro evaluador, se describen claramente tanto la población como los métodos utilizados? En caso de haber considerado una perspectiva diferente de la recomendada en el manual de evaluaciones económicas, se reportan separadamente y se discute la relevancia de, por ejemplo, pérdidas de productividad para el problema económico planteado? La identificación de los recursos se presenta, como mínimo, reportando la información que se recomienda presentar de manera tabulada en el manual de evaluación económica? La medición de los recursos se presenta, como mínimo, reportando la información que se recomienda presentar de manera tabulada en el manual de evaluación económica? La valoración del uso de recursos y costos se presenta, como mínimo, reportando la información que se recomienda presentar de manera tabulada en el manual de evaluación económica? La selección de la metodología para la medición de las cantidades y los costos unitarios de los recursos aparece claramente justificada? desenlace en salud del modelo. Sí cumple Sí cumple Sí cumple No es claro cómo fueron obtenidos los datos de precios para todos los recursos. Adicionalmente, no se brinda una explicación de cómo fueron incluidos algunos procedimientos o diagnósticos en el modelo no mencionados previamente como por ejemplo inflamación pélvica aguda, vaginitis, entre otros

12 Modelamiento Se indican las fuentes consultadas y se justifica la fuente empleada? Se explican claramente los ajustes de precios por inflación o por algún otro criterio? En los caso en donde la identificación y medición de los costos debe ser consultada con expertos, dicha consulta fue realizada y se reporta dentro del estudio? La elección del tipo de modelo y su respectivo diseño son justificados plenamente, de manera que queda clara su contribución a resolver el problema económico planteado? La población o cohorte hipotética incluida en el modelo corresponde a la población objetivo que se describió anteriormente en la pregunta de investigación? El modelo diseñado fue sometido a un proceso de participación y deliberación con actores interesados? Se describen con detalle todos los supuestos estructurales con los que fue diseñado el modelo? Se describen todos los métodos analíticos o ajustes que fueron hechos para el desarrollo del modelo? Se reportan todos los parámetros del modelo, como mínimo, con base en la presentación tabulada que se sugiere en el manual de evaluación económica? No se menciona ninguna fuente de información para esta sección. No se reporta ningún detalle de ajuste o metodología para la obtención de precios en esta sección. Se debe justificar la elección del tipo de modelo, se habla de un modelo de markov pero no se encuentran descritos los estados de salud en el documento, la duración de los ciclos, entre otras características de este tipo de análisis de decisión Sí cumple Sí cumple 43 No se describe ningún método analítico para el desarrollo del modelo. Se deben justificar algunos parámetros que no fueron mencionados previamente, por ejemplo probabilidad de falla acumulada, suspensión por evento adverso a diferente número de meses; no se explica cómo la tasa de fecundidad del DANE se empleó como

13 Presentación de resultados Se citan claramente las fuentes de donde se obtuvo información y, en caso de haberla extraído de literatura gris, la inclusión de esta información estuvo debidamente justificada? Con la información que se incluyó en el modelo, es posible afirmar que no se excluyó información relevante para contribuir con la solución del problema económico planteado en el estudio? (Validez interna) Los datos que alimentan el modelo, así como las ecuaciones que haya sido necesario diseñar, fueron correctamente diligenciadas y programadas en el software de programación o en la hoja de cálculo que haya sido utilizada para tal fin? (Validez interna) Con la información reportada en la evaluación económica, es posible garantizar la replicabilidad del modelo matemático? (Validez externa) Los autores entregaron el modelo en Excel, TreeAge u otro software que permita verificar los cálculos? Se reportan los resultados del caso base, como mínimo, con base en la presentación tabulada que se sugiere en el manual de evaluación económica? Pendiente Sí cumple probabilidad de retiro del implante o suspensión del tratamiento. En términos generales, se recomienda ser más claro entre la descripción del modelo, sus estados, las variables que componen cada estado y el resumen de parámetro y el método para obtenerlos. Solo se incluyen como referencias en las tablas, sin embargo no hay una descripción previa de los estudios de donde fueron tomadas las probabilidades. De acuerdo con las observaciones mencionadas anteriormente, no es posible concluir que esté toda la información y que se encuentre de manera organizada dentro del documento. Se entrega el modelo en Excel para su revisión y verificación Sí cumple 46

14 Análisis de incertidumbre y heterogeneidad Conclusiones y discusión Se reportan los resultados con descuento, como mínimo, con base en la presentación tabulada que se sugiere en el manual de evaluación económica? Los resultados contribuyen a resolver el problema económico planteado en el estudio? La selección de las variables incluidas en los análisis de sensibilidad se justifica de manera clara y detallada? Los análisis de sensibilidad determinísticos se acompañan de una gráfica de tornado y sus resultados se interpretan claramente? Los parámetros de las distribuciones de probabilidad son informados, como mínimo, con base en la presentación tabulada que se sugiere en el manual de evaluación económica? Los resultados de los análisis de sensibilidad probabilísticos se acompañan de curvas de aceptabilidad, de diagramas de dispersión de las simulaciones de la RCEI, y sus resultados son claramente interpretados? Se presentan las diferencias entre los resultados que se presentan dependiendo de cada subgrupo de pacientes? Los resultados de los análisis de sensibilidad o de heterogeneidad contribuyen a resolver el problema económico planteado en el estudio? Se presenta una descripción de los resultados más importantes de la evaluación económica, a la luz de su contribución para resolver y concluir el problema económico planteado en el estudio? Se describen de manera clara las limitaciones de la evaluación económica, así como la factibilidad de generalizar los resultados del estudio? Sí cumple 47 Sí cumple 47 Sí cumple Se mencionan las variables pero no se justifica su elección para el análisis de sensibilidad Sí cumple Sí cumple 49 Sí cumple Sí cumple Se sugiere ampliar cómo fueron resueltas las limitaciones al realizar esta evaluación económica Se contrastan los resultados de la evaluación económica, con estudios Sí cumple 50

15 55 similares previamente publicados en la literatura científica? Se plantean consideraciones éticas y de equidad dentro de la discusión de resultados de la evaluación económica? Sí cumple 50 Conclusión Luego de llevar a cabo la revisión de calidad del reporte de la evaluación de efectividad y seguridad del levonorgestrel comparado con el dispositivo intrauterino (DIU o T de cobre), el implante de etonogestrel y el implante subdérmico de levonorgestrel como métodos anticonceptivos/de contracepción de larga duración, y de la revisión del reporte de su respectiva evaluación económica, se llegó a la decisión de que dada la calidad técnica de esta ETES, no es posible garantizar la reproducibilidad de los métodos ni reducir la incertidumbre de sus conclusiones. Por lo tanto, se recomienda que esta ETES sea desarrollada de novo.