Evaluación crítica de comparaciones indirectas

PROYECTO COMPARACIONES INDIRECTAS Evaluación crítica de comparaciones indirectas Mª Dolores Fraga Fuentes Servicio de Farmacia C.H. La Mancha Centro Alcázar de San Juan (Ciudad Real) mdfraga@sescam.jccm.es mfragaf@sefh.es

Todo lo difícil il debe intentarse t mientras es fácil Lao-tsé El futuro es algo que cada cual alcanza a un ritmo de sesenta minutos por hora, haga lo que haga y sea quien sea Clive Staples Lewis 2

octubre de 2010, evaluación crítica de comparaciones indirectas Bluegreen Blog 3

Comparaciones indirectas y su aplicación en los informes de evaluación de nuevos medicamentos. Colaboradores Grupo coordinador d de GENESIS: Ana Ortega Eslava Mª Dolores Fraga Fuentes Francesc Puigventós Latorre Emilio Jesús Alegre del Rey Mª Angeles Porta Sánchez Pere Ventayol Bosch Ana Clopés Estela Montse Vilanova Boltó Bernardo Santos Ramos Hospitales colaboradores Clínica Universidad de Navarra. Pamplona. H.U. Son Dureta. Palma de Mallorca C.H. La Mancha Centro. C. Real ICO- H Durán i Reynalds. Barcelona. H. U Virgen del Rocio. Sevilla C. U. Puerto Real. Cádiz. C. H. Juan Canalejo. La Coruña. Hospital Son Llàtzer. Palma de Mallorca 4

Comparaciones indirectas y su aplicación en los informes de evaluación de nuevos medicamentos. Objetivos Conocer Revisar la bibliografía situación actual Revisar la bibliografía existente cuantificando el grado de respecto a la metodología de las incorporación Artículos metodológicos de las sobre CI comparaciones conocer las diferentes indirectas y metodologías comparaciones indirectas en los establecer una recomendación Extraer informes de limitaciones, evaluación de ventajas y puntos sobre la claves metodología a considerar a seguir tanto nuevos en medicamentos la elaboración de como los en la evaluación en la revisión de y las realización CI de hospitales, publicadas analizando el tipo y comparaciones indirectas en la características de éstas y evaluación de nuevos Establecer determinando una su papel recomendación en las sobre medicamentos la metodología en los a hospitales seguir propuestas en la revisión finales y realización de los de CI en y la difundirla evaluación a los de farmacéuticos nuevos informes medicamentos en los hospitales y difundirla de hospital a los farmacéuticos de hospital EVALUACIÓN CRÍTICA 5

Revisión bibliográfica Búqueda en PubMed y EMBASE Términos búsqueda INDIRECT COMPARISONS INDIRECT EVALUATIONS MIXED TREATMENT COMPARISONS NETWORK META-ANALYSIS MULTIPLE TREATMENT META-ANALYSIS Límites CLINICAL TRIAL META-ANALYSIS REVIEW RANDOMIZED CONTROLLED TRIAL CONTROLLED CLINICAL TRIAL TRIALS REVIEW Sin limitación temporal, hasta mayo de 2010 (actualización en septiembre 2010). Se completó: bases de datos de evaluación de tecnologías sanitarias (HTA) y la base de datos de la colaboración Cochrane de registro de estudios controlados. Se buscó en la literatura gris a través de google y scirius Revisión manual de la bibliografía de los trabajos seleccionados y de la bibliografía de los artículos de revisión sobre el tema 6

Resultados de la búsqueda Se identificaron 40 estudios sobre metodología que han permitido establecer los tipos de comparaciones indirectas y el método utilizado para valorar los resultados de las mismas e identificar los puntos clave en su evaluación crítica Se localizaron 116 referencias potenciales sobre comparaciones indirectas realizadas para demostrar la eficacia comparativa de distintos grupos terapéuticos ONCOLOGÍA 26 CARDIOLOGÍA 20 REUMATOLOGÍA 11 NEUROLOGÍA 11 VARIOS 10 PSIQUIATRÍA 9 ENDOCRINO 9 TROMBOPROFILAXIS 6 ANTINFECCIOSOS 5 DERMATOLOGÍA 5 OFTALMOLOGÍA 4 HEPATITIS B 2 RESPIRATORIO 2 UROLOGÍA 2 GINECOLOGÍA 2 SIDA 2 7

octubre de 2010, evaluación crítica de comparaciones indirectas 8

Dónde estamos con las comparaciones indirectas La información comparativa es crítica para la toma de decisiones Si no existen ECAs comparativos directos utilizar evidencia indirecta Utilizar CI ajustadas No existe una herramienta de valoración cualitativa Debe exigirse transparencia en la publicación (permitirá valorar la validez) 10

Puntos claves en la evaluación crítica 1º punto fundamental TRANSPARENCIA Datos gráficos y narrativos Eid Evidenciai Consistencia Validez interna Impacto clínico Validez externa Generalización Aplicabilidad Aplicabilidad Puntos fuertes y débiles Relevancia de cada uno de los puntos Valoración cualitativa: Fiabilidad Valoración cuantitativa???? FIABILIDAD ALTA FIABILIDAD ACEPTABLE FIABILIDAD DUDOSA FIABILIDAD BAJA 11

Heterogeneidad Clínica Heterogeneidad Metodológica Heterogeneidad Estadística Medida del Efecto Puntos claves en la evaluación crítica Definiciones Variación en las características de la población, condiciones coexistentes, cointervenciones y resultados evaluados en los estudios que pueden influir o modificar la magnitud del efecto de la medida de la intervención Diferencias entre estudios en los tamaños estimados del efecto que pueden ser atribuidos a la variabilidad y calidad y a los tipos de diseños de los estudios Variabilidad en los efectos observados de los tratamientos más allá de los esperado por el error aleatorio Expresión de las medidas de la variable (OR, RR, DR, RAR...) Adaptada de West SL et al. AHRQ. 2010 12

Puntos CRÍTICOS Estudio 1 Estudio 2 Estudio 3 Población Intervención Comparadores A P L I C A B I L I D A D Resultados Seguimiento Ambito población 13

Borrador-propuesta check-list octubre de 2010, evaluación crítica de comparaciones indirectas 14

ITEM 1 Borrador-propuesta check-list JUSTIFICACIÓN DEL ESTUDIO Existen FIABILIDAD comparaciones ALTA directas entre los fármacos estudiados? FIABILIDAD ACEPTABLE FIABILIDAD DUDOSA FIABILIDAD BAJA OPCIONES No SI, de calidad d muy baja (ECAS de calidad inaceptable o baja aplicabilidad, o estudios observacionales-cohortes, cohortes casos controles) SI, calidad dudosa (ECAS de calidad d baja, con sesgos que pueden ser relevantes) SI, existe al menos un ECA de calidad d aceptable Una comparación ECA- IIdirecta de calidad aceptable tiene siempre más validez CI estudios que una observacionales. comparación indirecta III-2 CI ajustadas (como los estudios de cohortes), no ajustadas III-3 como estudios de controles históricos 17

Borrador-propuesta check-list ITEM 2 COMPARADOR COMÚN Cuántos comparadores FIABILIDAD ALTA existen entre A y B? Construir el gráfico del estudio FIABILIDAD DUDOSA FIABILIDAD BAJA 1 2 >2 B OPCIONES Con dos o más comparadores entre B y C la fiabilidad podría descender? Existe menor precisión ió (Lu G.and Ades AE Statist ti t Med 2004). A A B C D C 19

Borrador-propuesta check-list ITEM 3 ESTRATEGIA DE BÚSQUEDA Se utilizaron FIABILIDAD métodos ALTA sistemáticos para localizar todos los estudios relevantes? FIABILIDAD ACEPTABLE -Bases de datos -Seguimiento i de referencias -Límites FIABILIDAD BAJA OPCIONES SI, cumple todo ALGUNO,,pero se especifica el sesgo No se cumple ni se especifica el sesgo Debe especificarse la estrategia de búsqueda para poder ser reproducida y comprobar que cumple los criterios especificados 20

Borrador-propuesta check-list ITEM 4 CRITERIOS DE SELECCIÓN DE ESTUDIOS PARA LA OPCIONES COMPARACIÓN SI, cumple todo Están definidos previamente? FIABILIDAD ALTA Son razonables? FIABILIDAD ACEPTABLE Se han aplicado de forma sistemática? FIABILIDAD BAJA Alguno de los puntos es mejorable, aunque aceptable No se cumple alguno de los puntos o se hace de forma inaceptable (sesgo importante) Una selección sesgada de los estudios puede condicionar i los resultados 21

Borrador-propuesta check-list ITEM 5 VARIABLE COMÚN Se utiliza la misma variable FIABILIDAD ALTA (medida de la misma forma y en el mismo tiempo) en los distintos estudios que se FIABILIDAD DUDOSA comparan? FIABILIDAD BAJA OPCIONES SI NO, pero la diferencia entre ambas variables es muy poco relevante NO Comparar distintas variables o medidas en tiempos distintos puede condicionar e incluso invalidar los resultados Peligraría la asunción de semejanza en la CI ajustadas y la asunción de consistencia en las mezclas de múltiples tratamientos 22

Borrador-propuesta check-list ITEM 6 Escenario ideal FIABILIDAD ALTA RELEVANCIA DE LA VARIABLE FIABILIDAD ACEPTABLE La variable elegida para la comparación es clínicamente la más FIABILIDAD DUDOSA relevante?, Es la variable principal de los estudios? FIABILIDAD BAJA Peor escenario OPCIONES SI, es la más relevante y la principal Es la más relevante, pero no la principal de los estudios No es la más relevante posible, pero es razonable y es la mejor de la que se dispone Debería haberse elegido otra variable más relevante clínicamente, o bien no se disponía de ninguna variable medida con relevancia clínica suficiente Sesgo inaceptable si se elige una variable poco relevante clínicamente si existen otras posibles opciones Justificar la elección de la variable para el análisis 23

Borrador-propuesta check-list ITEM 7 SIMILITUD DE LOS PACIENTES Buscar FIABILIDAD en los estudios ALTA que se combinan (normalmente tablas): Los criterios de inclusión y exclusión son FIABILIDAD ACEPTABLE similares y razonables? Los grupos aleatorizados dentro de cada estudio eran comparables? FIABILIDAD BAJA Y entre ellos? OPCIONES SI, con diferencias muy poco relevantes Existen diferencias, pero la mayor parte de los pacientes son similares en los diversos estudios Existen muchas diferencias entre los estudios, o algún estudio presenta internamente t grupos no comparables por mostrar diferencias inaceptables Fundamental combinar poblaciones que sean al menos similares 24

Borrador-propuesta check-list ITEM 8 OPCIONES INTERVENCIÓN CONTROL Si El comparador común o FIABILIDAD ALTA anclado está usado con la Existen diferencias con muy misma dosificación y con la poca influencia potencial en el misma duración del resultado FIABILIDAD ACEPTABLE tratamiento? Existen diferencias relevantes FIABILIDAD BAJA Se comprometen la validez de la comparación si existen diferencias relevantes en las especificaciones y características de uso del comparador común 25

Borrador-propuesta check-list ITEM 9 RESULTADOS DEL GRUPO CONTROL Es similar FIABILIDAD en los ALTA estudios que se combinan? FIABILIDAD ACEPTABLE FIABILIDAD BAJA OPCIONES Si. O no existen diferencias, o claramente carecen de relevancia clínica No. Existen diferencias que podrían ser clínicamente relevantes, pero resultan aceptables No. Existen diferencias que ponen en evidencia que las poblaciones yo la intervención yo la medida de resultados probablemente presentan diferencias importantes Para poder combinar los estudios, el resultado del grupo control debería ser similar. Aunque, si las poblaciones son comparables, una diferencia en el grupo control puede paliarse por un análisis ajustado por el resultado control 26

Borrador-propuesta check-list ITEM 10 CALIDAD DE LOS ESTUDIOS COMBINADOS Cuál es la calidad validez FIABILIDAD ALTA interna de los estudios combinados? FIABILIDAD DUDOSA FIABILIDAD BAJA OPCIONES Los estudios que se combinan tienen baja probabilidad de sesgos, y son ECAS bien diseñados, o meta-análisis análisis directo de ensayos clínicos homogéneos Los estudios que se combinan incluyen algún estudio de cohortes con baja probabilidad de sesgos, pero existe al menos un ECA bien diseñado de cada fármaco que se compara, y el peso de los estudios de cohortes (en el nº de pacientes) No se puede incluir en ninguno de los perfiles anteriores Estudios observacionales más probabilidad de sesgos, limita validez interna 27

Borrador-propuesta check-list ITEM 11 TRATAMIENTO DE LAS PÉRDIDAS En los estudios que se han FIABILIDAD ALTA combinado las pérdidas son similares y aceptables? se se trataban de FIABILIDAD DUDOSA la misma manera?, el tipo de análisis es el mismo (PP, ITT)? FIABILIDAD BAJA OPCIONES Si, cumple todo, o bien existen diferencias irrelevantes Falta información, o bien existen diferencias relevantes en algunos de los puntos, aunque no anulan completamente la validez de la comparación. El análisis es por ITT en todos los estudios No se puede incluir en ninguno de los dos perfiles anteriores Un tratamiento distinto de los pacientes que abandonan el estudio, especialmente si éstos son numerosos, puede condicionar los resultados. Puede paliarse parcialmente con el ITT 28

Borrador-propuesta check-list ITEM 12 AJUSTE POR GRUPO CONTROL Se trata FIABILIDAD de una ALTA comparación ajustada por grupo control (método de Bucher, FIABILIDAD se usa DUDOSA la calculadora de Wells, etc? FIABILIDAD BAJA OPCIONES SI Es una comparación ajustada por grupo control, pero los resultados en el grupo control son prácticamente iguales No se puede incluir en ninguno de los perfiles anteriores Es imprescindible tener en cuenta los resultados en los grupos control para poder comparar los resultados 29

Borrador-propuesta check-list ITEM 13 HOMOGENEIDAD DE LOS ESTUDIOS Se detecta alguna otra característica FIABILIDAD ACEPTABLE diferencial de los estudios que se combinan que haga FIABILIDAD DUDOSA inaceptable la comparación de los resultados? FIABILIDAD BAJA OPCIONES No, no se han detectado otras diferencias Se han detectado otras diferencias entre los estudios, pero no condicionan los datos de forma relevante e Se ha detectado alguna diferencia que condiciona ampliamente los datos y hace incomparables los resultados de los estudios Analizar posibles causas de heterogeneidad no incluidas en los ITEMs anteriores 30

Borrador-propuesta check-list ITEM 14 ANÁLISIS ESTADÍSTICO El análisis estadístico es adecuado? FIABILIDAD ALTA FIABILIDAD ACEPTABLE FIABILIDAD BAJA OPCIONES Si, no se detectan anomalias Se trata de una simulación por bayesianos u otro método No existe análisis estadístico o no es aceptable Las simulaciones a menudo se basan en asunciones subjetivas, y su validez interna es menor. La superposición de IC no válida. Deben describirse yjustificarse los modelos estadísticos. Ej. Efectos fijos vs aleatorios; modelos de múltiples meta-análisis de comparaciones de parejas vs modelos de network meta-análisis. Manejo de posibles sesgos/inconsistencias Medidas de los efectos, análisis de sensibilidad... 31

Heterogeneidad Estudios en diferentes lugares, tiempos, poblaciones..resultados diferentes Ver forest plot Estadística, test x 2 : p<0,1 heterogeneidad Test I 2 : 25% heterogeneidad baja; 50% moderada; 75% alta Cochrane Handbook for Systematic ti Reviews of Interventions Version 5.0.2 [updated September 2009]: 0% a 40%: puede no ser importante 30% a 60%: puede representar heterogeneidad moderada 50% a 90%: puede representar heterogeneidad sustancial 75% a 100%: heterogeneidad considerable Los autores deben indicar los motivos de la heterogeneidad 32

Modelos estadísticos El modelo de efectos fijos asume que las diferencias entre los tamaños del efecto de los estudios individuales se deben tan solo al hecho h de que los estudios utilizan muestras de sujetos diferentes. La generalización se limita a la población de estudios de características similares a los incluidos en el meta-análisis El modelo de efectos aleatorios asume que cada tamaño del efecto individual estima a un tamaño del efecto poblacional. Los resultados pueden generalizarse a una población mayor de estudios 33

octubre de 2010, evaluación crítica de comparaciones indirectas Forest Plot Ried K. Australian Family Physician 2006;35(8):635-8 34

Borrador-propuesta check-list ITEM 15 EXISTE INCONSISTENCIA Se observan diferencias en las estimaciones FIABILIDAD ACEPTABLE de los efectos de los tratamientos entre las comparaciones directas FIABILIDAD e indirectas? DUDOSA FIABILIDAD BAJA OPCIONES No No se presentan claramente Debe distinguirse claramente si se observan diferencias en las direcciones de los efectos de los tratamientos SI 35

Borrador-propuesta check-list ITEM 16 APLICABILIDAD Se pueden generalizar FIABILIDAD ALTA estos resultados a nuestra población? FIABILIDAD ACEPTABLE FIABILIDAD BAJA OPCIONES Si SI, considerando subgrupos No Podría considerarse que en las comparaciones indirectas al existir una población no tan homogénea se pueda generalizar más? 36

Borrador-propuesta check-list ITEM 17 CONFLICTO DE INTERESES Existe declaración de conflicto FIABILIDAD de intereses? ACEPTABLE Es un estudio independiente? d e e FIABILIDAD DUDOSA FIABILIDAD BAJA OPCIONES Si a todo No es totalmente independiente, existen algunos conflictos de intereses Se trata de una publicación calramente ligada a una parte con interés en uno de los fármacos estudiados, o bien falta declaración de intereses Puesto que una comparación indirecta está sometida a un riesgo muy importante de sesgos y manipulaciones, los conflictos de intereses restan mucha validez a la comparación 37

octubre de 2010, evaluación n crítica de comparaciones indirectas A B C A D B C A B C A D B C E G Comparaciones indirectas ajustadas Comparaciones de mezclas de tratamientos Network meta-análisis 38

Preguntas claves Están incluidos todos los tratamientos relevantes? Están incluidos todos los ensayos relevantes? (nuevo vs nuevo, nuevo vs estándar, estándar vs estándar, estándar vs antiguo, antiguo vs antiguo), considerar la posibles parejas para las comparaciones indirectas. Hacer gráficos. Es más adecuada una CI ajustada o una mezcla de múltiples tratamientos? Existe heterogeneidad o inconsistencia? Herramientas de ayuda: Declaración PRISMA, análisis Foret Plot, calculadoras (Wells...) 39

octubre de 20 010, evaluación crítica de comparaciones indirectas Mª Dolores Fraga Fuentes mdfraga@sescam.jccm.es mfragaf@sefh.es 41