Unidad 7: Búsqueda, evaluación y síntesis de la evidencia II

Unidad 7: Búsqueda, evaluación y síntesis de la evidencia II 1. Qué es calidad de la evidencia y por qué es importante su evaluación? Dentro del contexto de guías y la formulación de recomendaciones, la calidad de la evidencia representa en qué medida la confianza en el efecto estimado de una intervención es adecuado para ser usado como base de una recomendación(1). En otras palabras, la calidad de la evidencia indica qué tanta certeza se puede tener de que la información que proveen los estudios clínicos y revisiones sistemáticas sobre un tratamiento, prueba diagnóstica o intervención de salud pública es, efectivamente, la mejor evidencia disponible para informar una recomendación. El concepto de calidad de la evidencia fue introducido por el grupo de trabajo GRADE en el año 2004(1, 2), quiénes propusieron un método sistemático y explícito para mejorar la comunicación, e informar a los usuarios de guías acerca de qué tanta confianza pueden tener en las recomendaciones que las guías proveen(2). 2. Cuáles son los principios básicos detrás de GRADE? El sistema GRADE propone una serie de pasos secuenciales, que al ser completados permiten hacer una evaluación sobre la fuerza de una recomendación(2). Para desarrollar estas etapas deben participar todos los miembros del panel de la guía, en particular un metodólogo con entrenamiento en el sistema GRADE. Los pasos a seguir son: 1. Formulación de las preguntas que la guía va a responder: Las preguntas deben ser desarrolladas por el panel de la guía, con la ayuda del metodólogo. Para formular las preguntas se utilizan los principios estudiados en la Unidad 4 (LINK a figura 7.1, ver archivo Word adjunto). 2. Selección de desenlaces: Esta etapa se realiza al momento de formular las preguntas, también siguiendo los principios estudiados en la Unidad 4. 3. Determinación de la importancia relativa de los desenlaces: El sistema GRADE requiere que quienes harán las recomendaciones clasifiquen la importancia de los desenlaces de acuerdo a qué tan relevantes son éstos para hacer una recomendación. Los desenlaces se

clasifican como críticos, importantes pero no críticos y no importantes. Es recomendable también que todos quiénes se verán afectados por la recomendación puedan dar su opinión respecto a la importancia de los desenlaces(3). 4. Identificación de la evidencia existente para cada pregunta: Los desarrolladores de la guía deben buscar revisiones sistemáticas existentes, o en su defecto, hacer revisiones sistemáticas o actualizar las revisiones sistemáticas detectadas si es necesario. La información obtenida en este proceso será la base de las recomendaciones(3). 5. Evaluación de la calidad de la evidencia: Luego es necesario hacer un juicio sobre la calidad de la evidencia colectada. Utilizando los principios que serán descritos en detalle en la Unidad 8, la calidad de la evidencia es clasificada como alta, moderada, baja o muy baja. Esta evaluación se realiza para cada uno de los desenlaces y en general. 6. Determinación de la dirección y la magnitud de las recomendaciones: Considerando la calidad de la evidencia, el balance entre los beneficios y riesgos, los valores y preferencias de los pacientes y los recursos, se decide la dirección de la recomendación (a favor o en contra de la intervención) y su fuerza (condicional o fuerte)(4). Esto se discutirá con detalles en la Unidad 11. Las principales ventajas del sistema GRADE por sobre los otros sistemas para formular y graduar recomendaciones son(3): - Separación clara entre la calidad de la evidencia y la fuerza de las recomendaciones: a diferencia de otros métodos, que hacen equivalente la calidad de la evidencia y la fuerza o grado de recomendación, el sistema GRADE permite hacer una separación entre estos dos factores, pudiendo obtenerse una recomendación fuerte en base a estudios observacionales o una recomendación débil en base a ensayos clínicos, cuando corresponda. - Criterios explícitos para evaluar la calidad de la evidencia: Tal como se verá en la Unidad 8, el sistema GRADE propone criterios explícitos para determinar si la evidencia es de alta, moderada, baja o muy baja calidad. La evaluación de la evidencia considera muchos más factores que sólo el tipo de diseño de estudio clínico.

- Consideración de los valores y preferencias de los pacientes: El sistema GRADE no sólo considera la evidencia y su calidad para formular una recomendación, sino que también aspectos tan relevantes como los valores y preferencias de quiénes se verán afectados por esta recomendación. - Transparencia para ir de la evidencia a las recomendaciones: El sistema GRADE provee un marco conceptual para incorporar todos los aspectos relevantes que deben considerarse para formular una recomendación. Además, provee herramientas para que el desarrollo y la documentación de este proceso sea lo más transparente posible. 4. Por qué crear tablas de resúmenes de hallazgos y perfiles de evidencia? Luego de identificar la evidencia y evaluar su calidad, es necesario presentar esta información al panel de la guía, quienes la utilizarán como base para formular una recomendación clínica. Por lo general, las guías responden varias preguntas. Además, tal cómo se ha visto anteriormente, para cada pregunta se deben considerar todos los desenlaces importantes. Esto tiene como consecuencia que la evidencia recolectada más la evaluación de la calidad de esta evidencia conformen un cuerpo de información extenso. Si bien es necesario que todos los miembros del panel de la guía estén familiarizados con esta evidencia, es poco realista pensar que pueden hacer una revisión de toda esta evidencia en detalle. Mas aún, se debe considerar que algunos de los miembros del panel, como por ejemplo los representantes de los pacientes, no tienen la formación suficiente como para entender la información presentada en una revisión sistemática. Por otra parte, es necesario rescatar los puntos más relevantes presentados en estos documentos y tenerlos disponibles mientras se formulan las recomendaciones, de una manera accesible. Para lidiar con estos desafíos, el grupo de trabajo GRADE ha desarrollado dos métodos específicos para presentar la evidencia recolectada y la evaluación de su calidad: las tablas de resumen de hallazgos y los perfiles de evidencia(4). 5. Cuál es el formato general de las tablas de resumen de hallazgos y perfiles de evidencia? Las tablas de resumen de hallazgos y los perfiles de evidencia son las dos herramientas que el sistema GRADE propone utilizar para resumir la evidencia y la evaluación de su calidad.

Las tablas de resumen de hallazgos muestran la información fundamental que se necesita para tomar una decisión clínica o de políticas públicas. Estas tablas pueden ser usadas para resumir la evidencia de una revisión sistemática o de una guía, y en el contexto de esta última, provee también un resumen de la información clave detrás de una recomendación. Por su parte, los perfiles de evidencia muestra la información de una tabla de resumen de hallazgos más un detalle de los juicios de cada uno de los factores que se consideran en la evaluación de la calidad de la evidencia(4). Tablas de resumen de hallazgos Las tablas de resumen de hallazgos se componen de 5 partes fundamentales: la pregunta (PIC), los desenlaces, los resultados que provee la evidencia, la calidad de la evidencia, y los comentarios y notas al pie(5). La figura 7.1 (LINK a figura 7.1, ver archivo Word adjunto) muestra una tabla de resumen de hallazgos sobre el uso de probióticos como tratamiento coadyuvante para prevenir diarreas en niños bajo tratamiento antibiótico(6). a. Información sobre la pregunta: En el encabezado de la tabla se detallan los componentes de la pregunta. En esta sección se describe la información de los pacientes o participantes, contexto (por ejemplo clínico), intervención y comparación. La figura 7.2 muestra el encabezado de una tabla de resumen de hallazgos Figura 7.2: Encabezado de una tabla de resumen de hallazgos. En esta sección se encuentra la descripción de los pacientes, intervención, comparación y contexto b. Desenlaces: Esta sección de la tabla completa la formulación de la pregunta. En esta sección se deben listar todos los desenlaces importantes para los pacientes o población. En el contexto de una guía, estos son los desenlaces que se escogieron al momento de formular las preguntas, haya o no haya evidencia respecto a ellos. En algunos casos es importante agregar un poco de detalle para describir los desenlaces, como por ejemplo, la escala utilizada para medirlos. Se recomienda que no se describan más de 7

desenlaces. La figura 7.3 muestra la columna de los desenlaces en una tabla de resumen de hallazgos. Figura 7.3: Columna de desenlaces de una tabla de resumen de hallazgos. Se muestra que en algunos casos se detalla información importante y se incluye el periodo de seguimiento de los estudios. c. Resultados: Esta sección provee información sobre los efectos absolutos (por separado para los pacientes que reciben la intervención y el grupo control) y relativos de la intervención con sus respectivos intervalos de confianza, y el número de pacientes y estudios que contribuyeron en el meta-análisis para obtener estos resultados. La figura 7.4 muestra la sección de resultados de una tabla de resumen de hallazgos. Figura 7.4: Columnas que muestran los resultados de una tabla de resumen de hallazgos. El rectángulo rojo destaca los efectos absolutos, que se muestran por separado para el grupo control y para los pacientes que recibieron la intervención. El rectángulo verde muestra los estimadores del efecto relativo de la intervención y su intervalo de confianza. El rectángulo azul muestra el número de pacientes y estudios en base a los que se calcularon los resultados mostrados.

d. Calidad de la evidencia: Esta columna muestra el resultado de la evaluación de la calidad de la evidencia utilizando el sistema GRADE. La figura 7.5 muestra esta columna. Figura 7.5: Resultados de la evaluación de la calidad de la evidencia en una tabla de resumen de hallazgos

e. Comentarios y notas al pie: Los comentarios se encuentran en la última columna a la derecha de la tabla. En ellos se puede detallar cualquier información que se considere relevante y que no haya podido ser incluida en las columnas anteriores, como por ejemplo, mayor información sobre los desenlaces. Por otra parte, las notas al pie cumplen la función de clarificar aspectos sobre la información entregada en la tabla. Esta información puede incluir, pero no está limitada a cómo se calculó el riesgo basal del grupo control, razones por las que algún estimador de efecto no pudo ser obtenido, principales razones por las que la calidad de la evidencia fue evaluada de alguna manera, etc. Cada una de las notas al pie va ligada a la sección específica de la tabla que está tratando de clarificar, mediante un número o una letra. Perfiles de evidencia Los perfiles de evidencia se componen de tres partes principales: la pregunta, la evaluación de la calidad de la evidencia y el resumen de hallazgos. Tal como en la tabla de resumen de hallazgos, la evaluación de la calidad de la evidencia y el resumen de los hallazgos se describe por desenlace. La figura 7.6 (LINK a figura 7.6, ver archivo Word adjunto) muestra un perfil de evidencia sobre el uso de crioterapia o conización en mujeres con neoplasia intraepitelial cervical confirmada histológicamente. Este ejemplo está adaptado del ejemplo presentado en los módulos de aprendizaje en línea sobre el desarrollo de GPC de la Universidad McMaster(7). a. Pregunta: En el encabezado del perfil de evidencia se explicita la pregunta para la que se está presentando la evidencia. Esta pregunta está compuesta por los pacientes o participantes, intervención y comparación. b. Evaluación de la calidad de la evidencia: Esta sección del perfil de evidencia muestra cómo fue evaluado cada uno de los criterios considerados fundamentales para este fin, y que serán vistos con detalle en la unidad 8. La primera columna muestra el número de estudios que proveen evidencia para cada uno de los desenlaces. Cada columna subsiguiente es uno de los criterios, y al final se encuentra la evaluación general de la calidad de la evidencia. Si es que hay más de un tipo de diseño de estudio clínico contribuyendo con evidencia para el desenlace, esta evidencia se evalúa y presenta por separado, bajo la evaluación del mismo desenlace, pero en una fila distinta. Además, se agrega una columna al lado del número de estudios para identificar a qué diseño de estudio corresponde la evaluación. La figura 7.7 muestra la

sección de evaluación de la calidad de la evidencia de un perfil de evidencia. Figura 7.7: Sección de evaluación de la calidad de la evidencia de un perfil de evidencia. EL rectángulo rojo muestra la columna que describe el número de estudios que contribuyen con evidencia para cada uno de los desenlaces. El rectángulo verde muestra cinco columnas, cada una de ellas corresponde al juicio hecho para cada uno de los criterios considerados en la evaluación de la calidad de la evidencia. El rectángulo azul muestra el resultado de la evaluación de la calidad de la evidencia en general, por desenlace, combinando los criterios anteriores. Se puede observar además los desenlaces y su periodo de seguimiento y/o más detalles sobre su medición en las filas con fondo gris. c. Resumen de hallazgos: Esta sección tiene columnas que muestran información sobre el número de pacientes con los que se obtuvo la evidencia, los estimadores del efecto de tratamiento, y la importancia del desenlace evaluado. El número de pacientes muestra cuántos pacientes por grupo tuvieron el desenlace de interés, el total de pacientes que recibieron la intervención, y el porcentaje de pacientes con el desenlace, por grupo. En la columna de estimadores de efecto de tratamiento se detallan los estimadores relativos y absolutos, con sus respectivos intervalos de confianza. Finalmente, la columna de importancia muestra si el desenlace fue clasificado por el panel como crítico, importante o no importante para la toma de decisiones. La figura 7.8 muestra la sección de resumen de hallazgos de un perfil de evidencia.

Figura 7.8: sección de resumen de hallazgos de un perfil de evidencia. El rectángulo rojo muestra la columna del número de pacientes, en la que se detalla cuántos eventos (pacientes con el desenlace), cuántos pacientes y el porcentaje de eventos en cada uno de los grupos de pacientes. El rectángulo verde muestra los estimadores de los efectos relativos y absolutos de las intervenciones que se están comparando. El rectángulo azul muestra la importancia relativa de cada uno de los desenlaces, clasificados por el panel de la guía, de acuerdo al sistema GRADE. Al igual que en las tablas de resumen de hallazgos, en los perfiles de evidencia de deben agregar notas al pié clarificando toda aquella información que lo requiera. Tanto las tablas de resumen de hallazgo como los perfiles de evidencia se pueden hacer utilizando el programa computacional GRADEprofiler (GRADEpro)(8). Este programa está disponible para descargar gratis de Internet (http://www.gradepro.org/main.html) 5. Cómo elegir la comparación a mostrar en las tablas de resumen de hallazgos y/o perfiles de evidencia? De acuerdo a los principios de GRADE, se recomienda elegir una comparación para presentar en las tablas de resumen de hallazgos o perfiles de evidencia. Esto quiere decir, un tratamiento versus un control (cualquiera sea el control), en una población y en un punto del tiempo(9). La elección de la comparación a elegir depende del propósito de la síntesis de

evidencia que se quiera presentar. En un contexto amplio, será posible encontrar evidencia para muchas comparaciones, poblaciones, desenlaces y tiempos de seguimiento. En el contexto de una guía, la comparación a mostrar es aquella que responde específicamente a la pregunta formulada por el panel de la guía en las etapas previas, es decir, aquella más relevante para la toma de decisiones, sin importar que exista mayor cantidad de evidencia para otras comparaciones. 6. Cómo incluir diferentes poblaciones de interés en las tablas de resumen de hallazgos y/o perfiles de evidencia? Si es que la evidencia sugiere que las intervenciones de interés tienen distintos efectos dependiendo de las características de la población a las que son aplicadas, y el panel de la guía considera necesario hacer recomendaciones distintas para cada uno de estos grupos de pacientes, es necesario sintetizar la evidencia para cada uno de estos subgrupos de interés. Si es que la evidencia sugiere que los efectos de las intervenciones son distintos en los subgrupos de pacientes o participantes en la mayoría de los desenlaces, es recomendable hacer una tabla de resumen de hallazgos o perfil de evidencia separado para cada subgrupo. Por otra parte, si hay diferencia sólo en uno o dos de los desenlace, se pueden incluir más filas en la tabla de resumen de hallazgos o perfil de evidencia para presentar la información de los subgrupos dentro de la misma tabla(9). En algunos casos, en vez de agregar más filas para un subgrupo de pacientes, puede escogerse el subgrupo de mayor interés para la toma de decisiones y formulación de recomendaciones, y detallar en los comentarios o notas al pié las diferencias en los efectos de las intervenciones en los otros subgrupos. 7. Cómo elegir los desenlaces a mostrar en las tablas de resumen de hallazgos y/o perfiles de evidencia? Los desenlaces que se muestran en las tablas de síntesis de la evidencia son todos aquellos que el panel desarrollador de la guía considera necesarios para la toma de decisiones y formulación de recomendaciones. Esto implica que tanto los desenlaces que reflejan beneficios como riesgos de una intervención deben ser incluidos. Otros desenlaces como la aceptación de una intervención también pueden ser relevantes. Si existen desenlaces para los que no se encontró evidencia, estos deben incluirse en la tabla y se debe detallar que no hay evidencia disponible(9). Actividad 7.1 A continuación se presenta una tabla de resumen de hallazgos de una revisión sistemática Cochrane. Realice las siguientes actividades: 1. Complete los recuadros en blanco con los encabezados de cada una de las columnas de la tabla

2. Los desenlaces en esta tabla se encuentran ordenados aleatoriamente. Haga un ranking de los desenlaces, clasificándolos de acuerdo a su importancia relativa, desde el punto de vista de los pacientes y su relevancia para la toma de decisiones en una escala de 1 a 9, en donde 1 es un desenlace no importante, y 9 un desenlace crítico. Luego, agrúpelos en desenlaces críticos (aquellos con puntaje de 7 a 9), importantes (puntaje de 4 a 6), y no importantes (1 a 3). Complete las respuestas de los puntos anteriores en un archivo de texto y súbalo en la sección Tareas 7.1

1. Guyatt GH, Oxman AD, Kunz R, Vist GE, Falck-Ytter Y, Schunemann HJ. What is "quality of evidence" and why is it important to clinicians? Bmj. 2008 May 3;336(7651):995-8. 2. Atkins D, Best D, Briss PA, Eccles M, Falck-Ytter Y, Flottorp S, et al. Grading quality of evidence and strength of recommendations. Bmj. 2004 Jun 19;328(7454):1490. 3. Brozek JL, Akl EA, Alonso-Coello P, Lang D, Jaeschke R, Williams JW, et al. Grading quality of evidence and strength of recommendations in clinical practice guidelines. Part 1 of 3. An overview of the GRADE approach and grading quality of evidence about interventions. Allergy. 2009 May;64(5):669-77. 4. Guyatt G, Oxman AD, Akl EA, Kunz R, Vist G, Brozek J, et al. GRADE guidelines: 1. Introduction-GRADE evidence profiles and summary of findings tables. J Clin Epidemiol. 2011 Apr;64(4):383-94. 5. Schünemann H, Santesso N. The GRADE approach and summary of findings tables: Introduction. McMaster University; 2010 [cited 2012 October, 29]; Available from: http://cebgrade.mcmaster.ca. 6. Johnston BC, Goldenberg JZ, Vandvik PO, Sun X, Guyatt GH. Probiotics for the prevention of pediatric antibioticassociated diarrhea. Cochrane Database Syst Rev. 2011(11):CD004827. 7. Schünemann H, Santesso N. The GRADE approach- Online learning modules for guideline development at WHO. McMaster University; 2010 [cited 2012 October, 29]; Available from: http://cebgrade.mcmaster.ca. 8. GRADEprofiler. 3.2 ed: GRADE working group, McMaster University; 2012. 9. Schünemann H, Santesso N. The GRADE approach - Choosing a comparison and outcomes. McMaster University; 2010 [cited 2012 October, 29]; Available from: http://cebgrade.mcmaster.ca.