Dra. Victoria Wurcel Lic. Giselle Balaciano
Calidad de una GPC Confianza en que los sesgos potenciales del desarrollo de la guía han sido señalados de forma adecuada. Las recomendaciones son válidas tanto interna como externamente, y se pueden llevar a la práctica 3. Valorar beneficios, daños, costos y aplicabilidad de las recomendaciones 3. Utilizar una sistemática específica validada en la generación de una GPC nueva. Evaluar una GPC ya existente mediante la misma sistemática para decidir adaptarla al contexto local. 3 Colaboración AGREE. OSTEBA.Evaluación de GPC.Instrumento AGREE.2001.
Instrumento AGREE Instrumento para la evaluación e investigación de la calidad de las GPC (Appraisal of Guidelines Research and Evaluation) Valora de forma objetiva la calidad de la evidencia sobre la cual se basa la GPC. Valora el proceso de armado de la GPC y las recomendaciones. Elaborado por investigadores de varios países que tienen amplia experiencia y conocimiento sobre guías de práctica clínica.
Concepto base Debe estar explícito el nexo entre cada recomendación y la evidencia científica que la sostiene. La evidencia científica y el juicio clínico deben anteponerse a las opiniones de expertos 4. 4 Scottish Intercollegiate Guideline Network. SIGN 50.A guideline developers handbook.jan. 2008.
Por qué evaluar guías? Una guía es una forma de intervención sanitaria Puede afectar a una gran cantidad de pacientes. Los usuarios de las guías necesitan tener confianza en sus recomendaciones Los grupos profesionales y organismos oficiales deben asegurar que las guías son confiables antes de recomendarlas.
Por qué la colaboración internacional? Las GPC s juegan un papel cada vez más importante en la práctica clínica de la mayoría de los países. Asegurar su calidad es una preocupación compartida. Es necesaria un acuerdo internacional para la elaboración de GPC s. El conjunto es superior a la suma de sus partes.
Antecedentes Desarrollo en R.U. Instrumento de evaluación desarrollado y validado en R.U. (financiado por el programa nacional de I+D) Usado en R.U., Europa y Canadá. Financiación de la U.E. Financiación obtenida del 4º Programa Marco de la U.E. para tres años (1998-2001)
LA COLABORACIÓN AGREE FINLANDIA ESCOCIA INGLATERRA & GALES HOLANDA DINAMARCA ALEMANIA ESPAÑA FRANCIA SUIZA ITALIA EEUU Canada Nueva Zelanda
Objetivos Desarrollar aproximaciones compatibles para la elaboración de GPC s. Establecer un modelo para la evaluación y monitorización de las GPC s. Definir criterios de calidad relevantes para las guías. Promover y estimular la difusión de esos criterios mediante intercambios y relaciones de colaboración.
Propósito del Instrumento AGREE Aportar un marco sistemático para la evaluación de la calidad de las GPC s. Ayudar a quienes elaboran guías a seguir una metodología estructurada y sistemática. Ayudar a los proveedores de cuidados de salud a evaluar guías antes de adoptar sus recomendaciones en la práctica clínica. Ayudar a los decisores de diferentes niveles y organismos a recomendar guías para su uso en la práctica.
Definición de Calidad Se entiende por calidad de una GPC, cuando: hay confianza en que se han evitado los sesgos potenciales producidos en su desarrollo y las recomendaciones son válidas interna y externamente y son útiles para la práctica clínica.
Proceso de desarrollo Subgrupo de revisión de literatura Circulación del primer borrador para comentarios Primera reunión de trabajo: modificación del instrumento Primer estudio de validación Segunda reunión de trabajo: revisión del instrumento Estudio de validación final
Proceso de Validación (1) Fase 1 El instrumento fue aplicado a 100 guías de 11 países Todos los países siguieron el mismo protocolo Cada guía fue evaluada independientemente por cuatro evaluadores (194 en total) El instrumento fue utilizado en inglés
Proceso de Validación (2) Fase 2 El instrumento refinado fue testado en 33 guías seleccionadas aleatoriamente del primer estudio Participaron los mismos países Se reclutó un nuevo grupo de evaluadores (70) Cada país evaluó 3 guías
Resultados El tiempo medio de evaluación (leer y completar el instrumento) fue de 1,5 horas. Tras el análisis de componentes principales la versión final del instrumento refinado contuvo 23 ítems en 6 áreas. La fiabilidad fue satisfactoria para cada área: - Cronbach s Alpha 0.64-0.88 - ICC 0.57-0.91 El instrumento fue útil para un 95% y la guía de uso para un 98% de los evaluadores Mejores resultados con mayor nº de evaluadores
Estructura 23 criterios Escala de 4 puntos de Lickert Evaluación global Guía del Usuario Seis áreas Alcance y Objetivo (3) Participación de los implicados (4) Rigor en la elaboración (7) Claridad y presentación (4) Aplicabilidad (3) Independencia editorial (2)
Instrumento AGREE A cada ítem se le puede asignar un puntaje 4 Muy de acuerdo 1 Muy en desacuerdo A mayor valor, más probabilidades de que sea seleccionada la guia, por su mayor puntaje
Alcance y objetivo (3) 1. Los objetivos generales de la guía están específicamente descritos. 2. Los aspectos clínicos están específicamente descritos 3. Los pacientes a quienes se pretende aplicar la guía están específicamente descritos
Participación de los implicados (4) 4. El grupo de desarrollo incluye todas las profesiones relevantes 5. Se han tenido en cuenta los puntos de vista y preferencias de los pacientes 6. Los usuarios diana de la guía están claramente definidos 7. La guía ha sido probada por los usuarios finales.
Rigor en la elaboración (7) 8. Se han utilizado métodos sistemáticos para la búsqueda de la evidencia 9. Se han descrito con claridad los criterios para seleccionar la evidencia 10. Los métodos para formular recomendaciones están claramente descritos
Rigor en la elaboración (7) 11. Al formular las recomendaciones se han tenido en cuenta los beneficios, los efectos secundarios y los riesgos 12. Relación explícita entre las recomendaciones y las evidencias en que se basan 13. La guía ha sido revisada por expertos externos antes de su publicación 14. Se incluye un procedimiento para actualizar la guía
Claridad y presentación (4) 15. Las recomendaciones son específicas y no son ambiguas 16. Las distintas opciones de manejo están claramente presentadas 17. Las recomendaciones clave son fácilmente identificables 18. La guía se apoya en herramientas para su aplicación
Aplicabilidad (3) 19. Se han discutido las barreras potenciales a la hora de aplicar las recomendaciones. 20. Han sido considerados los costes potenciales de la aplicación de las recomendaciones. 21 La guía ofrece una relación de criterios clave con el fin de realizar monitorización y/o auditoría.
Independencia editorial (2) 22. La guía es editorialmente independiente de la entidad financiadora 23. Se han registrado los conflictos de los intereses de los miembros del grupo de elaboración.
Puntuación de las áreas: Las puntuaciones de las distintas áreas pueden calcularse sumando todos los puntos de los ítems individuales de un área y estandarizando el total, como porcentaje sobre la máxima puntuación posible de ése área. Ejemplo: 4 evaluadores dan las siguientes puntuaciones a los ítems del área 1, Alcance y objetivo Ítem 1 Ítem 2 Ítem 3 Total Evaluador 1 2 3 3 8 Evaluador 2 3 3 4 10 Evaluador 3 2 4 3 9 Evaluador 4 2 3 4 9 Total 9 13 14 36 Máxima puntuación posible = 4 (Muy de acuerdo) x 3 (ítems) x 4 (evaluadores) = 48 Mínima puntuación posible = 1 (Muy en desacuerdo) x 3 (ítems) x 4 (evaluadores) = 12 La puntuación estandarizada del área será: Puntuación obtenida mínima puntuación posible 36-12 24 = = = 0,67 Máxima puntuación posible mínima puntuación posible 48-12 36 Nota: Las puntuaciones de las seis áreas son independientes y no deben ser agregadas en una única puntuación de calidad.
Cálculo de la puntuación de las áreas La puntuación estandarizada del Área en una guía se calcula: sumando todas las puntuaciones de los criterios individuales de un Área y estandarizando el total como un porcentaje de la máxima puntuación posible en ese Área.
Ejemplo de puntuación de un área (1) Criterio 1 Criterio 2 Criterio 3 Total Evaluador 1 2 3 3 8 Evaluador 2 3 3 4 10 Evaluador 3 2 4 3 9 Evaluador 4 2 3 4 9 Total 9 13 14 36 Max. punt. posible =4(muy de acuerdo)x 3(criterios)x4(evaluadores)= 48 Min. Punt. posible = 1(muy en desacuerdo)x3(criterios)x4(evaluadores)= 12
Ejemplo de puntuación de un área (2) La puntuación estandarizada del área será: Puntuación obtenida mínima puntuación posible Máxima puntuación posible mínima puntuación posible 36-12 24 = = x 100 = 67% 48-12 36
Instrumento AGREE Puntajes estandarizado Puntaje real / Puntaje ideal = 63% Cuanto más cercano a 100% mejor es el puntaje para la GPC.
Instrucciones para la evaluación global Balance entre: Los criterios AGREE que evalúan principalmente la calidad en la elaboración y en la publicación de la GPC Y El contenido clínico de las recomendaciones aplicadas al contexto local y su impacto en los resultados en pacientes Puede ser interpretado como un juicio ponderado entre el rigor científico de proceso de elaboración y las consideraciones prácticas de su aplicación
Guía para la evaluación global Muy recomendada: Cuando la guía puntúa alto (3 a 4) la mayoría de los ítems y la mayoría de las puntuaciones de las áreas son superiores a 60. Esto indica que la guía tiene una alta calidad general y que podría ser considerada para su uso en la práctica sin tener que modificarla.
Guía para la evaluación global Recomendada (con condiciones o modificaciones): La guía puntúa alto (3 a 4) o bajo (1 o 2) en un número similar de ítems y la mayoría de las puntuaciones de las áreas se encuentran entre 30 y 60%. Esto indica que la guía tiene una moderada calidad general. (Podría ser debido a una insuficiente información sobre los ítems). Se considera que introduciendo algunas modificaciones siempre que la información sobre el método de elaboración esté bien descrito esta guía podría ser considerada para su uso, especialmente cuando no hay otras disponibles sobre el mismo contenido clínico.
Guía para la evaluación global No recomendada: La guía puntúa bajo (1 o 2) en la mayoría de los ítems y la mayoría de las puntuaciones de las áreas son inferiores a 30%. Esto indica que la guía tiene una baja calidad general y serias deficiencias. Por tanto no debería ser recomendada para su uso en la práctica.
Evaluación global No agregar las puntuaciones de las seis áreas en una única puntuación de calidad! Tomar en cuenta cada uno de los criterios de evaluación. Naturalmente, usar el sentido común!
Instrumento AGREE Puntajes estandarizado Al ser una puntuación estandarizada nos permite comparar este puntaje con el puntaje obtenido en otra GPC sobre el mismo tema.
Conclusiones AGREE es el primer instrumento de evaluación para GPC s que ha sido desarrollado y testado internacionalmente Puede ser usado consistentemente por un amplio rango de profesionales que procedan de diferentes entornos culturales. Para cada Guía son necesarios varios evaluadores.
Diseminación El Instrumento AGREE ha sido traducido a 7 idiomas. La UE ha propuesto que todos los proyectos financiados evalúen las GPC s con el Instrumento AGREE. La OMS ha suscrito el Instrumento AGREE. El Consejo de Europa ha recomendado formalmente su uso.
Diseminación Osteba ha sido responsable de la traducción y edición al español. El AGREE trust gestiona la web de AGREE: http://www.agreetrust.org Se ha recibido financiación adicional de la UE para diseminar el Instrumento AGREE en 22 países Europeos. Se ha establecido la International Guidelines Network (GIN): www.g-i-n.org Pautas para la incorporación de GPC al PNGCAM
Recomendaciones
calidad de la evidencia La jerarquía de la evidencia científica para cuestiones terapéuticas alta Revisiones sistemáticas / Meta-análisis Ensayos Clínicos Aleatorizados Revisiones sistemáticas de estudios observacionales Estudios controlados no aleatorizados Estudios de cohorte baja Casos-controles Est. de corte transversal / Serie de casos/ ecológicos Serie de casos Estudios fisiológicos / Observaciones no sistemáticas
Niveles de Evidencias:Protección de Sesgos Ia: evidencia desde meta-análisis de ICCAs Ib: evidencia desde al menos una ICCA IIa: evidencia desde al menos un ensayo clínico controlado no aleatorizado (cohorte prospectiva) IIb: evidencia desde al menos un ensayo clínico cuasialeatorizado III: evidencia desde estudios observacionales (casocontrol, comparativos, descriptivos y de correlación) IV: evidencia generada en comités de expertos, opiniones, experiencia clínica no controlada
Graduación de la Evidencia Niveles de Evidencias Nivel de Evidencia Basada en evidencias de Nivel I Grado de Recomendación A Basada en evidencias Nivel II o extrapolada de la anterior Basada en evidencias Nivel III o extrapolada de las anteriores B C Basada en evidencias Nivel IV o extrapolada de las anteriores D
Graduación de la Evidencia Grado de recomendación A B Nivel de evidencia 1a 1b 2a 2b 3a 3b Intervenciones Revisión sistemática de RCTs Un ensayo randomizado controlado Revisión sistemática de cohortes Cohorte individual Revisión sistemática de estudios casocontrol Caso-control individual C 4 Series de casos D 5 Opinión de expertos sin análisis crítico
Dra. Victoria Wurcel Lic. Giselle Balaciano dcsss@msal.gov.ar