Nota informativa 2. Intervenciones para fortalecer los sistemas de salud: Argumentos en favor de la evaluación de los efectos de una intervención

Transcripción

1 Intervenciones para fortalecer los sistemas de salud: Argumentos en favor de la evaluación de los efectos de una intervención JUNIO DE 2007 Dadas las graves consecuencias del fracaso de los sistemas de salud en términos de morbilidad y mortalidad en el Alianza para la Investigación en Políticas y Sistemas de Salud Nota informativa 2 Alianza para la investigación en políticas y sistemas de salud mundo, la inversión en intervenciones de las cuales se desconoce el efecto, destinadas a fortalecer el sistema de salud, requiere de la inversión simultánea en la evaluación de los efectos de esas intervenciones, para determinar cuáles son eficaces. Los ensayos aleatorizados y controlados son el método de referencia para determinar la efi cacia de los fármacos y las tecnologías médicas. Se exigen datos sumamente sólidos antes de utilizar la tecnología e incluso los cosméticos. En cambio, las intervenciones en los sistemas de salud a menudo se realizan sobre la base de conceptos teóricos de posible efi cacia y no sobre la base de datos reales. En los países de ingresos bajos, se pierde una cantidad enorme de vidas a causa de la persistente debilidad de los sistemas de salud, que obstaculiza el desempeño y la adquisición de capacidad, e impide las mejoras duraderas de la cobertura y los resultados sanitarios. 1 Dadas las graves consecuencias del fracaso de los sistemas de salud en términos de morbilidad y mortalidad en el mundo, la inversión en proyectos a gran escala destinados a fortalecer los sistemas de salud requiere de una inversión simultánea en la evaluación de las repercusiones, para determinar cuáles son efi caces. Sin embargo, y por distintas razones, es difícil generar conocimiento sobre el tipo de programas que son realmente efi caces. Hay pocos incentivos para realizar investigaciones y evaluaciones, para los gobiernos, los donantes bilaterales y multilaterales y los organismos de ayuda; en muchos casos existen obstáculos políticos y fi nancieros, y escasea la capacidad técnica necesaria para determinar las repercusiones mediante la evaluación rigurosa y el análisis de los datos. Esta nota informativa se refi ere a la evaluación de las repercusiones, defi nida como la evaluación del cambio causado por una intervención. Es diferente de las evaluaciones formativas y de proceso, cuyo objetivo es proporcionar elementos para mejorar el desempeño y la aplicación (Recuadro 1). En esta nota informativa: Se analizan las intervenciones destinadas a fortalecer los sistemas de salud y se ilustra la falta de conocimientos sobre cuáles son eficaces; Se explica por qué los datos administrativos rutinarios sobre el desempeño de un programa a veces son insuficientes para evaluar su repercusión: Se discuten las prácticas óptimas para mejorar la calidad y solidez de las evaluaciones de los efectos de las intervenciones; Se realizan sugerencias a los gobiernos de los países en desarrollo y a los donantes, dirigidas a promover la evaluación de las repercusiones de los programas y el fortalecimiento de los sistemas de salud basado en datos científicos.

2 Intervenciones para fortalecer los sistemas Argumentos en favor de la RECUADRO 1 Qué significa...? Evaluación: Determinación sistemática del valor, el mérito, la relevancia, la calidad, o la situación actual de una intervención, un producto, una persona, una política, una propuesta o un plan. Evaluación formativa: Evaluación que tiene lugar durante una intervención, y proporciona elementos para mejorarla. En esta nota informativa, las intervenciones destinadas a fortalecer los sistemas de salud se defi nen como aquellas que abordan los obstáculos y limitaciones en diferentes niveles del sistema salud, con el objetivo general de mejorar los resultados sanitarios. En el Recuadro 2 se mencionan algunos de los obstáculos más comúnmente encontrados en los distintos niveles del sistema de salud. En el nivel central, un obstáculo frecuente es la escasa prioridad de la salud, que surge de los bajos niveles de gasto público como porcentaje del PNB. En los ministerios de salud, los inadecuados salarios de los agentes de salud o las limitaciones relacionadas con estructuras administrativas infl exibles pueden limitar la retención y motivación del personal califi cado. En las administraciones regionales o locales de la salud, los obstáculos relacionados con los recursos, como la irregularidad en la llegada de fondos o la escasez de personal califi cado, pueden conspirar contra el desempeño del sistema de salud. En el nivel de las instalaciones, los agentes de salud a veces no conocen las directrices clínicas o simplemente no logran ponerlas en práctica por falta de incentivos en el sistema organizativo o fi nanciero. Las familias algunas veces no demandan atención preventiva porque no la consideran útil o por la baja calidad de los servicios. Es posible, además, que recurran a prestadores informales que no cumplen con las normas mínimas, porque es más fácil acceder a ellos, por razones de privacidad o porque perciben que su calidad es superior. Estos problemas se observan en diferentes contextos, tanto en países en desarrollo como en países desarrollados. Evaluación del proceso: Evaluación de las actividades y hechos que se producen durante la aplicación de una intervención. Evaluación de las repercusiones: Evaluación de los cambios (positivos o negativos, buscados o no) causados por una intervención. Evaluación prospectiva: Evaluación que se planea antes o al mismo tiempo que se planifica una intervención. Evaluación retrospectiva: Evaluación que se realiza después de que se ha aplicado o completado una intervención. Fuente: Adaptado por los autores de: Conner Snibe, A. Drowning in Data, Stanford Scial Innovation Review Fall 2006: Baker J, Evaluating the Impact of Development Projects on Poverty, The World Bank 2000; European Environmental Protection Agenda glossary. Falta de datos para las intervenciones destinadas a fortalecer los sistemas de salud: un ejemplo de formación en el servicio En la última columna del Recuadro 2 se mencionan posibles intervenciones, algunas de las cuales se han aplicado para abordar estos obstáculos. Se examinan en detalle los datos correspondientes a una de estas intervenciones: la formación en el servicio de los agentes de salud. Se ha destinado una enorme cantidad de recursos a programas de capacitación, para mejorar distintos aspectos de la práctica del agente de salud, actualizar sus conocimientos, introducir nuevos protocolos farmacéuticos y químicos, o mejorar los informes y la gestión. Se lo ha hecho porque se reconoce que la difusión de información y guías por sí sola tiene escaso efecto en el comportamiento del agente de salud. 2 Sin embargo, una proporción muy escasa de esta capacitación se evalúa formalmente, porque por lo general se supone que la capacitación es efi caz. Ahora bien, qué muestran los datos? Una recapitulación de revisiones sistemáticas incluyó cuatro trabajos que evaluaron datos sobre capacitación de agentes de salud en países de ingresos bajos y medios. 3 Los cuatro trabajos incluían 30 estudios basados en datos sólidos, como lo indicaba su diseño (ensayos controlados y aleatorizados, evaluaciones prospectivas y retrospectivas con grupos de control, o series temporales interrumpidas). 4,5,6,7 Los autores concluyeron que los resultados de las intervenciones dirigidas a la capacitación eran variables. Las intervenciones exitosas incluían múltiples métodos de capacitación y grupos de discusión centrados en un tema. Las que tenían escasos efectos eran las didácticas tradicionales, las de una sesión y la capacitación de grupos numerosos. Los efectos de la misma intervención variaban según el contexto; por ejemplo, los talleres interactivos no tuvieron efectos relevantes en un contexto pero sí provocaron grandes cambios en otro. 2 JUNIO DE 2007

3 de salud: evaluación de los efectos de una intervención RECUADRO 2 Nivel del sistema de salud en que se observan obstáculos, tipos de obstáculos y posibles intervenciones Nivel Obstáculos más frecuentes Posible intervención dirigida a la información, la organización o la financiación Gobierno central Escasa prioridad de la salud en el desarrollo Información: estudios de costoeficacia Ministerio de Salud Bajos salarios de los agentes de salud Organización: reforma administrativa Administración de la salud Provisión irregular de fondos Escasez de personal calificado Organización/financiación: Mejora de la gestión financiera, contratación de prestadores del sector privado Organización: incentivos para retener a los agentes de salud, integración de los servicios para aprovechar mejor a los agentes de salud disponibles Instalaciones sanitarias Los agentes de salud no conocen los protocolos Los agentes de salud conocen los protocolos pero no los aplican Organización: formación en el servicio Financiación: incentivos a los agentes de salud Organización: fortalecer la supervisión Familias Escasa demanda de atención preventiva Demanda importante a prestadores de atención informales que no cumplen con las normas mínimas La baja calidad de la atención hace que no la demanden Financiación: transferencias monetarias condicionadas Información: informes sobre calidad Organización: acreditación Fuentes: Parte de la información adaptada de: K Hanson, K Ranson, V Oliveira-Cruz y A Mills Expanding Access to Health Interventions: A Framewoirk for Understanding the Constraints to Scaling Up. Journal of International Development 15(1):1-14; y también de: Barber SL, The importance of quality of care in developing countries, its measurement, and selected quality improvement programs and policies, Documento de trabajo. JUNIO DE

4 RECUADRO 3 Intervenciones para fortalecer los sistemas Argumentos en favor de la Evaluación comparativa del desempeño y la repercusión de una intervención hipotética en regiones con altos y bajos niveles de capacidad Intervención Efectos Porcentaje de la cobertura Distritos con altos niveles de capacidad Distritos con bajos niveles de capacidad Control Intervención Control Efectos 0 Datos de referencia Seguimiento Qué conclusiones se pueden extraer? Primero, tomando por ejemplo la capacitación, las revisiones sistemáticas identifi caron relativamente pocos estudios que hubieran evaluado el efecto de la intervención. En distinta medida, la falta de datos es común a las demás intervenciones mencionadas en el Recuadro 2. 8 Esto sugiere que hay importantes desniveles en la información disponible sobre los efectos de intervenciones habituales, como la capacitación, que por lo general se supone que son efi caces. Segundo, la magnitud del efecto en cuanto al desempeño y los conocimientos de los agentes de salud no fue sistemáticamente importante y una cantidad considerable de estudios de revisión informaron escasa o ninguna mejoría derivada de la capacitación, con métodos de estudio con grupos de control. Dada la inversión considerable en formación en el servicio, esto implica que los datos disponibles sobre diferentes enfoques de capacitación tal vez no se estén difundiendo efi cazmente o usando como fundamento de las decisiones relacionadas con la aplicación de intervenciones. Tercero, la capacitación de los agentes de salud puede servir para abordar defi ciencias de conocimientos teóricos y prácticos; sin embargo, hay más factores de los sistemas de salud que inciden en la motivación y el desempeño, y a su vez, en la aplicación de los protocolos clínicos. Por qué los datos habituales no son útiles para evaluar los efectos de los programas? Las preguntas de investigación referidas al desempeño y a los efectos son de tipo sumamente general. 8 Las relacionadas con el desempeño se centran en la intervención en sí (prestación, uso, cobertura). Este tipo de preguntas por lo general se pueden responder con datos administrativos que informan a los gestores de proyectos sobre las decisiones para mejorar la disponibilidad, aceptación y cobertura de una intervención dada. Las preguntas referidas a los efectos presuponen que la intervención es óptima, habitualmente dependen de métodos de recolección de datos primarios, como las encuestas domiciliarias, e informan a los gestores de proyectos, a los responsables de las políticas y a los fi nanciadores sobre la conveniencia de continuar con el proyecto o modifi carlo. Las evaluaciones formales y de buena calidad de los efectos pueden ser complejas y costosas. Por lo tanto, numerosos gestores u organizaciones fi nanciadoras simplemente solicitan al personal de salud que informe sobre los resultados relacionados con el desempeño que se recolectan rutinariamente en los sistemas de información sanitarios, como 4 JUNIO DE 2007

5 de salud: evaluación de los efectos de una intervención cobertura o uso de los servicios. Si bien este tipo de datos pueden ser un instrumento importante para supervisar el desempeño en el tiempo, el problema surge cuando se confunden los resultados con los efectos; es decir, con los cambios atribuibles a un programa determinado. Esto es especialmente importante en salud porque con bastante frecuencia los recursos de asignan selectivamente, de modo que las intervenciones se dirigen a regiones o poblaciones por razones particulares, como grandes necesidades sanitarias o escasa capacidad. Supongamos que se realizó una intervención dirigida a fortalecer un sistema de salud en una región con bajos niveles de capacidad; por ejemplo, una zona de guerra civil, una región remota incapaz de retener al personal califi cado o una zona rural con problemas de transporte y de un 22%), a pesar de que allí no hubo intervención alguna. En este ejemplo, el programa que tuvo más éxito (con los efectos más importantes) se aplicó en la región con bajos niveles de capacidad. A pesar de la caída en la cobertura, el impacto fue mayor (12%) en la región con escasa capacidad que en la región con capacidad importante (3%). Este ejemplo sirve para ilustrar varios puntos. Primero, la evaluación de intervenciones solamente sobre la base de variables de desempeño puede llevar a conclusiones erróneas, porque en los resultados pueden infl uir una cantidad de factores, entre ellos el cambio social y económico o la agitación social; los transportes o las comunicaciones, que inciden en la efi cacia de la intervención, y el comportamiento de demanda de atención sanitaria. Segundo, la utilización de los datos sobre desempeño para fundamentar decisiones relativas a la asignación de fondos puede llevar a fi nanciar los programas inadecuados. Esto se puede traducir en la fi nanciación de programas inefi caces en zonas en las que los cambios positivos se hubieran producido de todos modos, o en la falta de fi nanciación de programas efi caces que se han aplicado en zonas difíciles porque sus efectos reales nunca se determinaron. Tercero, el temor a informar resultados negativos también puede actuar como un incentivo perverso en la decisión sobre la localización de los programas. Si los gestores del programa saben que sus fondos se verán reducidos en caso de que informen resultados negativos, tienen un incentivo para ejecutar programas en zonas con altos niveles de capacidad o buenos transportes y comunicaciones, en las que pueden estar seguros de que el programa tendrá éxito. Esto signifi ca que los programas innovadores pueden no llegar a zonas de poblaciones pobres o marginadas, o a aquellos grupos que se benefi ciarían más con el fortalecimiento del sistema de salud. comunicaciones (véase el Recuadro 3). 10 Como se ilustra al pie del gráfi co, la cobertura para el grupo destinatario de la intervención en una región con escasa capacidad disminuyó alrededor de un 3%. Fracasó la intervención? Para determinar los efectos, se comparó la cobertura en la región de la intervención con la cobertura en otra región con bajos niveles de capacidad, que tenía las mismas limitaciones pero en la que no se había intervenido. En el mismo periodo, en la región de control la cobertura disminuyó en alrededor de un 15 %. En consecuencia, a pesar de la caída de la cobertura en ambas zonas, la de la intervención y la de control, el efecto de la intervención fue positivo. Los programas de salud también se localizan selectivamente a zonas en las que la capacidad de aplicación es importante, quizá porque los gestores desean que determinados programas tengan éxito o se apliquen rápidamente. Esta situación se ilustra en la parte superior del mismo gráfi co. Si bien la cobertura en la región de la intervención aumentó un 25%, también aumentó la cobertura en la región de control (alrededor Prácticas óptimas para la evaluación de las repercusiones Distintos elementos pueden mejorar la calidad y los resultados de las evaluaciones de los efectos de las intervenciones dirigidas a fortalecer los sistemas de salud: Identificación de relaciones causales, resultados y factores que inciden. Aun en las intervenciones sanitarias básicas, las relaciones causales por las que una actividad, un fármaco o una tecnología inciden en un resultado sanitario pueden ser muy complejas; para intervenciones en los sistemas de salud, como descentralización o seguros de salud comunitarios, las relaciones causales pueden ser extremadamente complejas. En consecuencia, es particularmente importante identifi car una secuencia lógica entre las intervenciones en los sistemas de salud y los resultados, para detectar las limitaciones estructurales más relevantes en el sistema de salud, además de factores de comportamiento individual que modifi can estas relaciones. JUNIO DE

6 RECUADRO 4 Intervenciones para fortalecer los sistemas Argumentos en favor de la Modelo de repercusión que delinea las relaciones causales de la intervención Atención integrada de las enfermedades prevalentes en la infancia (AIEPI), para mejorar los resultados sanitarios Introducción de la AIEPI Mejoras en el sistema de salud Capacitación de los agentes de salud Aumento de la cobertura de la capacitation* Intervenciones en la familia y la comunidad Mejora de la calidad de la atención en las instituciones Mejora en la adhesión /atención en los domicilios Aumento de la demanda y la utilización Mejora en las prácticas preventivas Aumento de la cobertura de la atención curativa y preventiva* Mejora de la salud/nutrición Reducción de la mortalidad *Agregado posteriormente a raíz de los datos de la evaluación de la atención médica/aiepi Bryce J, Victora CG, Habitch JP, Black RE, Scherbier RW; MCE-IMCI Technical Advisors. Programmatic pathways to child survival: results of a multi-country evaluation of Integrated Management of Childhood Illness. Health Policy Plan, 2005, Dec; 20 Suppl 1:i5-i17. http//heapol.oxfordjournals.org/cgi/content/abstract/20/supl_1/i5 Reproducido con autorización de Oxford University Press La evaluación multinacional de la intervención de capacitación Atención integrada de las enfermedades prevalentes en la infancia (AIEPI) es un ejemplo de modelo de efecto (Recuadro 4). El gráfi co comienza con la intervención de capacitación y lleva a un aumento de la cantidad de agentes de salud capacitados. A partir de aquí, el camino hacia la mejora de la salud exige que las mejoras en el sistema de salud, como el aumento de la disponibilidad de fármacos y suministros, conduzcan a un aumento de la calidad técnica. Para que esto tenga efectos sobre la salud, las familias deben utilizar los servicios mejorados y adherir al tratamiento médico indicado, y esto se puede promover mediante intervenciones en las familias y la comunidad. Esta combinación de intervenciones debería llevar a aumentar la cobertura de los servicios curativos y preventivos, y por lo tanto, a mejores resultados sanitarios. Sin embargo, en la práctica se observó que en muchos países las intervenciones planifi cadas en las familias y la comunidad se materializaban lentamente y que eran necesarios esfuerzos mucho mayores para fortalecer sistemas de salud debilitados. Como no se cumplieron las expectativas respecto de la mejora del sistema de salud y de las intervenciones en la comunidad, gran parte de la repercusión prevista de la AIEPI no se hizo realidad. En términos sumamente prácticos, delinear una intervención ayuda a quienes la aplicarán y a los fi nanciadores a acordar un marco conceptual para la intervención, o esbozar cuáles deberían ser los resultados. En el ejemplo de la AIEPI, permitió obtener un panorama claro sobre los resultados esperados y los caminos, y ayudó a identifi car por qué la intervención no tuvo efectos sobre la salud. También ayuda a establecer si se justifi ca una evaluación del efecto, ya que puede haber variaciones 6 JUNIO DE 2007

7 de salud: evaluación de los efectos de una intervención RECUADRO 5 Selección del método de evaluación apropiado Métodos no experimentales: Se pueden utilizar programas existentes o datos secundarios, o recolectar datos suplementarios. Con este método se obtienen los datos menos sólidos sobre la repercusión, porque en el modelo no experimental no se controlan las influencias externas sobre los resultados sanitarios, como las tendencias arraigadas, las intervenciones en el plano nacional, otras intervenciones simultáneas o la disponibilidad y calidad de los servicios de salud en general. Métodos semiexperimentales: Incluyen controles externos e intentan determinar si el proyecto ha tenido un efecto beneficioso para los individuos, las comunidades o los prestadores que participaron, respecto de aquellos que no participaron. La fortaleza de este modelo depende de hasta qué punto es posible compatibilizar los grupos de intervención y de control en cuanto a elementos clave que pueden influir en el resultado que interesa. En la práctica, es extremadamente difícil identificar todos los factores que podrían influir en los resultados para equiparar con éxito los grupos. Por lo tanto, es necesario recolectar datos sobre posibles factores de confusión y, posiblemente, más variables dependientes para asegurar la uniformidad de los hallazgos, actividades que exigen muestras más grandes y trabajo adicional de recolección de datos. Los métodos no experimentales y semiexperimentales también exigen técnicas de análisis más complejas para evaluar los efectos con precisión. Métodos experimentales: Este tercer tipo de método de evaluación incluye la conformación aleatoria de grupos que participan en el proyecto. La aleatorización es una modalidad simple para controlar los factores externos que influyen en el comportamiento y en los resultados sanitarios. Este método es el único que permite sacar conclusiones de causa y efecto. La asignación aleatoria implica que la evaluación se debe incluir en la formulación de la intervención, antes de la ejecución del programa. Se debe confeccionar una lista de comunidades o prestadores elegibles y determinar aleatoriamente los que participan primero. La aleatorización no sólo constituye un método para determinar los efectos de un programa con un grado mayor de confianza sino un modo justo de expandir un programa grande. Bryce J, Victora CG, HAbitch JP, Black RE, Scherpbier RW; MCE-IMCI Technical Advisors. Programmatic pathways to child survival: results of a multi-country evaluation of Integrated Management of Childhood Illness. Health Policy Plan, 2005, Dec; 20 Suppl 1:i5-i17. http//heapol.oxfordjournals.org/cgi/content/abstract/20/supl_1/i5 en la aplicación, y a calcular el tiempo necesario para los cambios. En caso de que el programa no haya sido aplicado en una escala que podría mejorar la calidad de la atención médica, por ejemplo, no sería necesaria una evaluación a gran escala de sus efectos en la salud. Planificación anticipada: pensar prospectivamente en la evaluación. El modo en que un programa se aplica infl uirá en el método por el que se lo evalúa. Las evaluaciones prospectivas se formulan al comienzo, al mismo tiempo que la intervención se formula y se aplica. Las evaluaciones retrospectivas, por el contrario, se realizan después de completar un proyecto. Por lo general, es más difícil realizar una evaluación de calidad de los efectos de una intervención retrospectivamente, después de haberla realizado. 11 Cuando el esquema de evaluación es prospectivo, es posible tomar en cuenta aspectos operativos de la intervención que afectan la calidad de la evaluación y la solidez de las conclusiones; por ejemplo, los mecanismos para seleccionar los destinatarios ( a quién se incluye o excluye de la intervención), si los benefi ciarios serán aleatorizados, y las características socioeconómicas de los benefi ciarios que permiten generalizar los datos a otras poblaciones del país o de otros países. Las evaluaciones prospectivas de los efectos también se pueden realizar en colaboración con quienes aplican el programa, lo que aumenta las posibilidades de que los resultados sean utilizados en la elaboración de políticas. JUNIO DE

8 Intervenciones para fortalecer los sistemas Argumentos en favor de la Compatibilizar la complejidad del método de evaluación con la información necesaria para tomar decisiones. Hay diferentes tipos de evaluaciones. La selección de un esquema depende de numerosos factores, entre ellos las necesidades relativas a los datos, los fondos y el tiempo. No obstante, en última instancia la complejidad de una evaluación debe estar de acuerdo con las necesidades de información y el nivel de conclusiones que requiere la adopción de decisiones (véase el Recuadro 5). 10 En el nivel del programa, los administradores sienten la presión de presentar resultados positivos, lo que puede hacer que localicen los programas en zonas en las que saben que tendrán éxito. Las personas con un interés fi nanciero o laboral en la continuidad de un programa pueden ser reacias a la evaluación, por temor a que ésta detecte problemas. La evaluación puede exigir que se divulgue información, y causar Garantizar la objetividad y la independencia. En los países en desarrollo, es bastante frecuente que las evaluaciones las realicen instituciones e individuos que han participado en la formulación, aplicación o fi nanciación de una intervención determinada. Probablemente, esto tiene relación con la falta de recursos humanos, la cantidad limitada de institutos de investigación nacionales y la necesidad de involucrar a personas con un conocimiento profundo sobre un contexto dado. Sin embargo, es posible que los resultados de la evaluación, aun de la más rigurosa, sean cuestionados si se percibe que los evaluadores no han sido objetivos e independientes. El problema se puede abordar de distintas maneras; por ejemplo, identifi cando y declarando los confl ictos de intereses, fortaleciendo la capacidad para la evaluación en más institutos de investigación y estableciendo un proceso de revisión técnica externo. El camino a seguir: reforzar la evaluación de los efectos de una intervención para que el fortalecimiento del sistema de salud se fundamente en datos científicos Factores presentes en los planos institucional y político pueden obstaculizar las evaluaciones y la utilización de los datos derivados de las evaluaciones de los efectos para la asignación de recursos. Puede ocurrir que los gobiernos o los donantes no tengan interés político en las evaluaciones de los efectos de una intervención, especialmente en situaciones en las que los datos pocas veces se utilizan para adoptar decisiones y asignar fondos. Además, las evaluaciones llevan tiempo, quizá más del disponible para un ciclo de planifi cación habitual. Por otro lado, las personas que promueven o realizan una intervención muchas veces lo hacen porque están convencidas de su efi cacia, y no ven la necesidad de la evaluación. Muchos donantes y administradores de la salud confían en que saben lo que es efi caz, sobre la base de su experiencia personal o su formación, a pesar de las escasas evaluaciones que se han realizado sobre intervenciones en los sistemas de salud. problemas políticos en algunas situaciones. Algunos administradores de la salud que están a favor de la evaluación pueden ser criticados por gastar los recursos del programa para realizarla y por destinar a la evaluación fondos que se hubieran podido destinar a la ejecución. Se pueden realizar algunas actividades concretas para abordar esta clase de limitaciones y promover intervenciones para fortalecer los sistemas de salud basadas en datos científi cos: Tomar la evaluación como una inversión: En situaciones en las que los recursos son limitados, se debe justificar la inversión en la evaluación al igual que en la intervención. Sin embargo, es preciso contraponer el costo de una evaluación a los posibles beneficios relacionados con modificar y mejorar los programas, interrumpir los programas que no están funcionando y evitar aplicar programas a gran escala sin saber si son eficaces. Incluir la evaluación en los sistemas de planificación y asignación de recursos. Después de la evaluación rigurosa del programa mexicano de transferencias monetarias condicionadas, en 1999 el Congreso de ese país convirtió en obligatoria la evaluación externa de todos los programas sociales. Esta obligación promovió 8 JUNIO DE 2007

9 de salud: evaluación de los efectos de una intervención RECUADRO 6 Evaluación de los efectos del programa de transferencias monetarias condicionadas en México El programa de transferencias monetarias condicionadas, Progresa, aplicado a gran escala en México, fue formulado en 1997 durante la presidencia de Zedillo, como parte de un plan de reducción de la pobreza. Una preocupación era la sustentabilidad del programa, ya que en el pasado había sido habitual que cada nueva administración creara sus propios programas sociales. Como se preveía un cambio de autoridades en 2000, Progresa podía ser interrumpido en un plazo breve. Para garantizar la supervivencia del programa a pesar de los cambios políticos, era necesario mostrar sus efectos positivos. La consecuencia fue una evaluación de eficacia rigurosa, aleatorizada y controlada, de un programa de asistencia social a gran escala, que generó grandes cambios en la formulación de la política social en México. Los datos sobre los efectos positivos de Progresa en la salud, la educación y la nutrición fueron sólidos y contribuyeron a que las nuevas autoridades decidieran expandir en lugar de recortar el programa. Además, después de que se dio a conocer al público la evaluación externa, el Congreso mexicano aprobó una ley por la que se exige a los programas sociales realizar evaluaciones de sus repercusiones todos los años, preferiblemente externas. Otros países latinoamericanos, entre ellos Colombia, Jamaica, Honduras y Argentina imitaron rápidamente a México, no sólo en cuanto al programa de transferencias monetarias condicionadas Progresa, sino en el modelo de evaluación externa. Dado que estas evaluaciones son un bien público, en muchos casos fueron financiadas por organismos multilaterales. cambios importantes en la formulación de las políticas sociales en México, que pasaron de ser animadas por intereses individuales y políticos a fundamentarse en datos científicos (véase el Recuadro 6). Además, se destinaron considerables recursos financieros a respaldar la ley, y los resultados de la evaluación se utilizaron para tomar decisiones sobre la asignación de recursos. Esto estimuló a los gestores de programas a formular programas innovadores pero conceptualmente sólidos, que serían objeto de una evaluación de eficacia para determinar si se justificaba o no se justificaba expandirlos. La ley y la financiación permitieron incluir eficazmente la evaluación en los procesos de gestión, planificación y asignación de recursos de los programas sociales a gran escala, y estimularon la innovación y la eficiencia. La evaluación se convirtió en una oportunidad de aprendizaje y un beneficio, y no en una amenaza o un juicio. Garantizar la inversión internacional en evaluación como un bien público. La información obtenida de la evaluación es un bien público porque constituye información para políticas y programas que pueden beneficiar a poblaciones que no han participado directamente, tanto en el país de origen como en otros países que se enfrentan con limitaciones similares. La Cumbre Ministerial sobre Investigación en Salud realizada en México en 2004 llamó a aumentar urgentemente la inversión en investigación y en fortalecimiento de la capacidad de investigación, hasta por lo menos un 2% del gasto nacional en salud de un país y al menos un 5% de los proyectos y programas en el sector de la salud de los organismos de ayuda al desarrollo. 11 Si bien se pueden discutir los objetivos generales, se justifican mayores niveles de inversión nacional y especialmente de financiación internacional, porque las evaluaciones pueden producir conocimiento en términos de bien público aplicable a diferentes contextos. Recientemente se han realizado esfuerzos en el plano internacional para promover acciones destinadas a establecer patrones de evaluación comunes más sólidos para los programas de salud pública, en una cantidad de organismos. 12 Sin una mayor actividad internacional en favor de la evaluación es probable que los países continúen invirtiendo poco en la evaluación de las repercusiones de los programas. Fortalecer la capacidad nacional para la investigación en evaluación. El fortalecimiento de la capacidad para realizar evaluaciones en países de ingresos bajos y medios exige fondos, expertos, tiempo y datos. La capacidad técnica se puede fortalecer mediante el intercambio permanente de materiales técnicos y experiencias a través de organizaciones como la Alianza para la IPPS, la mayor colaboración entre institutos de investigación y las convocatorias abiertas a la presentación de propuestas que incluyan la revisión técnica transparente. Si bien la evaluación de las repercusiones tiene características de bien público internacional y debe ser de alta calidad, la participación y el liderazgo de los investigadores locales es imprescindible para que la estructura del estudio refleje las condiciones locales y para que los datos sean confiables y se puedan utilizar para actuar en el país. JUNIO DE