Methodology for the Assessment of Data Quality

Transcripción

1 Public Disclosure Authorized Policy Research Working Paper 5653 WPS5653 Public Disclosure Authorized Public Disclosure Authorized Methodology for the Assessment of Data Quality Application to HIV and AIDS Programs in Latin America Rosalía Rodriguez-García Michel Eric Gaillard Alejandra Suarez Lissi Pedro Magne Condarco Public Disclosure Authorized The World Bank Human Development Network Global HIV/AIDS Program Health, Nutrition and Population Team May 2011

2 Policy Research Working Paper 5653 Abstract Evidence is crucial in strategic planning for HIV response as well as the monitoring of results. This paper presents a simple tool that can be used to analyze the methodological quality of HIV data, its scope and limitations, and whether it can be accurately compared with other evidence. The tool, utilized as a questionnaire or checklist, first identifies the type of document containing the data; the status and means of its publication; the epidemiological design used; and the priority population. Next, the document is analyzed against a verification list based on eight methodological criteria: 1) objective; 2) inclusion and exclusion criteria; 3) sample size; 4) sampling technique; 5) error-reduction strategies; 6) data analysis technique; 7) limitations; and 8) confidence intervals and/or statistical significance. The paper also presents the results of implementing the tool in three Latin American countries. This paper is a product of the Global HIV and AIDS Program, Health, Nutrition and Population; Human Development Network. It is part of a larger effort by the World Bank to provide open access to its research and make a contribution to development policy discussions around the world. Policy Research Working Papers are also posted on the Web at econ.worldbank.org. The author may be contacted at rrodriguezgarcia@worldbank.org. The Policy Research Working Paper Series disseminates the findings of work in progress to encourage the exchange of ideas about development issues. An objective of the series is to get the findings out quickly, even if the presentations are less than fully polished. The papers carry the names of the authors and should be cited accordingly. The findings, interpretations, and conclusions expressed in this paper are entirely those of the authors. They do not necessarily represent the views of the International Bank for Reconstruction and Development/World Bank and its affiliated organizations, or those of the Executive Directors of the World Bank or the governments they represent. Produced by the Research Support Team

3 METHODOLOGY FOR THE ASSESSMENT OF DATA QUALITY: APPLICATION TO HIV AND AIDS PROGRAMS IN LATIN AMERICA Rosalía Rodriguez-García, Michel Eric Gaillard, Alejandra Suarez Lissi, and Pedro Magne Condarco 1 The World Bank Keywords: Data quality, HIV and AIDS, Andean Region The Spanish version of this study is included at the end of this report. 1 The authors are staff or consultants with the Global HIV and AIDS Program, HNP, Human Development Network. The paper benefited from a peer review process that included specialists who reviewed the English and Spanish versions. The authors wish to thank and acknowledge the reviewers listed in the appendix for providing useful comments and insights. The authors would also like to acknowledge the support of David Wilson, Director for HIV and AIDS at the World Bank. The opinions expressed in this paper are those of the authors only and need not represent the views of the World Bank, its Executive Directors of the countries they represent.

4

5 Table of Contents Foreword... 5 Acronyms... 6 Summary... 7 Methodology to Assess the Quality of Data... 9 Introduction... 9 The use of evidence for informed decision-making... 9 Why is it important to assess data quality? Methodology for the Assessment of Data Quality Characterization of documents Assessment of the methodological content The basis for the eight criteria: Representativeness and the role of chance Implementation Method Experience in Latin America Assessment of the data quality in the Andean Region: Bolivia, Ecuador and Peru Results Conclusions about the use and usefulness of the tool References Annex 1: Document Quality Assessment Tool Annex 2: Acknowledgements List of Tables Table 1. Characterization of each of the documents included in the database Table 2. Methodological aspects evaluated Table 3. Cut-off points on the score range Table 1A. Methodological Classification of the Studies Included in the Database. Country X,

6 List of Figures Figure 1. Strategy results cycle applied to HIV and AIDS response Figure 2. Types of documents compiled in Peru, Ecuador, Bolivia, Uruguay, Paraguay, Nicaragua, Guatemala and El Salvador; Figure 3. Publication status of the compiled documents in Peru, Ecuador, Bolivia, Uruguay, Paraguay, Nicaragua, Guatemala and El Salvador; Figure 4. Epidemiological design of the studies compiled in Peru, Ecuador, Bolivia, Uruguay, Paraguay, Nicaragua, Guatemala and El Salvador; Figure 5. Methodological quality of studies compiled in Peru, Ecuador, Bolivia, Uruguay, Paraguay, Nicaragua, Guatemala and El Salvador; Figure 6. Type of documents compiled, by country. Andean Region; Figure 7. Publication status of the documents compiled, by country. Andean Region; Figure 8. Epidemiological designs of studies compiled, by country. Andean Region; Figure 9. Priority population of the studies compiled, by country. Andean region; Figure 10. Methodological quality of the compiled studies, by country. Andean Region; Figure 11. Methodological quality of the studies in MSM populations, by country. Andean Region; Figure 12. Methodological quality of the studies on female sex workers. Andean Region; Figure 13. Methodological quality of the studies of prisoners, by country. Andean Region; Figure 14. Methodological quality of studies on people living with HIV, by country. Andean Region; Figure 15. Methodological quality of the studies in general population, by country. Andean Region; Figure 16. Methodological quality from youth and adolescents studies, by country. Andean Region; Figure 17. Origin of methodological weakness in studies done in key populations, by country. Andean Region; Figure 18. Origin of methodological weakness in studies done in general populations and youth, by country. Andean Region;

7 Foreword The work presented in this document grew out of the experiences of the AIDS Strategy and Action Plan program (ASAP) in Latin America. ASAP s mission is to support countries in creating effective strategies in response to the HIV epidemic. It is now recognized that the most effective way to develop high-impact HIV policies and programs is through results-based management, a decision-making process that focuses on the use of evidence to make informed decisions. Therefore, an important aspect of strategic planning based on evidence is to provide such evidence data that highlights the evolution and trends of the epidemic and its determinants to decision-makers. The World Bank has worked in collaboration with the Ministries of Health from several countries to compile 15 years of locally-produced, primary-source data. The data for each country has been integrated into a document called Database and References for an Evidence-Based Strategy. When using information from multiple and diverse sources, it is important: (i) to be able to understand the scope and limitations of the reported findings; (ii) to assess whether the studies can be accurately compared; and (iii) to take an in-depth look at the methodology used. Such an analysis can reveal, for example, the true representativeness of a sample, or the ability to generalize results to the study s priority population. To this end, ASAP proposes an analysis tool in a questionnaire or verification list format to assess the methodological quality of data as reported,. The ASAP tool offers a practical approach that is especially useful for the kind of studies that are frequently used within the HIV field. The assessment tool can help to identify biases or methodological problems that may have emerged in design or implementation, providing a better understanding of the quality of information that the studies contain. Such a critical analysis will also help to identify the difficulties and constraints faced by researchers when working in the HIV field especially when dealing with most-at-risk and hard to reach populations. The utility of this methodology is illustrated by the rich experience acquired in Latin America by the ASAP team managed by the World Bank over the last two years. 5

8 Acronyms AIDS Acquired Immune Deficiency Syndrome ASAP AIDS Strategy and Action Plan CDC Centers for Disease Control and Prevention DHS Demographic and Health Surveys GHAP Global HIV and AIDS Program, World Bank HIV Human Immunodeficiency Virus KAP Knowledge, Attitude and Practice MSM Men who have Sex with Men PAHO Pan American Health Organization PPT PowerPoint RDS Respondent Driven Sampling STI Sexually Transmitted Infections TLS Time Location Sampling TSS Time Space Sampling UNAIDS United Nations Joint Program on AIDS UNGASS United Nations General Assembly 6

9 Summary Introduction: In Latin America, there are about two million people living with HIV, and the epidemic is concentrated in key populations that have a high risk for infection. Various sources of information have been used in recent years to understand the region s HIV epidemic and its determinants. Recognizing the crucial value of evidence as the basis for strategic planning and the monitoring of results, ASAP has worked with Ministries of Health in eight Latin American countries to compile regional HIV data generated over the past 15 years. ASAP organized the information from each country in a document entitled Database and References for an Evidence Based Strategy. In a second phase, ASAP analyzed the methodological quality of this data to ascertain its scope and limitations, its reliability, and the extent to which it is feasible to compare findings across multiple studies. In order to carry out this assessment, a tool developed by ASAP was used, in both a questionnaire and checklist format. Objectives: To present the conceptual framework, methodology and application methods of a tool that analyzes the methodological quality of data; to share, through practical examples, the results of implementing this methodology in the Andean Region. Methodology: For the characterization and analysis, the studies first identify: (i) the type of document; (ii) the status and means of publication; (iii) the epidemiological design used; and (iv) the priority population. Next, the document is analyzed against a verification list based on the following eight methodological criteria: 1) Clear and coherent objective, in accordance with the development of the study; 2) Definition of inclusion and exclusion criteria; 3) Sample size; 4) Sampling technique; 5) Strategies to reduce data collection errors; 6) Data analysis technique; 7) Evaluation of limitations imposed by the methodology; and 8) Expressions of confidence intervals and/or statistical significance. One point is awarded if the feature described in each criterion is present, and zero if it is not. Criteria 3, 4 and 5 carry double weight. The scores are then added up, obtaining a total score or quality index on a scale from 0 to 11 points. Implementation in the Andean Region: In 2009, ASAP utilized the tool in Bolivia, Ecuador and Peru. In all three countries, the findings reflected that the studies done in most-at-risk populations had quality scores lower than the scores from general population studies. The methodological characteristics that clearly contributed to these differences in scores were selection method bias and inadequate sample size. Both of these characteristics represent challenges that must be taken into account in future research. There were also significant differences in the operational definitions of indicators especially in HIV- 7

10 related knowledge and behavior areas which make it difficult to accurately compare data. The use of sound indicators and prioritization of UNGASS indicators must be considered in research agendas. In Ecuador and Bolivia, a good number of unpublished studies were found. This suggests the need to encourage submission to peer-reviewed publications, which could contribute to improving study quality as well as more effective socialization. In these two countries, ASAP found an information gap in research focused on people living with HIV, information which must be taken under consideration. In Ecuador, information on syphilis and prevalence of other STIs represents a critical gap that needs to be included in the country s research agenda. In Bolivia, the most-at-risk populations have been the least studied, which given the epidemic s concentrated characteristic suggests the need to adjust the national research agenda. Conclusion on the use and usefulness of the tool: The experience in Latin America has proven that the tool is both easy and feasible to use. The methodology identified studies that were based on a design and strategy that contributed to the reliability of their results. The detailed methodological assessment in each study was of great use when utilized as the step prior to the data triangulation process. By taking into consideration data quality, the tool has aided in redefining information gaps. It has helped to identify the main methodological obstacles faced by local researchers and has proposed potential solutions. The ASAP team hopes that the tool will contribute to a better understanding of the HIV epidemic in Latin America and in other regions as well. 8

11 Methodology to Assess the Quality of Data Introduction In Latin America, as in most of the regions of the world, the first HIV cases were diagnosed in the early 1980s. Since then, the number of infected people has increased significantly. At present, there are an estimated two million people in the region living with HIV (1) the majority are youth or young adults, which represents a significant economical and social burden in the affected countries. The HIV epidemic in Latin America is still concentrated the majority of cases are in the most-at-risk population groups (1). These groups are considered key populations in the study of the epidemic s dynamics as well as the definition of the response. The primary populations that are at higher risk of infection are: (i) men who have sex with men; (ii) injection drug users; (iii) prisoners; and (iv) female sex workers. The methods used for obtaining information related to the progress and characteristics of the epidemic have evolved over time. In the beginning, conventional first-generation surveillance systems were used. These passive surveillance systems were limited to counting the number of cases of traditional notifications done by the Ministries of Health. Later, more active and flexible surveillance systems were developed these were called second-generation systems. In addition to tracking HIV prevalence, second-generation systems monitor changes in knowledge, behavior and sexual practices associated with the risk of acquiring the virus (2, 3). A key element for planning a country s response to HIV is an understanding of the research-generated information on the dynamics of the epidemic. However, it is critically important to assess the scope and limitations of this evidence. To this end, ASAP has developed a checklist tool, which presents an easy way to support the assessment of research data quality. The use of evidence for informed decision-making There is now international recognition that the most effective way to develop high-impact HIV policies and programs is through results-based management. In this management process, evidence is of crucial strategic and fundamental value. Strategic planning is based on observations it focuses on outcomes that reflect the reality of the epidemic and the effectiveness of the national response. The planning process does not focus solely on the inputs and activities necessary to achieve specific objectives instead, it focuses on the direct outcomes and impacts desired. Strategic planning is not a linear process. It is an iterative process, with phases that constantly reinforce and provide feedback, thus generating live documents. The essential mechanism is the monitoring and evaluation of the planning process and the national response which, through the measurement of outcomes, provides the ability to distinguish success from failure (4) (Figure 1). Hence, a 9

12 crucial aspect of observation-based strategic planning is to present decision-makers with data that has been compiled from observations and research on the evolution and tendencies of the epidemic. To this end, ASAP conceived the process of developing a database, and then assessing the methodological quality of the information contained therein. Figure 1. Strategy results cycle applied to HIV and AIDS response Source: R. Rodríguez-García, GHAP, World Bank, 2007 Why is it important to assess data quality? It is important to conduct a methodological analysis of existing research material in order to better understand: (i) the scope and limitations of each study; (ii) the degree of reliability of the findings; (iii) the feasibility of comparing outcomes across studies; and (iv) the extent to which they are a true representation of the focus population. This assessment helps identify bias and any methodological problems that may have emerged in design or implementation, and provides better insight into the quality of the data obtained by each study. A critical analysis also helps to recognize the difficulties and limitations faced by HIV researchers, especially when working with most-at-risk and hardto-reach populations. 10

13 There are several evaluation strategies that assess the quality of epidemiological studies. In general, these methodologies are oriented towards determining the degree of evidence contributed by these studies, most of them clinical (5). In this type of evaluation, clinical trials and cohort studies are considered to be the best methodological route to generate evidence mostly because of causality issues, such as those that arise in the study of the efficiency and effectiveness of interventions and/or treatments. By contrast, crosssectional studies are considered exploratory and only capable of generating hypotheses. The particular situation under which research is done on the HIV epidemic (prevalence, determination of knowledge and behavior levels) limits the possibility of implementing experimental studies; HIV-related research is based mainly on the application of crosssectional studies or surveys. For this reason, the UNAIDS Triangulation Resource Guide states that priority, or the highest level of trust, must be given to the data obtained by large-scale, standardized, cross-sectional epidemiological studies, such as National Demographic and Health Surveys (DHS) (6). The literature notes several questionnaires and checklists that create a framework to assess the methodological quality of studies, but most of them are designed to be applied to randomized clinical trials and not to observational studies (7). The methodology described in this paper was developed and implemented so that it is mostly applicable to cross-sectional studies. In a practical way, this new tool aims to determine which studies utilize strategies and designs that increase the reliability of the results. The ASAP questionnaire is based on an extensive analysis that includes the World Health Organization s normative guidelines on the implementation of prevalence studies for sexually transmitted infections (8), as well as several published materials including books and scientific journals which form the basis for evaluation of the methodological quality of epidemiological studies (9, 10, 11, 12, 13, 14). Methodology for the Assessment of Data Quality Since 2009, Ministries of Health in several Latin American countries with help from UNAIDS and ASAP have compiled the main findings of HIV studies done over the past fifteen years. The data for each country was then integrated into a document called Database and References for an Evidence-Based Strategy. Criteria for the studies to be included were simple: (i) they had to represent a primary source of data; and (ii) they had to contain quantitative data. Through this process, a great number of documents have been compiled by local, national and international research groups. The resulting databases are a robust collection of studies categorized by type, methodological characteristics and status of publication. The methodology of analysis for data quality has two phases. The first phase characterizes each of the documents to be included in the database, and the second phase analyzes the methodological context. This analysis is carried out following an evaluation guideline (included in the Annex), whose main sections are detailed below. 11

14 Characterization of documents In the process of searching for studies related to the HIV epidemic, a great number and variety of documents are usually compiled. In the first step of the characterization, each document is identified as a scientific article or manuscript, a technical report, a PowerPoint presentation, a monograph, or another type of publication. In the second step, the publication status and the medium of publication are identified. In the third step, the type of epidemiological design and the priority population of the investigation are identified. Finally, the population(s) studied is identified (Table 1). Table 1. Characterization of each of the documents included in the database Type of document: Scientific article Technical report PowerPoint presentation Thesis/Monograph Other Publication status and medium of publication Type of epidemiological design Focus population of the investigation Assessment of the methodological content The methodological content is analyzed through a tool designed for this purpose. This tool evaluates the presence or absence of eight methodological aspects related to best practices in the research field ; three of them are double-weighted because of their critical importance in the validity of the results. These double-weighted criteria are: (i) sampling technique; (ii) sample size; and (iii) development of strategies to reduce error in the data collection process. Respectively, they assess: (i) selection bias; (ii) the power of the study; and (iii) the consistency of the data. Throughout the questionnaire, for each of the eight criteria, one point is awarded if the feature is present; no points are awarded if it is absent. The score for the three double-weighted criteria is multiplied by 2 (Table 2). 12

15 Table 2. Methodological aspects evaluated 1) Objective of the study is coherent with its development 2) Definition of inclusion and exclusion criteria 3) Sample size* 4) Sampling technique* 5) Strategies to reduce error in data collection* 6) Data analysis technique 7) Assessment of the limitations imposed by the methodology 8) Confidence intervals and/or statistical significance * Criteria with double-weighting To finalize the process, the partial scores are added up, obtaining a total score that can be taken as a quality score or index. The final score will vary on a scale from 0 to 11 points (1 point per simple criteria = 5 points; 2 points per double-weighted criteria = 6 points; maximum total sum: 5+6=11). The cut-off points have been defined: a score of 8 or higher corresponds to high methodological quality; a score of 5 to 7 corresponds to intermediate methodological quality; and a score of 4 or less corresponds to limited methodological quality (Table 3). Table 3. Cut-off points on the score range 8 to 11 points: High methodological quality 5 to 7 points: Intermediate methodological quality 0 to 4 points: Limited methodological quality To establish the cut-off points, ASAP gave consideration to the minimum number of criteria each study needed to have in order to be considered of high or intermediate methodological quality. ASAP did not use the technique of merely dividing the studies into thirds, because the quality of the studies is dependent on each document s characteristics and is independent from the numerical distribution within the group. ASAP reasoned that: Studies should achieve at least 75% of the maximum possible score to be ranked as high methodological quality. 13

16 Studies should achieve at least 45% of the maximum possible score to be ranked as intermediate methodological quality. Studies that achieved less than 45% of the maximum possible score should be ranked as limited methodological quality. This means that studies must have at least two of the three double-weighted criteria in order to be eligible for the high methodological category because the maximum possible score for studies that are missing two of the double-weighted criteria is 7 points. The basis for the eight criteria: Representativeness and the role of chance As mentioned previously, the most frequently used epidemiological design for HIV research is the cross-sectional or survey type. This design is applied to a great variety of themes, most frequently serological and behavior surveys. The following is a review of important methodological concepts that need to be taken into account when interpreting cross-sectional studies. Inclusion and exclusion criteria Inclusion and exclusion criteria define the universe of eligible subjects that are established by a study. It is very important to have these criteria in mind when making inferences or Inclusion and exclusion criteria define the universe of eligible subjects, a distinction which controls the applicability of the study results. generalizations based on the findings in a study. For example, in a serological survey carried out on female sex workers, the inclusion criteria established that the sex workers belong to city brothels, an approach that excluded streetwalkers. Thus, the findings in that particular study cannot be generalized to all female sex workers of the city, but must be limited to the ones working in brothels. Sample size Adequate sample size gives a study the ability to prove its hypothesis; in epidemiology this attribute is called power of the study. Adequate size in a sample produces more precision in a study s findings. The larger the sample The power of the study and size, the narrower the resulting confidence interval accuracy of the results depend on and, therefore, the more accurate are the results. the sample size. Sample size calculation allows the researcher to know the minimum number of individuals that will give the study the strength and accuracy desired. In the ASAP data quality assessment tool, this methodological feature was double-weighted because of its importance. 14

17 Sampling technique To understand the representativeness of a sample, it is very important to be aware of the sampling technique used. Selection bias happens when the selected participants are not Selection bias occurs when the selected participants are not representative of the priority population. representative of the entire population to be studied. In the probability method, all individuals in a population group have the same opportunity of being selected, thereby obtaining representative samples of the priority population. By contrast, in a nonprobability sampling such as convenience sampling, each individual has a chance of getting selected based on a set of determined characteristics, which leads to less representative samples. The sampling method used by studies of hidden or hard-to-reach populations (for example, injection drug users or men who have sex with men) deserves special consideration. Because of the discrimination and stigma often associated with these population groups, it is practically impossible to have a sampling framework that would accurately define the sample universe from which individuals are randomly selected. One example of a sampling framework for a general population is the telephone directory. However, this framework would be useful only if all inhabitants have a fixed telephone land line and each telephone number is listed in the directory. Otherwise, a selection bias would again be in play. For most hidden populations such a sampling framework cannot be established. Thus, a strategy used in many studies is to obtain convenience sampling in places where members of the key population group frequently gather, such as bars or clubs. Obviously, individuals who frequent such places are the ones with a higher possibility of getting selected, a situation that does not comply with the principle of equal likelihood of being selected for all individuals in a population group the definition of the probability sampling method. Such an approach also limits Alternative sampling techniques for use on hidden populations have been developed. In the probability method, all individuals in a population group have the same opportunity of being selected. the possibility of making generalizations. In response to this constraint and based on a CDC initiative (Centers for Disease Control in Atlanta, Georgia USA), the implementation of other sampling techniques that provide an alternative to the traditional probability/nonprobability approach have been studied over the past few years (15, 16). These alternative methods are RDS (Respondent-Driven Sampling) and TSS (Time-Space Sampling). The data quality analysis tool considers the use of probability sampling, or the alternatives RDS and TSS in hidden populations, a satisfactory sampling technique. Given the importance of this methodological characteristic, this criterion has been weighted and its result multiplied by a factor of two. 15

18 Percentage of people who do NOT respond to the survey In survey studies, even when the sampling method has been probabilistic, it is important to know the percentage of people that refused to respond. This issue is critical, because if differences exist among the group that responds to the survey and those that do not agree to participate, then a selection bias would be introduced. If the percentage of non-responders is high, the results from the survey will have limitations in terms of generalization. This is especially true if the cause motivating non-response is linked to the question being researched. Techniques to reduce error in data collection In the development of cross-sectional studies, there are a variety of actions that can increase the accuracy of the data collected. These actions serve to give the study internal validity. When analyzing a survey study, it is important to understand issues such as whether pilot testing was done to adapt the study to local / colloquial language; whether surveyors or the personnel responsible for biological sample collection received appropriate training; or whether strict rules for biological data collection were followed. Because of its critical importance, this aspect has been weighted by a factor of two in the assessment of data quality tool. Implementation Method The percentage of people who did not respond to the survey is an important piece of information. The implementation of the data quality assessment is simple. The work is done based on the checklist discussed above and presented in the Annex. The questionnaire is answered point by point. For each positive answer, one point is awarded. Each negative answer is considered zero. For the three double-weighted criteria, the value is multiplied by two. When the questionnaire is complete, the results are added up, obtaining a value ranging from 0 to 11. To facilitate the overall process, the data from each study is put into a table, as shown in the Annex (see Table 1A in Annex). The columns to the left in Table 1A contain the data related to the characterization of the study, based on the type of document, status and form of publication, epidemiological design, and priority population. In the columns on the right, the scores corresponding to each methodological quality criterion are recorded, placing a 0 or 1 as appropriate. The three double-weighted criteria are multiplied by a factor of two. The sum of the partial result is entered in the last column. In this column, traffic-light colors have been added to indicate the quality of the studies: green for high methodological quality, yellow for intermediate quality, and red for limited quality. By applying the characterization and the methodological assessment guide, this table compiles the totality of the data collected for each study. 16

19 Experience in Latin America Experience using this assessment methodology was initially gained in Latin America, where ASAP provided technical assistance in the compilation of HIV evidence. The first experiences were in 2009, in the three Andean countries of Ecuador, Peru and Bolivia. In 2010, ASAP expanded its activities to Uruguay, Paraguay, Nicaragua, Guatemala and El Salvador. This exercise has proved very useful because it has not only allowed a review of the existing information gaps, but it has also facilitated exploration of the data quality produced by the studies. The characteristics and quality of the compiled documents in the eight mentioned countries are discussed below, along with details of the assessment done in the three Andean countries. In the eight Latin American countries where ASAP worked, a total of 311 documents were compiled. More than half of them were technical reports these were mostly prepared by governments, nongovernmental organizations, bilateral and multi-lateral cooperation agencies and academic sectors. These technical reports were generally available as independent or one-time publications. Close to one-third of the compiled documents were scientific articles most of them published in journals where they had to undergo a peer review process. Ten percent were theses or monographs, most of which were available on the Internet, but some of which were only available in university libraries. A small percentage of documents were gathered in PowerPoint format (Figures 2 and 3). Figure 2. Types of documents compiled in Peru, Ecuador, Bolivia, Uruguay, Paraguay, Nicaragua, Guatemala and El Salvador; Thesis 10% PPT 3% Scientific Article 33% Technical Report 54% N=

20 Figure 3. Publication status of the compiled documents in Peru, Ecuador, Bolivia, Uruguay, Paraguay, Nicaragua, Guatemala and El Salvador; Official Bulletin 3% Internet 7% Unpublished 16% One time Technical Publication 44% Peer Review Journal 30% N= 311 With regard to epidemiological design, it was found that 95% of the studies used the cross-sectional or survey design. The remaining 5% included eight cohort studies, four experimental studies, two case-control studies and two case series studies. When the tool was applied to assess data quality, it was found that two-thirds of the studies had high methodological quality and only 10% had limited methodological quality (Figures 4 and 5). Figure 4. Epidemiological design of the studies compiled in Peru, Ecuador, Bolivia, Uruguay, Paraguay, Nicaragua, Guatemala and El Salvador; Other Designs 5% N= 311 Cross Sectional Design 95% 18

21 Figure 5. Methodological quality of studies compiled in Peru, Ecuador, Bolivia, Uruguay, Paraguay, Nicaragua, Guatemala and El Salvador; Limited 10% Intermediate 23% High 67% N= 311 Assessment of the data quality in the Andean Region: Bolivia, Ecuador and Peru Peru is the Andean region s largest country by population, with an estimated total of 27 million persons; Peru is followed by Ecuador with 14 million persons, and Bolivia with 10 million (17). The advanced level of demographic transition is similar in all three countries, as reflected in the similar age group structures. In all three countries, half of the population is in the year-old age group. The HIV epidemic also shares certain characteristics. The prevalence rate in adults years old is less than 1% in all three countries (Peru 0.5%; Ecuador 0.3%; Bolivia 0.2%) (17). On the other hand, HIV prevalence among men who have sex with men is well over 5% (Peru 12% (18) ; Ecuador 16.6% (19) ; Bolivia % (20) ). This population group has the highest rates in the region, with HIV prevalence 24 times higher than in the general population in Peru and more than 50 times higher in Ecuador and Bolivia. The male to female ratio (number of men infected for every woman infected) is approximately 2 to 1 in all three countries. The fact that twice as many men as women are infected underlines the importance of sexual transmission among men as a mode of HIV transmission. These numbers clearly reflect that in the Andean countries the HIV epidemic is concentrated in the most-at-risk populations, especially men who have sex with men. 19

22 Results A total of 57 documents were included in the assessment and characterization phase in Peru; 40 documents were included in Ecuador; and 25 in Bolivia. These documents were all compiled in each country s respective database (21, 22, 23). It is important to point out that some studies included more than one focus population in their investigation, and some used different methodological approaches for each population. In such cases, the documents were analyzed and scored separately for each population group. For example, in several baseline diagnostic assessment documents, different population groups were studied. For some populations, convenience sampling was used; in others, a probability sampling was used. For some, an adequate sample size was achieved; in others it was not. The study of each of these populations within the same document was scored individually. For this reason the number of studies exceeds the number of documents. Initially, the distribution of the totality of the studies was analyzed, based on characteristics and quality index. Then, the studies were categorized based on the key populations and the distribution of scores for each stratum was assessed. Finally, the studies were stratified by the type of methodological limitations encountered. Types of document Peru s database has 47 scientific articles (83%), seven technical reports (12%), and three PowerPoint (PPT) presentations (5%). Ecuador s database has 18 scientific articles (45%), 16 technical reports (40%), three theses/monographs (7.5%), two PPT presentations (5%), and one poster presentation (2.5%). Bolivia s database has 19 technical reports (76%) and six scientific articles (24%) (Figure 6). Figure 6. Type of documents compiled, by country. Andean Region; % 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Peru n= 57 Ecuador n= 40 Bolivia n= 25 Poster Thesis PPT Technical report Scientific paper Source: Authors calculation using information from Database and References for an Evidence-based Strategy in Peru, Ecuador and Bolivia. 20

23 Findings: As shown in Figure 6, the main information sources in all three countries were scientific articles and technical reports. However, the proportion of each differed: in Peru, most were scientific articles; in Bolivia, most were technical reports; in Ecuador, there was a similar number of each. Publication status In Peru, 47 documents had been published in journals with peer reviews (82%); seven were one-time technical publications (12%) (as opposed to periodic publications); one was a preliminary report (2%); and two had no available publication status data (4%). In Ecuador, 12 documents were published in journals with peer reviews (30%); nine were one-time technical publications (22.5%); two were publications from an official bulletin (5%); 13 had not been published (32.5%); and four had no available publication status data (10%). In Bolivia, 13 documents were one-time technical publications (52%); five were published in journals with peer reviews (20%); one was from an official bulletin (4%); and six had not been published (24%) (Figure 7). Figure 7. Publication status of the documents compiled, by country. Andean Region; % 90% 80% 70% 60% Unpublished/Status unknown Official Bulletin 50% 40% 30% 20% 10% One-time technical publication Published in journals using peer review 0% Peru n= 57 Ecuador n= 40 Bolivia n= 25 Source: Authors calculation using information from the Database and References for an Evidence-based Strategy in Peru, Ecuador and Bolivia. 21

24 Findings: The proportion of scientific articles in the databases is the same as the proportion of documents published in peer-reviewed scientific journals ( AIDS, Sexually Transmitted Diseases and The Pan American Journal of Public Health are examples of such publications). Among the three Andean countries, Peru had the highest proportion of papers published in these journals, probably due to the fact that it has one of the longest records in HIV research in Latin America. Peru s academic sector has been actively involved in the process since the beginning of the epidemic. Ecuador, on the other hand, is the country with the highest proportion of non-published papers or papers without publication status data (40%). In Bolivia, the proportion of non-published papers is 25%. Non-published papers have an impact on the use and quality of the information; nonpublished papers complicate access to information and the socialization of the findings. They generally make the papers produced weaker, because they have not undergone the detailed and enriching process of peer review. Type of epidemiological design In Peru, 49 documents used various kinds of cross-sectional designs (86%). Among these, 28 documents used cross-sectional serological surveys supplemented by surveys with socio-demographic and behavior variables (49%); 18 used knowledge, attitudes and practice (KAP) surveys (32%); and three used STI bacteriological studies supplemented by socio-demographic surveys (5%). Of the remaining eight documents (14%), there were four cohort studies (7%), two case-control studies (3%), one case series study (2%), and one clinical trial (2%). In Ecuador, 36 documents used various kinds of cross-sectional designs (90%). Among these, 20 documents used KAP surveys (50%); 10 used serological surveys with or without supplementing KAP surveys (25%); and six included crosssectional survey studies about other issues (15%). Of the remaining four documents (10%), there was one experimental design study, one quality-control study for laboratories, one census, and one case series study. In Bolivia, 24 documents (96%) used cross-sectional design or survey design with different variations. Among these, 16 documents used KAP surveys (64%); seven used HIV serological surveys with or without supplementing KAP surveys (28%); and one was a syphilis serological survey (4%). The remaining document used a longitudinal design, made up by a cohort of people living with HIV (4%). In Figure 8 below, cross-sectional studies or surveys and their variations appear in different shades of blue. 22

25 Figure 8. Epidemiological designs of studies compiled, by country. Andean Region; % Other 90% 80% Experimental/Clinical trials Case series 70% 60% 50% 40% Case-control Cohort studies Other survey studies 30% KAP survey 20% 10% Serological survey with/without KAP survey 0% Peru n= 57 Ecuador n= 40 Bolivia n= 25 Source: Authors calculation using information from Database and References for an Evidence-based Strategy in Peru, Ecuador and Bolivia. Findings: As Figure 8 above clearly shows, cross-sectional studies and surveys constituted between 86 to 96% of the total group of studies compiled in each of the three countries assessed. The differences can be attributed to the fact that in Peru research has focused on serological prevalence studies supplemented by demographic and behavior surveys, while in Ecuador and Bolivia research has focused on KAP surveys. One possible explanation for the difference is that serological survey studies are more expensive and require more logistical support. It should also be noted that these three countries have demographic and health surveys (DHS) conducted by their respective National Statistics Institutes. These surveys include KAP about HIV; they have national outreach and focus on the general population. Because they are carried out periodically and with consistent methodology, such surveys can be 23

26 reliable sources of information that help to analyze national trends, local behavior and knowledge about HIV within the general population. Populations engaged by the study As stated previously, Peru, Bolivia and Ecuador each have HIV epidemics concentrated in key groups, such as MSM, prisoners and sex workers. Therefore, the assessment evaluated how these populations were represented within the studies done. Looking at the priority populations from studies done in Peru, 62.5% were done on key populations. Among these, 19% were done on MSM; 14% on sex workers; 7% on people living with HIV; 5% on prisoners; and 17.5% on other most-at-risk populations, such as clients of sex workers and people with STIs. Least-at-risk populations represented 37.5% of the research. Among these, 17.5% were done on the general population; 9% on youth; 4% on pregnant women; and 6.5% on other least-at-risk groups. In Ecuador, 58.9% of the studies were done on key populations. Among these, 19.6% were done on female sex workers; 16.1% on MSM; 10.7% on prisoners; 8.9% on people living with HIV; and 3.6% on people with STIs. Least at-risk populations represented 41.1% of the research. Among these, 19.6% were done on youth; 14.3% on the general population; 3.6% on women who had recently given birth; and 3.6% on other least-at-risk groups. In Bolivia, 37% of the studies were done on key populations. Among these, 13% were done on MSM; 8% on male and female sex workers; 5% on people living with HIV; 5% on people with STIs; 3% on prisoners; and 3% on other most-at-risk populations. Least-at risk populations represented 63% of the research. Among these, 18% were on the general population; 13% on youth and adolescents; 13% on pregnant women and women who recently had given birth; and 19% on other least-at-risk groups. In Figure 9 below, most-at-risk populations have been graphed in shades of blue and the least-at-risk in shades of red in order to facilitate comparisons among both groups. Figure 9. Priority population of the studies compiled, by country. Andean region; % 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Peru n= 57 Ecuador n= 40 Bolivia n= 25 Other less vulnerable groups Pregnant and Postpartum Women Youth General Population Other most vulnerable groups People with HIV Prisoners Source: Authors calculation using information from Database and References for an Evidence-based Strategy in Peru, Ecuador and Bolivia. 24

27 Findings: As can be expected in concentrated epidemics, in Peru and Ecuador most of the studies (nearly 60%) were done on most-at-risk populations. However, in Bolivia only 37% of the studies were done on most-at-risk populations. This important finding could be attributed to multiple causes, ranging from research agendas that did not focus their efforts on these groups, to specific difficulties regarding approaching and working with hard-to-reach populations. Analysis of methodological content Once the first phase was completed, ASAP began the methodological content analysis based on the eight evaluation criteria, and calculated the distribution of the quality scores for each country. As was mentioned earlier, the lowest possible score is 0 and the highest is 11; a score of 8-11 points is considered to be of high methodological quality; a score of 5-7 is considered to be of intermediate methodological quality; and a score of 0-4 is considered to be of limited methodological quality. In Peru, there was an asymmetrical score distribution, around an average score of 9 points. The distribution had a median and a mode of 9 points. The measure of dispersion had a range of 3-11 points. Eighty-two percent of the studies had high methodological quality; 15% had intermediate quality; and 3% had limited quality. In Ecuador, the score distribution was also asymmetric. The studies were grouped around the most frequent value or mode of 9 points. The distribution had a median of 8 points. The measure of dispersion had a range of 2-11 points. Fifty-two percent of the studies had high methodological quality; 27% had intermediate quality; and 21% had limited quality. In Bolivia, the distribution had a median and mode of 8 points. The measure of dispersion had a range of 4-11 points. Sixty-eight percent of the studies had high methodological quality; 28% had intermediate quality; and 4% had limited quality (Figure 10). In contrast to previous figures, Figure 10 does not use the stacked bar chart with the percentage components to allow for the appreciation of the quantity of documents evaluated in each country. In these graphs, traffic light colors are used to identify the documents according to their scores for methodological quality. 25

28 Number of documents Figure 10. Methodological quality of the compiled studies, by country. Andean Region; Limited Intermediate High 10 0 Peru n= 57 Ecuador n= 40 Bolivia n= 25 Source: Authors calculation using information from Database and References for an Evidence-based Strategy in Peru, Ecuador and Bolivia. Findings: The distribution of the methodological quality scores presented a median value of 9 in Peru and 8 in Ecuador and Bolivia. High methodological quality studies represented 82% of the total in Peru; 68% in Bolivia; and 52% in Ecuador. There is a clear correlation between the proportion of published studies with peer review and those judged to have sound methodology. Stratification according to priority populations and methodological quality ASAP categorized the studies according to the priority populations and analyzed the methodological quality found in each group. Men who have sex with men In Peru s database, there were 15 studies done on populations of men who have sex with men. The distribution had a median of 9 points. Eighty percent of the studies had high methodological quality; 13% had intermediate quality; and 7% had limited quality. In Ecuador, there were nine studies done on MSM populations. The distribution had a median of 8 points. Fifty-six percent of the studies had high methodological quality; 33% had intermediate quality; and 11% had limited quality. In Bolivia, there were five studies done on MSM populations. The distribution had a median of 6 points. Twenty percent of 26

29 the studies had high methodological quality; 60% had intermediate quality; and 20% had limited quality (Figure 11). Figure 11. Methodological quality of the studies in MSM populations, by country. Andean Region; % 90% 80% 70% 60% 50% 40% Limited Intermediate High 30% 20% 10% 0% Peru n= 15 Ecuador n= 9 Bolivia n= 5 Source: Authors calculation using information from Database and References for an Evidence-based Strategy in Peru, Ecuador and Bolivia. Findings: In Peru and Ecuador, the proportion of studies in MSM populations with sound methodological content was similar to the proportion observed in the general analysis for all studies (80% vs. 82% in Peru; and 56% vs. 52% in Ecuador). In Bolivia, the percentage of studies in MSM populations with sound methodological quality was far lower than the proportion for all studies (20% vs. 68%). This finding reveals that in Bolivia, there have been proportionally fewer studies in key populations and their methodological quality is lower than the general median. Female sex workers In the Peru s database, there were 11 studies done on female sex workers. Seventy-three percent of them had high methodological quality; 18% had intermediate quality; and 9% had limited quality. In Ecuador, there were eleven studies done on female sex workers. Forty-five percent of them had high methodological quality; 45.5% had intermediate quality; and 9% had limited quality. In Bolivia, there were three studies done on female sex workers. One had high methodological quality (33.3%); and two had intermediate quality (66.6%) (Figure 12). 27

30 Figure 12. Methodological quality of the studies on female sex workers. Andean Region; % 90% 80% 70% 60% 50% 40% 30% Limited Intermediate High 20% 10% 0% Peru n= 11 Ecuador n= 11 Bolivia n= 3 Source: Authors calculation using information from Database and References for an Evidence-based Strategy in Peru, Ecuador and Bolivia. Findings: A comparison of Figure 11 and Figure 12 shows that the quality breakdown is similar in each country. The proportion of both MSM and female sex worker studies with high methodological quality accounted for approximately 75% of the total in Peru, 50% in Ecuador and 25% in Bolivia. When compared to the average of all studies, the studies of female sex workers in Bolivia were few in number, and weak from a methodological point of view. Prisoners In Peru s database, there were four studies done on prisoners. Three of them had high methodological quality; and one had limited quality. In Ecuador, there were six studies done on prisoners. Three of them had high methodological quality; two had intermediate quality; and one had limited quality. In Bolivia, there was only one study done on prisoners. It had high methodological quality (Figure 13). In Figure 13, the data was represented in absolute values, because of the small number of studies analyzed. 28

31 Number of documents Figure 13. Methodological quality of the studies of prisoners, by country. Andean Region; Limited Intermediate High 1 0 Peru n= 4 Ecuador n= 6 Bolivia n= 1 Source: Authors calculation using information from Database and References for an Evidence-based Strategy in Peru, Ecuador and Bolivia. Findings: In Peru and Ecuador although the number of studies involved is small the proportion of methodologically sound studies appears to have the same tendency as other population groups analyzed in both countries. People living with HIV It should be noted that the databases only included studies that were related to the HIV epidemic and that were deemed useful to decision-making and policy design. Documents having only clinical content were excluded: for example, documents were excluded that related to treatments, side effects of medication, and studies on lymphocyte function. In Peru s database, there were six studies done on people living with HIV. Four of them had high methodological quality; two had intermediate quality; and two had limited quality. In Ecuador, there were five studies done on people living with HIV. None of them had high methodological quality; one had intermediate quality; and the other four had limited quality. In Bolivia, there were two studies done on people living with HIV. Both had intermediate methodological quality (Figure 14). 29

32 Number of documents Figure 14. Methodological quality of studies on people living with HIV, by country. Andean Region; Limited Intermediate High Peru n= 6 Ecuador n= 5 Bolivia n= 2 Source: Authors calculation using information from Database and References for an Evidence-based Strategy in Peru, Ecuador and Bolivia. Findings: Figure 14 clearly shows that no high methodologically quality studies done on people living with HIV were found in either Ecuador or Bolivia. Hence, the evidence on people living with HIV is a major information gap in both countries. General population In Peru s database, there were 14 studies done on the general population. Thirteen of them had high methodological quality (93%); and one had intermediate quality (7%). In Ecuador, there were eight studies done on the general population. Five of them had high methodological quality (62.5%); one had intermediate quality (12.5%); and two had limited quality (25%). In Bolivia, there were seven studies done on the general population. Six of them had high methodological quality (86%); one had intermediate quality (14%) (Figure 15). 30

33 Figure 15. Methodological quality of the studies in general population, by country. Andean Region; % 90% 80% 70% 60% 50% 40% Limited Intermediate High 30% 20% 10% 0% Peru n= 14 Ecuador n= 8 Bolivia n= 7 Source: Authors calculation using information from Database and References for an Evidence-based Strategy in Peru, Ecuador and Bolivia. Findings: The following statement held true for each of the three Andean countries: the proportion of its studies of the general population that had high methodological quality was significantly larger than the proportion of its overall database of studies that had high methodological quality. This is most likely due to the simple fact that the general population is easier to access than more narrowly-defined groups. Youth and adolescents In Peru, there were seven studies done on youth and adolescents. Six of them had high methodological quality (86%); and one had intermediate quality (14%). In Ecuador, there were 11 studies done on youth and adolescents. Seven of them had high methodological quality (64%); two had intermediate quality (18%); and two had limited quality (18%). In Bolivia, there were five studies done on youth and adolescents. All of them had high methodological quality (100%) (Figure 16). 31

34 Figure 16. Methodological quality from youth and adolescents studies, by country. Andean Region; % 90% 80% 70% 60% 50% 40% Limited Intermediate High 30% 20% 10% 0% Peru n= 7 Ecuador n= 11 Bolivia n= 5 Source: Authors calculation using information from Database and References for an Evidence-based Strategy in Peru, Ecuador and Bolivia. Findings: Figures 15 and 16 are very similar, which implies that in each of these countries the methodological quality is similar for studies done on the general population and for studies done on youth and adolescents. In all three countries, the proportion of high methodological quality studies done on youth and adolescents is above the average. This is most likely due to the same reason why it is true for studies done on the general population: it is easier to access youth and adolescents than most-at-risk groups such as MSM, injection drug users, and female sex workers. Comparison of methodological quality scores among population groups In order to analyze whether the difference in quality observed among the studies of the different population groups was statistically significant, ASAP divided the studies into two groups: (i) one group comprised of the studies done on the general population and youth; and (ii) a second group comprised of the studies done on MSM, female sex workers and people living with HIV. To analyze if the difference was statistically significant, ASAP applied the non- 32

35 parametric test of Kruskal-Wallis2. This test is used to compare non-normal distributions, and weighs the probability that the difference observed among such distributions is merely a product of chance. In all three of the Andean countries, the quality score of the studies on MSM, female sex workers and people living with HIV was significantly lower than the scores of the studies covering the general population and youth. The differences were statistically significant with values of p=0.003 for Peru, p=0.05 for Ecuador, and p=0.001 for Bolivia. In all three countries, the conclusion is that the quality of the studies done in key populations is lower than the quality of studies on the general population. The sources of methodological weakness The above analysis raises the question of whether the differences in the scores observed among the studies done in most-at-risk populations and the studies of the general population were due to some specific methodological limitation. To investigate this question, ASAP made an analysis of the weaknesses in each of the eight methodological criteria for each group. A general assessment of Figures 17 and 18 shows the weaknesses found by criteria through this analysis. Selection bias which was taken into account in the variable sampling technique was the criteria that presented the most weaknesses in the studies done on most-at-risk populations: 90-92% of such studies utilized convenience sampling. By contrast, probabilistic samples were obtained in most of the studies done on general populations, and only 10-40% used convenience sampling. This was true for all three countries, and accounts for the difficulty in obtaining probabilistic sampling in most-at-risk populations. Among the studies evaluated, a minimum proportion of studies were found that used the respondent driven sampling technique; no study was found that used the TSS (time space sampling technique). Obtaining an adequate sample size was the criterion that presented the second most weaknesses in the studies done on most-at-risk populations. This was observed in all three countries, although the difference was more evident in Bolivia and Peru than in Ecuador. Insufficient sampling size results in studies that lack statistical power. It is possible that this criterion is also linked to the difficulty of accessing hard-to-reach populations. The presence of weaknesses in other criteria does not seem to follow a pattern linked to the exposure of certain population groups to HIV. Among these, the most common weakness was the failure to consider the limitations imposed by the methodology implemented. The studies done on the general population and on youth in Peru and Ecuador more frequently had weaknesses regarding this issue. However, in Bolivia the opposite was observed. 2 In statistics, the Kruskal-Wallis test is a non-parametric method developed to prove whether a set of data come from the same population. The traditional ANOVA assumes normalcy in the data; the Kruskal-Wallis does not, because it is a non-parametric test. The Kruskal-Wallis test does assume under the null hypothesis that the data comes from the same distribution. 33

36 Figure 17. Origin of methodological weakness in studies done in key populations, by country. Andean Region; 2009 Defines objective Inclusion criteria Sample size Sampling technique Technique for reducing data collection errors Analytical technique Describes limitations Calculation of statistical errors and/or p value Percentage of studies Peru n= 32 Ecuador n= 25 Bolivia n= 10 Source: Authors calculation using information from Database and References for an Evidence-based Strategy in Peru, Ecuador and Bolivia. 34

37 Figure 18. Origin of methodological weakness in studies done in general populations and youth, by country. Andean Region; 2009 Defines objective Inclusion criteria Sample size Sampling technique Technique for reducing data collection errors Analytical technique Describes limitations Calculation of statistical errors and/or p value Percentage of studies Peru n= 21 Ecuador n= 19 Bolivia n= 12 Source: Authors calculation using information from Database and References for an Evidence-based Strategy in Peru, Ecuador and Bolivia. 35

38 Findings: Sampling technique and adequate sampling size were the methodological criteria that most frequently presented weaknesses. Both methodological limitations presented themselves more frequently in the studies done in most-at-risk populations, probably due to the stigma, discrimination and illegality that are present when working with such hard-to-reach populations. The third criterion that frequently presented weaknesses was the failure to describe the study s limitations. However, unlike the two aforementioned criteria, there was no clear pattern regarding which type of focus populations exhibited weaknesses in this criterion. Discussion The compilation of this evidence and its analysis is based on the concept of making information more available for the process of HIV and AIDS-related strategic planning that is evidence-based and results-oriented. In such a planning process, information is used to establish baseline values, indicators and expected goals. If the information available is consistent through time, it will allow trends in the epidemic and results obtained to be evaluated as outcomes of the management and planning of the national response. In this iterative process, knowing the results will allow for evaluation of the efficacy of the implemented strategy and the need for re-direction or re-design of the plans. Peru In Peru, there was a homogeneous set of documents, composed mostly of scientific articles published in international journals that conduct exhaustive peer reviews. Research studies have been undertaken among a variety of population groups, with varying degrees of exposure to HIV but almost two-thirds of the research in Peru corresponds to the most-at-risk populations. Prevalence, and socio-demographic and behavior variables have been studied in almost all population groups. However, data has not been compiled on HIV in relation to people with disabilities. Studies done in other regions suggest that this group could have a higher risk of acquiring HIV (24, 25, 26). People with disabilities are also frequently considered hidden populations, not because of any issues of illegality, but because often societies don t see them or else consider that they are not especially at risk of acquiring HIV. The epidemiological design adopted by most of the studies in question is cross-sectional. Some of the studies have done several cross-sections in certain populations, implementing the same methodology over a period of time. This strategy does not generate the same evidence as monitoring a cohort (where the same individuals are tracked), but it does allow for the evaluation of temporary changes and can establish trends. Most of the studies included in Peru s database have sound methodological quality. The studies that presented a quality index of 8 points or more represented 82% of the total. This reflects the important history of HIV research in Peru since the beginning of the epidemic. Throughout the years, Peruvian research has had the active participation of 36

39 nationally and internationally-recognized institutions. This view coincides with that of other reviews (27). The quality scores for the studies done on the general population, and adolescents and youth, were found to be higher than the ones done on MSM and female sex workers. The difference between them is statistically significant. The most frequent limitations found in the studies done on the most-at-risk populations were inadequate sample size and participant selection bias; in most of these studies convenience sampling was utilized. These methodological obstacles are much more difficult to sort out when working with hard-to-reach populations, due to the stigma and discrimination frequently faced by its members. The use of new sampling strategies for hard-to-reach populations, such as TSS (time space sampling), represent a challenge for future investigations. Ecuador In Ecuador, there was a heterogeneous set of documents, mostly made up of technical reports and scientific articles, but also including PowerPoint presentations and one poster presentation. Only 60% of these studies had been published at the time of data compilation. The lack of publication not only limits dissemination of the results, but also contributes to generating studies with methodological limitations. It is more desirable to promote the submission of manuscripts to journals that have a peer review process. Peer review can provide options and point out aspects that in the end will contribute to improving the quality of the study s results. Almost 60% of the studies were conducted in key HIV populations. Among the population groups considered at lower risk, the studies conducted on youth were the most frequent; studies on youth constituted nearly 20% of the total studies. The methodological quality among all the studies is quite dispersed. Approximately half of the studies had high methodological quality scores, one quarter had intermediate quality, and the remaining quarter had limited quality. In the studies done on MSM and female sex workers, selection bias and inadequate sample size were the main causes of methodological weakness. The majority of studies done on people living with HIV had limited methodological quality. However, a single cause for the flaws within this group could not be identified, due to the fact that almost all of the assessed characteristics had some weakness. An important number of KAP studies have been compiled through ASAP s activities. Sixty percent of these studies had high methodological quality. However, this did not hold true for HIV serological studies in addition to being done less frequently, only about 40% of such studies had high methodological quality. The analysis of syphilis and other STI studies found a more serious scenario, where only two studies were analyzed and one of them was of limited methodological quality. For this reason, the information on syphilis and STI prevalence represents a critical information gap. These issues must be included in 37

40 each country s research agenda, since these infections are not only important in and of themselves but also have significant relevance to the spread of HIV. Bolivia In Bolivia, a total of 25 documents were included in the characterization and assessment phase, most of which were technical reports. A quarter of them had not been published at the time of assessment. Almost all of the studies had a cross-sectional design with different variations, with KAP surveys being the most frequent. In both Bolivia and Peru, the methodological quality of the KAP surveys was inferior to the HIV serological surveys. Only a third of the studies in Bolivia were done in most-at-risk populations. Among those groups, MSM and female sex workers were prioritized. The conclusion is that the overall prioritization of HIV-related studies in Bolivia does not match the type of concentrated epidemic that is present in Bolivia. This suggests a need to re-orient research objectives to the groups where the epidemic is most concentrated. Approximately 70% of the studies had high methodological quality. However, this is not true for all population groups the quality of the studies done in most-at-risk groups is significantly worse than those done in the general population. Of the three Andean countries, Bolivia is the one where this difference is most significant. The conclusion is that the studies done in key Bolivian populations are proportionally less and of lesser methodological quality. As discussed above, this suggests the need to re-prioritize the country s research agenda towards those groups where the burden of the epidemic is more pronounced. This analysis did not aim to evaluate aspects related to the standardization of the operational variables. All the same, it is important to point out that a wide variation in the operative definitions used was observed in the region. This variation limits the possibility of comparing the studies either across time or across geographical regions. Each of these countries needs to consider adopting a more consistent use of indicators and stronger prioritization of UNGASS indicators in their respective research agendas. It is important to establish guidelines and standards for the definition of operational variables in order: (i) to strengthen the evidence related to HIV and other STIs; (ii) to guide the research; and (iii) to guarantee the dissemination and use of data when planning the response to the spread of the HIV epidemic. Conclusions about the use and usefulness of the tool The absence of simple tools for assessing the quality of existing HIV data has motivated the development of this checklist tool. The experience of implementing this tool in Latin America proved to be easy and feasible. The tool permitted a group of users to assess more than 300 research 38

41 studies. During the assessment process, high levels of consistency were found among the users, suggesting that the tool is accurate. The tool was able to differentiate those studies in the databases with higher capacity to generate methodologically sound information. This practical approach identified the studies that implemented strategies and designs that increased confidence in the results. The implementation of the tool promoted an in-depth, methodological analysis of each study; this process was very useful as the first phase of the data triangulation process. Because the tool focuses on data quality, it has helped to redefine information gaps. This was especially true for certain population groups and issues, where the data assessment identified studies that were not methodologically sound. The implementation of this methodology has identified the primary methodological obstacles faced by local researchers when studying different population groups; it has also identified possible solutions. The use of this tool is expected to contribute to increased knowledge of the HIV epidemic and to promote better methodological quality within HIV studies; these advancements will help guide responses to the advance of the virus. 39

42 References 1. ONUSIDA/09.36S Situación de la epidemia de sida, diciembre de UNAIDS/WHO Initiating Second Generation HIV Surveillance System: Practical Guidelines. UNAIDS/WHO Working Group on Global HIV/AIDS and STI Surveillance UNAIDS/WHO Second Generation Surveillance for HIV: The Next Decade Rodríguez-García R, World Bank Group Planning and Managing for HIV/AIDS Results. A Handbook Atkins D, Best D, Briss PA, et al "Grading quality of evidence and strength of recommendations". BMJ 328 (7454): World Health Organization HIV Triangulation Resource Guide. e_en.pdf 7. Downs S, Black N The feasibility of creating a checklist for the assessment of the methodological quality both of randomized and non-randomised studies of health care interventions. J Epidemiol Community Health 1998; 52; World Health Organization Sexually Transmitted Infections Prevalence Study Methodology. Guidelines for the implementation of STI prevalence surveys. ementation_of_sti_prevalence_surveys.pdf 9. Aschengrau, A Essentials of Epidemiology in Public Health. Sudbury Mass.: Jones and Barlett. 10. Gordis, L Epidemiology. Third Edition, Elsevier Saunders. 11. Girden, E Evaluating Research Articles from Start to Finish. Second Edition, Sage Publications. 12. Hernandez-Avila, M. y col Diseño de estudios epidemiológicos. Salud pública de México / vol.42, no.2, marzo-abril de Szklo M Quality of scientific articles. Rev Saúde Pública 2006; 40 (N Esp): Velasco, V. y col Muestreo y Tamaño de Muestra. Una guía práctica para personal de salud que realiza investigación. e-libro.net. Buenos Aires 15. Salganik M, Heckathorn D Sampling and Estimation in Hidden Populations Using Respondent-Driven Sampling. Sociological Methodology, Vol. 34. (2004), pp Muhib F, Lin L, et al A venue-based method for sampling hard-to-reach populations. Public Health Rep. 2001; 116(Suppl 1): UNAIDS/WHO/UNICEF Epidemiological fact sheets on HIV and AIDS. p 40

43 18. CARE-Perú Cuarta Medición de Indicadores de los Objetivos 2-4 del Componente VIH Bautista, C.T., Sánchez J.L., Montano S.M., Laguna-Torres V.A., Lama J.R., Kusunaki L., y Carr J.K Seroprevalence of and risk factors for HIV-1 Infection among South American men who have sex with men. Sex Transm. Infect : Ministerio de Salud y Deportes, ONUSIDA, OPS/OMS, USAID, CDC, IBIS-HIVOS Estudio de Sexualidad Masculina y VIH en Bolivia (SEMVBO). La Paz, Bolivia Ministerio de Salud, Estrategia Sanitaria Nacional de ITS/VIH/SIDA, Coordinadora Nacional en Salud, ASAP, Perú Base de Datos y Referencias para una Estrategia Basada en Evidencia. 22. Programa Nacional de Prevención y Control del VIH/SIDA-ITS del Ministerio de Salud Pública, ASAP, Ecuador Base de Datos y Referencias para una Estrategia Basada en Evidencia. 23. Ministerio de Salud y Deportes Programa Nacional ITS/VIH/SIDA, ASAP, Bolivia Base de Datos y Referencias para una Estrategia Basada en Evidencia. 24. Maart S, Jelsma J The sexual behaviour of physically disabled adolescents. Disabil Rehabil. 2010;32(6): Heidari S, Kippax S Special theme on HIV and disability - time for closer bonds. J Int AIDS Soc Nov 9;12(1): 26. Rohleder P, Braathen SH, Swartz L, Eide AH HIV/AIDS and disability in Southern Africa: a review of relevant literature. Disabil Rehabil. 2009;31(1):51-9. PubMed PMID: Cáceres CF, Mendoza W Monitoring Trends in Sexual Behaviour and HIV/STIs in Peru: Are Available Data Sufficient?. Sex Transm Infect 2004; Suppl 2:ii

44 Annex 1: Document Quality Assessment Tool Characterization of documents 1. Type of document The great variety of documents submitted as data sources makes it essential to determine the type of each one based on structural characteristics. Scientific article or manuscript: This type of document has a structure that follows a set format and includes different sections: summary, introduction, objective, materials, methods, results, discussion, conclusions and references. Abstract: Only an abstract of the study is available; the entire document cannot be accessed. Poster: These are presentations prepared in poster form in a variety of scientific and academic contexts. Even though they have the same structure and organization as the scientific documents, the sections are presented in a short version due to the space available. PowerPoint presentations : The presentation of information in an electronic format such as PowerPoint or other similar presentation program and text outline format. Technical report: Technical reports may be classified according to their level of review: a preliminary report (a version that will be submitted for further review) and final report (the final version). If the length of the report is taken into account, such documents can be classified as summary or full-length report. Monograph/thesis: These are full-length documents submitted by future professionals; they provide in-depth analysis of a research topic. The basic structure is similar to scientific articles; these documents are generally available at universities. Reports by the Epidemiology department of a Ministry of Health: These documents are active and passive epidemiology reports (cases, laboratory, blood banks, etc.) and program reports. 42

45 2. Status and form of publication It is important to know the status of publication of the studies and documents, as well as the medium through which they were disseminated. The status of publication can be characterized as follows: Published in scientific journals with a peer review process: Before they are accepted, the works published in these journals are subject to a detailed analysis of their methodological characteristics, by a committee of experts. Published in a peer review journal: The studies published through this medium do not count on the same quality control defined by the group of experts defined above. Official publication: These are studies or data disseminated through periodical publications of the Ministry of Health, such as bulletins or official gazettes. Government, civil society or agency one-time technical publications: These are isolated, non-periodical publications that employ technical language. They may appear published in print or be available on the Internet. Publication intended for the general public: These publications utilize non-technical language and are aimed at the general public. They do not usually address the methodological details of the study. They can be one-time or periodical, and they can either appear in print or on the Internet. Unpublished: These documents have not been published formally, nor are they available on the Internet. No Data: No information has been found on the publication status of the document. 3. Design Because of the different situations presented in research, different types of designs for epidemiological studies have been defined. The selection of the right design is very important for the success and effectiveness of a study. Design types are classified as: Prospective cohort Retrospective cohort Clinical trial or experimental study Case-control study 43

46 Cross-sectional, also known as survey or prevalence studies: - Serological survey - Knowledge, attitudes and practices survey - Demographic and health surveys - Cross-sectional studies of other topics Case series studies Others 4. Priority population or universe This item takes into account the population engaged by each study: People living with HIV Men who have sex with men Female/male sex workers Injection drug users Prisoners Migrant population Pregnant women General population Youth Other populations as defined by the country Evaluation of methodological content ASAP defined eight items or characteristics linked to best practices. Analysis of these methodological characteristics yields important information, such as the existence of bias, statistical significance, or the feasibility of generalizations based on the findings. For each criterion, a question with yes/no answer has been defined. If the answer is positive, one point is awarded; if it is negative, no points are awarded. Three of these items are doubleweighted because of their critical importance. If the answer to a double-weighted criterion is positive, it is multiplied by a factor of two. These double-weighted criteria are: (i) sample size; (ii) sampling technique; and (iii) techniques to reduce data collection errors. Finally, the results are added up, to obtain a total score that is regarded as the quality index of the methodological content. The score scale has a range of 0 to 11. Two cut-off points have been defined in this scale, establishing that a score of 8 or more represents high methodological quality; a score of 5 to 7 represents intermediate quality; and a score of 4 or less represents limited quality. 1. Objective of the study Is/are the objective(s) of the study clearly defined? Do the development and results of the study respond to the objective(s)? The answer to both questions should be yes. Yes= 1 44

47 No= 0 2. Inclusion criteria Were the inclusion/exclusion criteria for the study subjects established and specified? Yes= 1 No= 0 3. Sampling size Was the sample size determined to allow the study to have statistical significance? Was the number of subjects screened similar to the previously established sampling size? The answer to both questions should be yes. Yes= 1 (criterion weighted x2) No= 0 4. Sampling technique Were the study subjects selected using a probability sampling method? Yes= 1 (criterion weighted x2) No= 0 5. Techniques to reduce data collection errors Have actions been taken to minimize data collection errors? Yes= 1 (criterion weighted x2) No= 0 6. Technical/logical description of the data assessment Does the study present or describe the data assessment plan, including univariate, bivariate and multivariate analysis (where appropriate) to answer the study s objectives? Yes= 1 No= 0 7. Limitations Does the study recognize, describe or evaluate the presence of limitations (biases) imposed by the methodology? Yes= 1 No= 0 8. Statistical significance or confidence intervals Are the findings presented with an appropriate assessment of their confidence intervals and statistical significance? Yes= 1 No= 0 45

48 Cut-off points in the total score: 8 points or more: High methodological quality 5 to 7 points: Intermediate methodological quality 4 points or fewer: Limited methodological quality Table 1A makes the transferring of the data collected for each study easier. An example of how to fill the table is shown on the following page. 46

49 Defines objective Defines inclusion / exclusion criterion Calculates sample size Sampling technique Reduces collection errors Analytical technique Describes limitations Statistical significance Table 1A. Methodological Classification of the Studies Included in the Database. Country X, 2009 Technical Content N o Type of Document Publication status Type of study and design Population Maximum score: 11 1 Monograph Unpublished Cross-sectional Scientific article Scientific article Scientific article Scientific article Scientific article Scientific article Technical report Technical report Technical report Journal with peer review Journal with peer review Journal with peer review Official bulletin Official bulletin No information available Technical publication Unpublished Technical publication KAP = Knowledge, attitudes and practices Women who have had a hysterectomy Weighting Experimental Students Cross-sectional: serological survey and KAP Cross-sectional: serological survey Cross-sectional: serological survey Cross-sectional: serological survey and KAP Cross-sectional: KAP survey Cross-sectional: demographic and reproductive health survey Cross-sectional: KAP survey Cross-sectional: KAP survey MSM Female sex workers Oil workers Female sex workers Adolescent females General population MSM Youth Case series Female sex workers

50 Annex 2: Acknowledgements This paper benefited from a peer review process that included specialists who reviewed the English and Spanish versions of the paper. The authors wish to thank and acknowledge the following reviewers in alphabetical order by the first name for providing useful comments and insights: Amparo Gordillo Tobar, Latin America and Caribbean Region, World Bank Andrea Boccardi Vidarte, UNAIDS Latin America César Nuñez, UNAIDS Latin America Claudia Velásquez, UNAIDS Latin America Danilo Rayo, Specialist, Nicaragua Hernán Laca, Specialist, Uruguay Javier Jahnsen, Specialist, Bolivia Marcelo Bortman, Latin America and Caribbean Region, World Bank Marjolein Jacobs, UNAIDS Latin America Olivier Grégoire, Specialist, Belgium Patricia Bracamonte, UNAIDS Latin America The authors are also deeply grateful to Claudia J. Santos for her translation and editorial services. A special thank you goes to Mario Méndez of the Global HIV and AIDS Program, HNP, HDN, World Bank for his invaluable translation and administrative support provided to the team. Any error or omission in the paper is that of the authors only and does not implicate in any way the above individuals who graciously provided feedback and advice. 48

51

52

53 METODOLOGÍA PARA EL ANÁLISIS DE LA CALIDAD DE LOS DATOS: IMPLEMENTACIÓN EN PROGRAMAS DE VIH Y SIDA EN LATINOAMÉRICA Rosalía Rodriguez-García, Michel Eric Gaillard, Alejandra Suarez Lissi, and Pedro Magne Condarco 1 Banco Mundial Extracto: La evidencia es un aspecto crucial en la planificación estratégica de la respuesta del VIH como también el monitoreo de los resultados. Este documento presenta una herramienta sencilla que puede ser usada para analizar la calidad metodológica de datos de VIH, el grado de confiabilidad de sus hallazgos y la posibilidad de ser comparados. La herramienta, utilizada como cuestionario o lista de verificación, inicialmente identifica el tipo de documento, estado y medio de publicación, tipo de diseño epidemiológico empleado y la población objetivo de investigación. Luego se aplica una lista de verificación basada en 8 criterios metodológicos: 1) Objetivo claro y coherente con el desarrollo del estudio; 2) Definición de criterios de inclusión y exclusión; 3) Tamaño de la muestra; 4) Técnica de muestreo; 5) Estrategias para disminuir el error de recolección de datos; 6) Técnica de análisis de los datos; 7) Evaluación de limitaciones impuestas por la metodología; 8) Expresión de intervalos de confianza y/o significación estadística. El documento también presenta los resultados de implementación de la herramienta en tres países latinoamericanos. Palabras clave: Calidad de los datos, VIH y SIDA, Región Andina 1 Los autores son personal o consultores del Programa Global de VIH y SIDA, Salud, Nutrición y Población (HNP, por sus siglas en inglés), Red para el Desarrollo Humano (HDN, por sus siglas en inglés). El documento se benefició de un proceso de revisión de pares que incluyó especialistas que revisaron las versiones en inglés y español. Los autores desean agradecer y reconocer los revisores que figuran en el apéndice por haber proporcionado sus comentarios útiles como también sus puntos de vista. Los autores desean también reconocer el apoyo de David Wilson, Director del Programa Global de VIH y SIDA del Banco Mundial. Las opiniones expresadas en este documento son únicamente de los autores y no necesariamente representan los puntos de vista del Banco Mundial ni de sus Directores Ejecutivos de los países que estos representan.

54

55 Contenido Prólogo... 5 Acrónimos... 6 Resumen ejecutivo... 7 Metodología para el análisis de la calidad de los datos... 9 Introducción... 9 Uso de la evidencia para informar la toma de decisiones... 9 Por qué es importante analizar la calidad de los datos? Metodología para el análisis de la calidad de los datos Caracterización de los documentos Análisis del contenido metodológico Fundamentos para los 8 criterios: representatividad y rol del azar Implementación del método Experiencia en Latinoamérica Análisis de la calidad de los datos en la región Andina: Bolivia, Ecuador y Perú Resultados Discusión Conclusiones sobre uso y utilidad de la herramienta desarrollada Referencias Bibliográficas Anexo 1: Instrumento guía de evaluación Anexo 2: Agradecimientos Lista de Tablas Tabla 1. Caracterización de los documentos incluidos en la base de datos Tabla 2. Aspectos metodológicos evaluados Tabla 3. Puntos de corte en la escala de puntaje Tabla 1A. Clasificación metodológica de los estudios incluidos en la base de datos. País X,

56 Lista de Figuras Figura 1. Estrategia del Ciclo de Resultados Aplicado al VIH/SIDA Figura 2. Tipo de documentos recopilados en Perú, Ecuador, Bolivia Uruguay, Paraguay, Nicaragua, Guatemala y El Salvador Figura 3. Estado de publicación de los documentos recopilados en Perú, Ecuador, Bolivia Uruguay, Paraguay, Nicaragua, Guatemala y El Salvador Figura 4. Diseño epidemiológico de los estudios recopilados en Perú, Ecuador, Bolivia Uruguay, Paraguay, Nicaragua, Guatemala y El Salvador Figura 5. Calidad metodológica de los estudios recopilados en Perú, Ecuador, Bolivia Uruguay, Paraguay, Nicaragua, Guatemala y El Salvador Figura 6. Tipos de documentos recopilados por país. Región Andina, Figura 7. Estado de publicación de los documentos recopilados por país Región Andina, Figura 8. Diseños epidemiológicos de los estudios recopilados por país Región Andina, Figura 9. Población objetivo de los estudios recopilados, por país. Región Andina, Figura 10. Calidad metodológica de los estudios recopilados, por país. Región Andina, Figura 11. Calidad metodológica de los estudios en hombres que tienen sexo con hombres, por país. Región Andina, Figura 12. Calidad metodológica de los estudios en trabajadoras sexuales, por país. Región Andina, Figura 13. Calidad metodológica de los estudios en personas privadas de libertad, por país. Región Andina, Figura 14. Calidad metodológica de los estudios en personas con VIH, por país. Región Andina, Figura 15. Calidad metodológica de los estudios en población general, por país. Región Andina, Figura 16. Calidad metodológica de los estudios en jóvenes y adolescentes, por país. Región Andina, Figura 17. Origen de las debilidades metodológicas en los estudios de poblaciones clave, por país. Región Andina, Figura 18. Origen de las debilidades metodológicas en los estudios de población general y jóvenes, por país. Región Andina,

57 Prólogo El presente trabajo es fruto de la experiencia realizada por ASAP en Latinoamérica, en su misión de apoyar a los países a responder estratégicamente a la epidemia de VIH. Hoy en día se reconoce que la forma más eficaz de desarrollar políticas y programas que logren impacto sobre la epidemia, es a través de una gestión orientada a resultados. En este proceso el uso de la evidencia para informar la toma de decisiones es fundamental. Por eso un aspecto crucial de la planificación estratégica basada en observaciones críticas, es presentar a los tomadores de decisiones los datos de tales observaciones sobre la evolución y tendencias de la epidemia y sus determinantes. ASAP ha colaborado con los Ministerios de Salud de varios países recopilando todos los datos de fuentes primarias producidos localmente en los últimos quince años. Los datos luego fueron integrados en un documento llamado Base de Datos y Referencias para una estrategia Basada en Evidencia. Un aspecto importante cuando se utiliza información de múltiples y variadas fuentes es poder interpretar los alcances y limitaciones de los hallazgos reportados, valorar si los estudios son comparables y ahondar en la metodología empleada. Tal análisis permitirá conocer por ejemplo, la representatividad de una muestra o la posibilidad de generalizar los resultados a la población que se pretende estudiar. Con esta finalidad ASAP propone esta herramienta de análisis de la calidad metodológica de los datos, con formato de cuestionario o lista de verificación. La misma ofrece un acercamiento práctico, especialmente dirigido al espectro de estudios que son de uso frecuente en el abordaje de la temática del VIH. La herramienta propuesta ayudará en la identificación de sesgos o problemas metodológicos surgidos al diseñar o realizar los estudios, permitiendo conocer mejor la calidad de la información que cada uno aporta. Este análisis crítico será también de ayuda en identificar las dificultades y limitaciones que encuentran en su camino los investigadores que trabajan en el campo del VIH, especialmente en el acercamiento a las poblaciones más expuestas o difíciles de alcanzar. Finalmente el uso de esta metodología se ilustra con la rica experiencia que a lo largo de los dos últimos años, ASAP, administrado por el Banco Mundial, ha realizado en la región. 5

58 Acrónimos AIDS ASAP CAP CDC DHS GHAP HSH ITS ONUSIDA OPS/OMS PPT RDS TLS TSS SIDA UNGASS VIH Acquired Immune Deficiency Syndrome Servicio de Estrategia y Plan de Acción contra el SIDA Conocimientos, Actitudes y Prácticas Centers for Disease Control and Prevention Demographic and Health Surveys Global HIV/AIDS Program, World Bank Hombres que tienen Sexo con Hombres Infecciones de Transmisión Sexual Programa Conjunto de las Naciones Unidas sobre el VIH/SIDA Organización Panamericana de la Salud/ Organización Mundial de la Salud PowerPoint Respondent Driven Sampling Time Location Sampling Time Space Sampling Síndrome de Inmunodeficiencia Adquirido United Nations General Assembly Virus de Inmunodeficiencia Humana 6

59 Resumen ejecutivo Introducción: En Latinoamérica las personas viviendo con VIH suman cerca de dos millones, en una epidemia que se concentra en poblaciones clave de mayor riesgo de infección. Diferentes fuentes de información han sido utilizadas para conocer la epidemia de VIH y sus determinantes en años recientes. Reconociendo el valor crucial de la evidencia como base del proceso de planificación estratégica y monitoreo de resultados, ASAP ha colaborado con los ministerios de salud de 8 países en Latinoamérica y ha recopilado la información generada sobre la epidemia de VIH durante los últimos 15 años. En cada país la información fue organizada en un documento integrado denominado Base de Datos y Referencias para una Estrategia Basada en Evidencia. En un segundo tiempo, se analizó la calidad metodológica de los estudios para conocer los alcances y limitaciones, el grado de confiabilidad de sus hallazgos y la posibilidad de ser comparados. Para realizar el mencionado análisis, se utilizó un instrumento desarrollado por ASAP con formato de cuestionario o lista de verificación. Objetivos: Presentar el marco conceptual, metodología y forma de aplicación del instrumento para analizar la calidad metodológica de los datos. Compartir, a modo de ejemplo práctico, el resultado de la implementación de dicha metodología en la Región Andina. Metodología: Para la caracterización y análisis de los estudios inicialmente se identifica el tipo de documento, estado y medio de publicación, tipo de diseño epidemiológico empleado y la población objetivo de investigación. Luego se aplica una lista de verificación basada en 8 criterios metodológicos: 1) Objetivo claro y coherente con el desarrollo del estudio; 2) Definición de criterios de inclusión y exclusión; 3) Tamaño de la muestra; 4) Técnica de muestreo; 5) Estrategias para disminuir el error de recolección de datos; 6) Técnica de análisis de los datos; 7) Evaluación de limitaciones impuestas por la metodología; y 8) Expresión de intervalos de confianza y/o significación estadística. Se adjudica 1 punto si el aspecto está presente, y 0 si no lo está. Los criterios 3, 4 y 5 han sido ponderados por 2. Para finalizar se realiza la sumatoria de puntajes parciales, obteniéndose un puntaje total o índice de calidad dentro de una escala de 0 a 11 puntos. Implementación en la Región Andina: A manera de ejemplo, se detalla la experiencia que ASAP desarrolló en los países Andinos: Bolivia, Ecuador y Perú, durante el año En los tres países, se encontró que los estudios realizados en las poblaciones clave tienen puntajes de calidad menores que los de población general. Las dos características metodológicas que más contribuyeron a marcar esta diferencia fueron el sesgo de 7

60 selección y el tamaño inadecuado de la muestra. Ambos aspectos representan desafíos a considerar en las futuras investigaciones. Existe una gran variación en las definiciones operacionales de los indicadores utilizados, especialmente en las áreas de conocimiento y comportamiento relativos al VIH, lo que dificulta la comparación de datos. Es necesario considerar en las agendas de investigación el uso consistente de indicadores, y la priorización de los indicadores de UNGASS. En Ecuador y Bolivia se encontró un alto porcentaje de estudios no publicados, lo que sugiere la necesidad de promover la presentación de manuscritos a publicaciones que cuenten con proceso de revisión de pares, lo que contribuirá a mejorar la calidad de las investigaciones y a su más efectiva socialización. En estos dos países se identificó que la investigación en personas con VIH representa una brecha de información que requiere de consideración. En Ecuador la información sobre prevalencia de Sífilis y otras ITS representa una crítica brecha que necesita ser incorporada en la agenda de investigación del país. En el caso de Bolivia las poblaciones más expuestas han sido las menos estudiadas, lo que sugiere la necesidad de reorientar la agenda de investigación, dada la característica concentrada de su epidemia. Conclusiones sobre uso y utilidad de la herramienta desarrollada: La experiencia realizada en Latinoamérica, ha mostrado que la utilización de esta herramienta con formato de lista de verificación, es sencilla y factible. La metodología implementada logró identificar los estudios con estrategias y diseños que aumentaron la confiabilidad de sus resultados. El minucioso análisis metodológico de cada estudio, resultó de suma utilidad como paso previo al proceso de triangulación de los datos. Al permitir tomar en cuenta la calidad de los datos, esta herramienta ha ayudado a redefinir brechas en la información. Por último, ha permitido conocer los principales obstáculos metodológicos que enfrentan los investigadores locales y proponer posibles alternativas de solución. Se espera que el uso de esta herramienta pueda contribuir al mejor conocimiento de la epidemia de VIH. 8

61 Metodología para el análisis de la calidad de los datos Introducción Como en la mayoría de las regiones del mundo, en América Latina los primeros casos de VIH fueron detectados en los inicios de la década de los 80. Desde entonces el número de infectados se ha incrementado significativamente, estimándose que en la actualidad cerca de dos millones de personas viven con VIH en la región (1). La mayoría de ellas son jóvenes o adultos jóvenes, lo que genera una importante carga económica y social en los países afectados. La epidemia en América Latina continúa siendo de tipo concentrada (1), ya que la mayoría de los casos se registran en ciertos grupos poblacionales más expuestos. Estos son considerados poblaciones clave tanto para la dinámica de la epidemia, como para definir la respuesta a la misma. Los grupos de Hombres que tienen Sexo con Hombres, Usuarios de Drogas Intravenosas, Personas Privadas de Libertad, Trabajadores y Trabajadoras Sexuales constituyen las principales poblaciones clave con mayor riesgo de infectarse. A lo largo del tiempo se han desarrollado esfuerzos para obtener información sobre el progreso y las características de la epidemia. Al comienzo se utilizaron sistemas de vigilancia convencional, llamados de primera generación. Estos sistemas de vigilancia pasiva, se limitan a contar el número de casos en las notificaciones tradicionales realizadas por los Ministerios de Salud. Con el tiempo se desarrollaron sistemas de vigilancia más ágiles y activos, denominados de segunda generación, que además de prevalencia de VIH monitorean también cambios en conocimientos, comportamientos y prácticas sexuales asociadas al riesgo de contraer el virus (2, 3). El conocer la información sobre la dinámica de la epidemia de VIH generada por los estudios, es un elemento clave en la planificación de la respuesta de los países; sin embargo es importante también valorar los alcances y las limitaciones de la evidencia producida por cada estudio. Con este propósito ASAP ha desarrollado un instrumento con formato de lista de verificación, que de forma sencilla pretende colaborar en el análisis de la calidad de los datos obtenidos por las investigaciones. Uso de la evidencia para informar la toma de decisiones Actualmente se reconoce internacionalmente que la forma más eficaz de desarrollar políticas y programas que logren impacto sobre la epidemia de VIH, es a través de una gestión orientada a resultados. En este proceso el valor atribuido a la evidencia es crítico, estratégico y fundamental. La planificación estratégica se basa en observaciones y se centra en los resultados que reflejan las realidades de la epidemia y los logros de la respuesta nacional. De esta manera el proceso de planificación no se centra únicamente en insumos y actividades para lograr objetivos específicos, sino que enfoca la naturaleza y envergadura de sus esfuerzos en los resultados y efectos directos deseados. La 9

62 planificación estratégica no es un proceso lineal sino iterativo con etapas que se refuerzan y retro-alimentan constantemente, generando documentos vivos. El monitoreo y la evaluación de la planificación y gestión de la respuesta nacional es el mecanismo esencial que, a través de la medición de resultados, permite distinguir los éxitos de los fracasos (4). (Figura 1). Por eso un aspecto crucial de la planificación estratégica basada en observaciones, es presentar a los tomadores de decisiones los datos recopilados sobre las observaciones e investigaciones de la evolución y tendencias de la epidemia. Con este fin fue concebido el proceso de elaboración de las Bases de Datos y el posterior análisis de la calidad metodológica de la información que contienen. Figura 1. Estrategia del Ciclo de Resultados Aplicado al VIH/SIDA Fuente: R. Rodríguez-García, GHAP, Banco Mundial, 2007 Por qué es importante analizar la calidad de los datos? Es importante realizar un análisis metodológico de las investigaciones recopiladas para conocer los alcances y limitaciones de cada estudio, el grado de confiabilidad de sus hallazgos, la posibilidad de que sus resultados sean comparables y representativos de la población estudiada. Dicho análisis ayuda a identificar sesgos o problemas metodológicos surgidos al diseñar o realizar los estudios, permitiendo conocer mejor la calidad de la información que cada uno aporta. Un análisis crítico también permite reconocer las dificultades y limitaciones que encuentran en su camino los investigadores que trabajan en el campo del VIH, especialmente en el abordaje de las poblaciones más expuestas o difíciles de alcanzar. 10

63 Existen varias estrategias de evaluación de la calidad de estudios epidemiológicos. En general estas metodologías están orientadas a determinar el grado de evidencia que aportan las investigaciones, en su gran mayoría clínicas (5). En este tipo de evaluaciones, los ensayos clínicos y los estudios de cohorte son considerados con las mejores posibilidades metodológicas para generar evidencia, ya sea en aspectos de causalidad, como en el estudio de eficiencia y eficacia de intervenciones y/o tratamientos. Los estudios transversales, por el contrario, son considerados solo exploratorios y con capacidad únicamente de generar hipótesis. La situación particular en que se desarrollan las investigaciones destinadas a conocer la epidemia de VIH (prevalencias, determinación de niveles de conocimiento y conductas) limita la posibilidad de realizar estudios experimentales, basándose mayormente en la aplicación de estudios transversales o de encuesta. Por esta razón, en la guía de ONUSIDA para Triangulación de la Información, se considera que se debe dar prioridad, o el más alto nivel de confianza a los datos obtenidos de los grandes estudios epidemiológicos transversales estandarizados (como las Encuestas Nacionales Demográficas y de Salud: DHS por su sigla en Inglés) (6). Se registran en la literatura varios cuestionarios o listas de verificación que crean un marco de referencia para evaluar la calidad metodológica de los estudios, pero la gran mayoría de ellas están diseñadas para ser aplicadas a ensayos clínicos aleatorios, y no sobre estudios observacionales (7). Aquí se desarrolló e implementó una metodología aplicable principalmente a los estudios transversales. En forma práctica, se busca discriminar entre los estudios aquellos que, han implementado estrategias y diseños que aumentan la confiabilidad de sus resultados. Para desarrollar el cuestionario, se realizó un extenso análisis que incluyó las guías normativas sobre el desarrollo de estudios de prevalencia para infecciones de transmisión sexual de la Organización Mundial de la Salud (8), así como diversos materiales publicados tanto en libros como revistas científicas, que sientan las bases de la evaluación de calidad metodológica de los estudios de (9, 10, 11, 12, 13, 14) epidemiología. Metodología para el análisis de la calidad de los datos Desde el año 2009, los Ministerios de Salud de varios países de Latinoamérica, con el apoyo del Programa Conjunto de las Naciones Unidas sobre el VIH-SIDA (ONUSIDA) y el Servicio de Estrategia y Plan de Acción contra el SIDA (ASAP), un servicio de ONUSIDA gestionado por el Banco Mundial, recopilaron la información generada en cada país con respecto a la epidemia de VIH y la organizaron en un documento integrado, denominado Base de Datos y Referencias para una Estrategia Basada en Evidencia. En cada uno de estos documentos se encuentran los principales hallazgos de los estudios disponibles sobre la epidemia de VIH realizados durante los últimos 15 años. Los criterios de inclusión para los estudios fueron: a) que constituyeran una fuente primaria de datos y b) que contuvieran datos cuantitativos. Así, se han recopilado una gran cantidad de documentos generados tanto por grupos de investigación local, nacional e internacional. De esta manera, las Bases de Datos constituyen la colección de estudios diversos de acuerdo a su tipo, características metodológicas y estado de publicación. 11

64 La metodología para el análisis de la calidad de los datos consta de dos etapas. La primera caracteriza cada uno de los documentos incluidos en las Bases de Datos, mientras que la segunda analiza su contenido metodológico. Se realiza siguiendo una guía de evaluación (Anexo) cuyas principales secciones se detallan a continuación. Caracterización de los documentos En el proceso de búsqueda de estudios relacionados a la epidemia de VIH, usualmente se recopila una profusa cantidad y variedad de documentos, que como primer paso requieren de ser categorizados según distintos aspectos. En este proceso se identifica el tipo de documento, según se trate de artículos científicos o manuscritos, informes técnicos, presentaciones de PowerPoint, monografías u otros. Luego se identifica su estado de publicación, y eventualmente el medio en que ha sido publicado. Seguidamente cada trabajo es caracterizado según el tipo de diseño epidemiológico empleado y según la población objetivo de investigación. (Tabla 1). Tabla 1. Caracterización de los documentos incluidos en la base de datos Tipo de documento: Artículos científicos Informes técnicos Presentaciones de PowerPoint Tesis/Monografías Otros Estado y medio de publicación Tipo de diseño epidemiológico Población objetivo de investigación Análisis del contenido metodológico Luego se analiza su contenido metodológico en base a un instrumento diseñado a tal fin. Este instrumento evalúa la presencia o ausencia de 8 aspectos metodológicos relacionados con las buenas prácticas en el campo de la investigación ; tres de ellos ponderados por 2 debido a su importancia crítica en la validez de los resultados. Los criterios ponderados han sido la técnica de muestreo, el tamaño adecuado de la muestra y el desarrollo de estrategias para disminuir el error en la recolección de los datos. Estos tres criterios evalúan el sesgo de selección, el poder del estudio y la consistencia de los datos respectivamente. A lo largo del cuestionario, para cada uno de los 8 criterios se adjudica 1 punto si el aspecto está presente, y 0 si no lo está. Los puntos en los criterios ponderados se multiplican por 2. (Tabla 2). 12

65 Tabla 2. Aspectos metodológicos evaluados 1) Objetivo del estudio coherente con el desarrollo del mismo 2) Definición de criterios de inclusión y exclusión 3) Tamaño de la muestra* 4) Técnica de muestreo* 5) Estrategias para disminuir el error de recolección de datos* 6) Técnica de análisis de los datos 7) Evaluación de limitaciones impuestas por la metodología 8) Intervalos de confianza y/o significación estadística * Criterios ponderados x2 Para finalizar, se realiza la sumatoria de los puntajes parciales, obteniéndose un puntaje total que ha sido tomado como puntaje o índice de calidad. El puntaje total puede variar en una escala que va de 0 a 11 puntos (1 punto por cada criterio simple= 5 puntos; 2 puntos por cada criterio ponderado por 2= 6 puntos; suma total máxima: 5+6= 11). Se han definido como puntos de corte: puntaje de 8 y mayor, corresponde a buena calidad metodológica; puntaje de 5 a 7 corresponde a calidad intermedia y puntaje de 4 y menor corresponde a calidad metodológica limitada. (Tabla 3). Tabla 3. Puntos de corte en la escala de puntaje 8 a 11 puntos: Calidad metodológica buena 5 a 7 puntos: Calidad metodológica intermedia 0 a 4 puntos: Calidad metodológica limitada A los efectos de establecer los puntos de corte, se consideró el mínimo número de criterios que los estudios deberían tener para ser considerados de calidad metodológica buena o intermedia. No se utilizó la técnica de los terciles porque la calidad de los estudios es dependiente de sus propias características e independiente de la distribución. Se consideró que los estudios que alcanzan al menos 75% del puntaje máximo posible, es decir 8 puntos o más, tienen calidad metodológica buena. Este corte hace que por ejemplo los estudios con falla en dos de los criterios ponderados x2, queden excluidos de esta categoría ya que para tales estudios el puntaje máximo posible es 7 puntos. 13

66 Para ser considerados con calidad intermedia, los estudios tuvieron que alcanzar un mínimo de 5 puntos (45%). Fundamentos para los 8 criterios: representatividad y rol del azar Como ya se mencionó el diseño epidemiológico empleado con más frecuencia para conocer la situación de la epidemia de VIH es el transversal o de encuesta. Este diseño es aplicado a una gran variedad de temas, siendo los más frecuentes las encuestas serológicas y de comportamiento. A continuación se repasan algunos conceptos metodológicos importantes, a tener en cuenta a la hora de interpretar los estudios transversales. Los criterios de inclusión y exclusión Los criterios de inclusión y exclusión permiten demarcar el universo de sujetos elegibles que se estableció para el estudio. Tenerlos presentes es muy importante cuando se hacen La definición de criterios de inclusión y exclusión delimita el universo o marco de la muestra. inferencias o generalizaciones en base a los hallazgos que presenta un estudio. Por ejemplo en una encuesta serológica realizada a trabajadoras sexuales, el criterio de inclusión establecido fue que pertenecieran a burdeles de la ciudad, quedando excluidas las que ejercen el trabajo sexual en la calle. Los hallazgos de tal estudio no podrán ser generalizables a todas las trabajadoras sexuales de esa ciudad, debiendo limitarse a trabajadoras de burdeles. Tamaño de la muestra El tamaño adecuado de la muestra permite que un estudio tenga capacidad para demostrar su hipótesis; en epidemiología a este atributo se le llama poder del estudio. El tamaño suficiente de una muestra va a permitir también precisión en los resultados. Cuanto mayor es el tamaño de la muestra, más estrecho será el intervalo de confianza resultante y por lo tanto su resultado más preciso. El cálculo del tamaño de la muestra permite al investigador conocer cuál es el mínimo número de individuos que permitirá que el estudio tenga el poder y la precisión deseados. En el instrumento de análisis de la calidad de los datos diseñado por ASAP, este aspecto metodológico se ha ponderado por un factor de 2 debido a su importancia. Técnica de muestreo Para conocer la representatividad de una muestra es fundamental tener en cuenta el método de muestreo utilizado. El sesgo de selección ocurre cuando los individuos El sesgo de selección ocurre cuando los individuos seleccionados no son representativos de la población que se pretende estudiar. El poder del estudio y la precisión de sus resultados, dependen del tamaño de la muestra. seleccionados no son representativos de la población que se pretende estudiar. En el método probabilístico todos los individuos de una población tienen la misma chance de ser 14

67 seleccionados y esto permite obtener muestras representativas de dicha población. Por el contrario, en muestreos no probabilísticos como el muestreo por conveniencia, cada individuo tiene diferente chance de ser seleccionado en base a determinadas características, por lo que la resultante serán muestras menos representativas. Una especial consideración merece el método de muestreo utilizado en estudios de poblaciones escondidas o difíciles de alcanzar, como por ejemplo usuarios de drogas u hombres que tienen sexo con hombres. Debido a situaciones de estigma y discriminación que usualmente enfrentan sus integrantes, en este tipo de poblaciones es prácticamente imposible contar con un marco muestral que delimite el universo del que se van a seleccionar los individuos en forma aleatoria. Un ejemplo de marco muestral posible para población general, sería el directorio telefónico; pero solo si todos los habitantes tuvieran una línea fija de teléfono y su número registrado en el directorio; si no nuevamente se tiene un sesgo de selección. Como para la mayoría de las poblaciones escondidas no se puede establecer ese marco, una estrategia frecuentemente utilizada es obtener muestreos por conveniencia en los lugares donde los integrantes de estas poblaciones suelen acudir, tales como bares, clubes etcétera. Obviamente las personas que acuden a esos lugares con mayor frecuencia, tienen mayor chance de ser seleccionadas. Esto no cumple con el principio de igualdad de chance de ser seleccionado para todos los Se han desarrollado alternativas de muestreo para aplicar a las poblaciones escondidas. individuos de la población, definido para el muestreo probabilístico y limita la posibilidad de hacer generalizaciones. Para dar respuesta a esta limitante, a partir de una iniciativa del CDC (The Centers for Disease Control and Prevention, Atlanta, Georgia), en los últimos años se ha estudiado la implementación de otras técnicas de muestreo que provean una alternativa al enfoque tradicional probabilístico no probabilístico (15, 16). Tales métodos son: RDS (Respondent Driven Sampling) y TSS (por su sigla en inglés Time Space Sampling). En el instrumento de análisis de la calidad de los datos el uso de muestras probabilísticas o sus alternativas RDS y TSS para poblaciones escondidas, se considera muestreo satisfactorio. Teniendo en cuenta los fundamentos expuestos sobre la importancia de esta característica metodológica, este criterio también ha sido ponderado y su resultado es multiplicado por un factor de 2. Porcentaje de personas que No responden la encuesta. En los estudios de encuesta aún cuando el método de muestreo haya sido probabilístico, es importante conocer el porcentaje de individuos que no aceptó responder. Esto es crítico, porque de existir diferencias entre el grupo de personas que responden a la encuesta y los que no aceptan participar, se estaría En el método probabilístico todos los individuos de una población tienen la misma chance de ser seleccionados. Es importante conocer el porcentaje de personas que no aceptó responder la encuesta. introduciendo un sesgo de selección. Si el porcentaje de no respondedores es alto, los resultados de la encuesta tendrán limitaciones para ser generalizados. Esto es especialmente válido si las causas que motivaron la no aceptación están vinculadas al tema que se está investigando. 15

68 Técnicas para reducir el error en la recolección de datos En el desarrollo de los estudios transversales existe una variedad de acciones que se realizan para aumentar el grado de precisión de los datos colectados. Esto permite que el estudio tenga validez interna. A la hora de analizar un estudio de encuesta es importante conocer por ejemplo, si se han hecho pruebas piloto para adaptar el cuestionario al lenguaje coloquial local; si los encuestadores o personal encargado de tomar muestras biológicas han recibido entrenamiento previo; si se ha seguido una estricta normativa en la obtención de muestras biológicas; etc. Por su importancia crítica, este aspecto también se ha ponderado por un factor de 2 en el instrumento de análisis de la calidad de los datos. Implementación del método La implementación del análisis de la calidad de los datos es sencilla. Se trabaja sobre la base de la lista de verificación presentada en el Anexo. Se responde el cuestionario punto por punto. Para cada respuesta afirmativa se considera 1 punto. Para cada respuesta negativa se considera cero. Para los tres criterios ponderados el valor obtenido se multiplica por 2. Para finalizar se realiza la sumatoria de los resultados parciales, obteniéndose un valor incluido en el rango de cero a 11. Para facilitar el proceso, los datos de cada estudio se vuelcan en una tabla como se observa en el Anexo (Tabla 1A). En las columnas de la izquierda se registran los datos relativos a la caracterización del estudio en base al tipo de documento, estado y forma de publicación, población abordada y diseño epidemiológico empleado. En las columnas de la derecha se puntúa cada uno de los criterios que analizan la calidad metodológica, colocando ceros o unos según corresponda. Los tres criterios ponderados son multiplicados por el factor de 2. En la última columna se coloca el resultado de la sumatoria de los puntajes parciales. En esa columna se han coloreado sus celdas utilizado los colores del semáforo para indicar los estudios con calidad metodológica buena en color verde, los de calidad intermedia en amarillo y los estudios limitados han sido marcados en rojo. Esta tabla recopila la totalidad de los datos recogidos para cada estudio, al aplicar la guía de caracterización y análisis metodológico. Experiencia en Latinoamérica Esta experiencia fue realizada inicialmente en los países de Latinoamérica donde ASAP prestó asistencia técnica para la recopilación de la evidencia. La aplicación de esta guía de análisis de la calidad de los datos se realizó inicialmente en los tres países Andinos: Ecuador, Perú y Bolivia durante el año Durante el año 2010, se amplió la experiencia realizándola también en otros países de América del Sur y Central. Hasta la fecha Uruguay, Paraguay, Nicaragua, Guatemala y El Salvador se han sumado a la lista de países donde se realizó la recopilación de la evidencia con el posterior análisis de la calidad metodológica de las investigaciones. Este ejercicio ha resultado muy útil ya que no solamente ha permitido revisar las brechas existentes en la información necesaria para 16

69 conocer la situación de la epidemia de VIH, sino que también ha permitido explorar la calidad de los datos que las investigaciones producen. A continuación se mostrarán las características y calidad de los documentos recopilados en los ocho países mencionados, y luego se presentará en detalle el análisis realizado en los países Andinos. En el conjunto de los 8 países de Latinoamérica se recopiló un total de 311 documentos. Más de la mitad de ellos son informes técnicos realizados en su mayoría por los gobiernos, organizaciones no gubernamentales, agencias de cooperación multilaterales o bilaterales y sectores académicos. Estos informes técnicos en general se encuentran disponibles como publicaciones aisladas o independientes. Cerca de la tercera parte de los documentos recopilados son artículos científicos, los que mayormente están publicados en revistas que realizan proceso de revisión de pares. El 10% de los documentos son monografías o tesis, que en su mayoría están disponibles en internet, aunque algunas solo lo están en bibliotecas universitarias. Por último hay un mínimo porcentaje de documentos que han sido obtenidos en formato de presentaciones de PowerPoint. (Figuras 2 y 3). Figura 2. Tipo de documentos recopilados en Perú, Ecuador, Bolivia Uruguay, Paraguay, Nicaragua, Guatemala y El Salvador Tesis 10% PPT 3% Artículo Científico 33% Informe Técnico 54% N=

70 Figura 3. Estado de publicación de los documentos recopilados en Perú, Ecuador, Bolivia Uruguay, Paraguay, Nicaragua, Guatemala y El Salvador Boletín Oficial En 3% Internet 7% No publicado 16% Publicación Tecnica Aislada 44% Revista con Revisión de Pares 30% N= 311 Con respecto al diseño epidemiológico, se encontró que el 95% de los estudios adoptaron diseño transversal o de encuesta. En el 5% restante se incluyeron 8 estudios de cohorte, 4 estudios experimentales, 2 estudios de casos y controles y 2 estudios con diseño de serie de casos. Cuando se aplicó el instrumento para analizar la calidad de los datos, se encontró que dos tercios de los estudios presentaron calidad buena y solo el 10% con calidad metodológica limitada. (Figuras 4 y 5). Figura 4. Diseño epidemiológico de los estudios recopilados en Perú, Ecuador, Bolivia Uruguay, Paraguay, Nicaragua, Guatemala y El Salvador Otros Diseños 5% N= 311 Diseño Transversal 95% 18

71 Figura 5. Calidad metodológica de los estudios recopilados en Perú, Ecuador, Bolivia Uruguay, Paraguay, Nicaragua, Guatemala y El Salvador Limitada 10% Intermedia 23% Buena 67% N= 311 Análisis de la calidad de los datos en la región Andina: Bolivia, Ecuador y Perú Perú es el país andino que tiene el mayor tamaño poblacional, con una población estimada en 27 millones de habitantes; le siguen Ecuador con 14 millones y Bolivia con 10 millones de habitantes (17). El nivel de avance de la transición demográfica es similar en los tres países, por lo que presentan semejante estructura en los grupos de edad. La mitad de la población está incluida en el grupo de 15 a 49 años. La epidemia de VIH también comparte ciertas características. La tasa de prevalencia en adultos de 15 a 49 años es menor de 1%, Perú: 0.5%, Ecuador: 0.3% y Bolivia 0.2% (17). Por otra parte, la prevalencia de VIH estimada en hombres que tienen sexo con hombres está muy por encima del 5%, Perú: 12% (18), Ecuador: 16.6% (19) y Bolivia: 9.6 a 15.3% (20), siendo el grupo poblacional con más altas prevalencias en la región. La prevalencia de VIH en este grupo es 24 veces mayor que la prevalencia en población general en Perú y estimada en más de 50 veces mayor, en Ecuador y Bolivia. La razón hombre/mujer (cantidad de varones con VIH por cada mujer infectada) es aproximadamente 2 a 1 en los tres países. El hecho de que el doble de varones esté infectado, remarca la importancia de la vía sexual entre varones como forma de transmisión del VIH. Estas cifras muestran claramente que en los países andinos la epidemia de VIH está concentrada en poblaciones más expuestas, fundamentalmente en hombres que tienen sexo con hombres. Resultados Se incluyeron para la caracterización y análisis un total de 57 documentos en Perú; 40 documentos en Ecuador y 25 documentos en Bolivia; compilados en sus respectivas Bases de Datos (21, 22, 23). Cabe destacar que algunos documentos incluyeron más de una 19

72 población en su investigación y utilizaron diferentes modalidades metodológicas para cada una de ellas, por lo que fueron analizados y puntuados en forma independiente para cada población. Esto ocurrió por ejemplo, con varios documentos de diagnóstico de líneas de base, donde fueron estudiadas diferentes poblaciones. En algunas poblaciones se realizó muestreo por conveniencia, mientras que para otras el muestreo fue probabilístico; para algunas se logró reunir el tamaño de la muestra propuesto y para otras no. El estudio de cada población dentro de tales documentos fue puntuado en forma independiente. Por esta razón el número de estudios supera al número de documentos, ya que como se explicó, los estudios realizados en diferentes poblaciones se consideraron por separado. Inicialmente se analizó la distribución de la totalidad de los estudios en base a sus características e índice de calidad. A continuación los estudios fueron estratificados sobre la base de la población objetivo, y se analizó la distribución de puntajes en cada estrato. Finalmente, se estratificaron los trabajos por tipo de limitaciones metodológicas encontradas. Tipo de documento La Base de Datos de Perú está integrada por 47 (83%) artículos científicos; 7 (12%) informes técnicos y 3 (5%) documentos en formato de presentaciones PowerPoint (PPT). En el caso de Ecuador, su base de datos contiene 18 (45%) artículos científicos, 16 (40%) informes técnicos; 3 (7.5%) tesis/monografías; 2 (5%) presentaciones en PPT y por último 1 (2.5%) poster. Para Bolivia, se han recopilado 19 (76%) informes técnicos y 6 (24%) artículos científicos. (Figura 6). Figura 6. Tipos de documentos recopilados por país. Región Andina, % 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Perú n= 57 Ecuador n= 40 Bolivia n= 25 Posters Fuente: Elaboración propia con información de las Bases de Datos y Referencias para una Estrategia Basada en Evidencia de Perú, Ecuador y Bolivia. Tesis PPT Informe Técnico Artículo Científico 20

73 Hallazgos: Como puede observarse en la figura 6, las fuentes principales de información en los tres países fueron artículos científicos e informes técnicos. No obstante la proporción que representa cada una de ellas es muy diferente para cada país. En Perú la mayoría corresponden a artículos científicos, en Bolivia son principalmente informes técnicos, en tanto que en Ecuador la proporción de ambas fuentes es similar Estado de publicación Con respecto al estado de publicación de los documentos, en Perú 47 (82%) están publicados en revistas que realizan proceso de revisión de pares y 7 (12%) son publicaciones técnicas aisladas (se utiliza el término aisladas para diferenciar este grupo de las publicaciones periódicas). Un documento (2%) es un informe preliminar y en 2 documentos (4%) no se encontró dato disponible sobre su estado de publicación. En el caso de Ecuador se encuentra que 12 documentos (30%) están publicados en revistas con revisión de pares; 9 (22.5%) son publicaciones técnicas aisladas; 2 documentos (5%) son publicaciones hechas en boletín oficial; 13 (32.5%) no han sido publicados y para 4 (10%) no pudo obtenerse dato del estado de publicación. Finalmente en Bolivia se encuentra que 13 documentos (52%) son publicaciones técnicas; 5 (20%) han sido publicados en revista con revisión de pares y 1 (4%) en boletín oficial. Seis documentos (24%) no habían sido publicados al momento de realizarse esta recopilación. (Figura. 7). Figura 7. Estado de publicación de los documentos recopilados por país. Región Andina, % 90% No Publicado/ Sin Dato 80% 70% 60% Boletín Oficial 50% 40% 30% 20% 10% Publicaciones Técnicas Aisladas Publicados en Revistas con Revisión de Pares 0% Perú n= 57 Ecuador n= 40 Bolivia n= 25 Fuente: Elaboración propia con información de las Bases de Datos y Referencias para una Estrategia Basada en Evidencia de Perú, Ecuador y Bolivia. 21

74 Hallazgos: La proporción de artículos científicos en las Bases de Datos, coincide con la proporción de documentos publicados en revistas científicas con revisión de pares (AIDS, Sexually Transmitted Diseases y Revista Panamericana de Salud Pública son ejemplos de tales publicaciones). Perú es el país andino que cuenta con la mayor proporción de los trabajos publicados por este medio. Esto probablemente se deba a que es uno de los países en América Latina con mayor historia de investigación en VIH, estando el sector académico activamente involucrado en el proceso desde el comienzo de la epidemia. Por el contrario, Ecuador es el país con la más alta proporción de documentos no publicados o sin datos sobre el estado de publicación, los que representan más del 40%. En Bolivia el grupo de trabajos no publicados constituye una cuarta parte del total. La falta de publicación tiene impacto en el uso y calidad de la información; por un lado dificulta el acceso a la información y socialización de los hallazgos, y por otro hace que los trabajos producidos sean más débiles, ya que no pasan por el detallado y enriquecedor proceso de revisión de pares. Tipo de diseño epidemiológico Considerando el tipo de diseño epidemiológico adoptado, se observa que en Perú los estudios transversales de encuesta serológica complementada con encuesta de variables socio-demográficas y de comportamiento, son el tipo de diseño más frecuente entre los estudios incluidos en la base de datos. Este tipo de diseño representa el 49% del total e incluye a 28 estudios. También dentro de los diseños de tipo transversal hay 18 encuestas de conocimientos actitudes y prácticas (CAP) (32%) y 3 estudios bacteriológicos de ITS complementadas con encuesta socio-demográfica (5%). Si se agrupa a todos los estudios de corte transversal, los mismos suman 86% del total de trabajos. El 14% restante está compuesto por 4 estudios de cohorte (7%); 2 estudios de casos y controles (3%), 1 estudio de serie de casos (2%) y 1 ensayo clínico (2%). En el caso de Ecuador, se observa que 36 documentos (90%), utilizan diseños de corte transversal con sus diversas modalidades. Dentro de este grupo hay 20 documentos que contienen encuestas CAP (50%); 10 documentos con encuestas serológicas con y sin complemento de encuestas CAP (25%) y 6 estudios transversales de encuestas sobre otros temas (15%). Entre los 4 documentos restantes (10%), hay un estudio con diseño experimental; un estudio de control de calidad para laboratorios; un censo y un estudio de serie de casos. En Bolivia también se observa que la gran mayoría de los estudios (96%) han seguido diseños de corte transversal o de encuesta, con sus diversas modalidades. Dentro de este grupo hay 16 documentos (64%) que contienen encuestas CAP; 7 (28%) encuestas serológicas del VIH con y sin complemento de encuestas CAP, y una (4%) encuesta serológica de sífilis. Se encontró un estudio (4%) con diseño longitudinal conformado por una cohorte de personas con VIH. (Figura. 8). En esta figura, los estudios transversales o de encuesta en sus distintas modalidades se han graficado en la gama de azules. 22

75 Figura 8. Diseños epidemiológicos de los estudios recopilados por país. Región Andina, % Otros 90% 80% 70% Experimental/Ensayo Clínico Serie de Casos 60% Casos y Controles 50% Estudios de Cohorte 40% 30% Otros Estudios de Encuesta Encuesta CAP 20% 10% Encuesta Serológica con/sin Encuesta CAP 0% Perú n= 57 Ecuador n= 40 Bolivia n= 25 Fuente: Elaboración propia con información de las Bases de Datos y Referencias para una Estrategia Basada en Evidencia de Perú, Ecuador y Bolivia. Hallazgos: Como puede observarse claramente en la figura de arriba, en los tres países analizados, la gran mayoría son estudios de corte transversal o de encuestas, que constituyen entre el 86 y 96% del total. La diferencia radica en que en Perú dichas investigaciones se han centrado en el estudio de prevalencias serológicas complementadas con encuestas demográficas y de comportamiento, en tanto que en 23

76 Ecuador y Bolivia se han realizado más investigaciones en el área de conocimiento, actitudes y prácticas. Esto podría deberse a que los estudios que incluyen la encuesta serológica son más costosos y requieren un soporte logístico mucho mayor. Se destaca también que los tres países cuentan con encuestas demográficas y de salud (DHS por su sigla en inglés) realizadas por sus Institutos Nacionales de Estadística. Las mismas incluyen conocimientos, actitudes y prácticas sobre VIH, tienen alcance nacional y son aplicadas a la población general. Al ser aplicadas periódicamente y con metodología consistente, constituyen fuentes confiables de información que permiten analizar las tendencias nacionales y locales de conductas y conocimientos sobre el VIH en la población general. Población objetivo del estudio Los tres países incluidos en este análisis presentan epidemias de VIH concentradas en grupos clave como Hombres que tienen Sexo con Hombres, Personas Privadas de Libertad, Trabajadores y Trabajadoras Sexuales. Por esta razón fue de interés ver qué peso tienen estas poblaciones en el total de las investigaciones realizadas. Si se toma en cuenta la población objetivo de los estudios en Perú, se aprecia que el 62.5% se han desarrollado en poblaciones clave: 19% sobre Hombres que tienen Sexo con Hombres; 14% en Trabajadoras Sexuales; 7% en personas que viven con VIH; 5% en personas privadas de libertad y 17.5% sobre otras poblaciones en riesgo como clientes de trabajadoras sexuales y personas con infecciones de transmisión sexual (ITS). Las poblaciones consideradas menos expuestas al VIH representan el 37.5% de las investigaciones. Entre ellas 17.5% corresponde a estudios realizados en población general; 9% en jóvenes; 4% en gestantes y 6.5% en otras poblaciones consideradas dentro de esta categoría. En Ecuador el 58.9% de la investigación incluida en la Base de Datos corresponde a grupos considerados poblaciones clave de mayor riesgo. Entre ellos 19.6% ha sido realizado en trabajadoras sexuales; 16.1% en hombres que tienen sexo con hombres; 10.7% en personas privadas de la libertad; 8.9% en personas que viven con VIH y el 3.6% en personas con ITS. En el conjunto de poblaciones consideradas menos expuestas al VIH se desarrolló el 41.1% de la investigación. El 19.6% corresponde a estudios realizados en jóvenes; en tanto que 14.3% se realizó sobre población general; 3.6% en puérperas y 3.6% en otros grupos. En Bolivia el 37% de la investigación corresponde a las poblaciones clave para la epidemia de VIH: 13% en hombres que tienen sexo con hombres; 8% en trabajadoras/es sexuales; 5% en personas que viven con VIH; 5% en personas con ITS, 3% en personas privadas de libertad y 3% en otras poblaciones más expuestas. Las poblaciones consideradas menos expuestas al VIH involucran el 63% de las investigaciones: 18% han sido realizados en Población General; 13% en Adolescentes y Jóvenes; 13% en mujeres embarazadas/puérperas y 19% en otros grupos. En la Figura 9 las poblaciones clave fueron graficadas en tonos de azul y las consideradas menos expuestas se graficaron en tonos de rojos para favorecer la comparación entre los dos grupos. 24

77 Figura 9. Población objetivo de los estudios recopilados, por país. Región Andina, % Otros Grupos 90% 80% 70% 60% 50% 40% 30% 20% Gestantes/Puérperas Jóvenes Población General Otros Grupos Más Vulnerables Personas con VIH Privados de Libertad 10% 0% Perú n= 57 Ecuador n= 40 Bolivia n= 25 Trabajadoras Sexuales Hombres Sexo con Hombres Fuente: Elaboración propia con información de las Bases de Datos y Referencias para una Estrategia Basada en Evidencia de Perú, Ecuador y Bolivia. Hallazgos: Como es de esperar en epidemias concentradas, en Perú y Ecuador la mayor parte de las investigaciones (cerca del 60%), se realizó sobre las poblaciones más expuestas. En Bolivia, en cambio, solo la tercera parte de los estudios estuvieron destinados a los grupos en los que la epidemia tiene mayor peso. Este importante hallazgo podría obedecer a múltiples causas que van desde agendas de investigación que no centraron sus esfuerzos en estos grupos; hasta dificultades específicas en el acercamiento y trabajo con las poblaciones difíciles de alcanzar. Análisis de contenido metodológico Terminada la primera etapa de caracterización, se comenzó el análisis del contenido metodológico en función de los 8 criterios evaluados y se observó la distribución de los puntajes de calidad para cada país. Como se recuerda, el menor puntaje posible es 0 y el puntaje mayor posible es de 11 puntos. En el caso de Perú se advierte una distribución asimétrica de los puntajes, que agrupa a los estudios alrededor de un valor central de 9 puntos. Esta distribución tiene una mediana y un modo de 9 puntos, mientras que la dispersión presenta un rango de 3 a 11 puntos. Se agruparon los estudios según los puntos de corte en el puntaje de calidad obteniéndose tres grupos. Los estudios considerados como de calidad buena (8 a 11 25

78 puntos) constituyen el 82% del total; los de calidad intermedia (5 a 7 puntos) representan el 15% y solo el 3% fue clasificado como de calidad limitada. En Ecuador también se advierte que la distribución de puntajes es asimétrica. Los estudios se agrupan alrededor de un valor más frecuente o modo de 9 puntos. Esta distribución tiene una mediana de 8, mientras que el rango va de 2 a 11 puntos. El 52% de los estudios presentaron calidad metodológica buena; el 27% calidad intermedia y el 21% calidad limitada. Para Bolivia se observó una distribución de puntajes en un rango de 4 a 11 puntos, con un valor de 8 para la mediana y el modo. El 68% de los estudios han sido clasificados con calidad metodológica buena; 28% con calidad intermedia y 4% con calidad limitada. (Figura 10). En la Figura 10, no se usó como en las figuras anteriores, la modalidad de gráfico de barras con componente de porcentaje para permitir apreciar la cantidad de documentos evaluados en cada uno de los países. En dichos gráficos se usaron los colores del semáforo para identificar la distribución de los documentos según su puntaje de calidad metodológica. Figura 10. Calidad metodológica de los estudios recopilados, por país. Región Andina, Fuente: Elaboración propia con información de las Bases de Datos y Referencias para una Estrategia Basada en Evidencia de Perú, Ecuador y Bolivia. Hallazgos: La distribución de los puntajes de calidad metodológica presentó un valor para la mediana de 9 en Perú y 8 en Ecuador y Bolivia. En Perú el 82% de las investigaciones presentan buena calidad metodológica, en Bolivia 68% y en Ecuador con 52%. Se observa una correlación entre la proporción de trabajos publicados con proceso de revisión de pares y la solidez metodológica de los mismos. Estratificación según población objetivo y calidad metodológica Se estratificaron los estudios según la población objetivo y se analizó la calidad metodológica encontrada para cada grupo. 26

79 Hombres que tienen sexo con hombres En la Base de Datos de Perú se incorporaron un total de 15 estudios realizados en población de hombres que tienen sexo con hombres. El valor para la mediana en la distribución de puntajes es 9. En el grupo de buena calidad se encuentran 80% de los mismos; en el de calidad intermedia 13% y en el de calidad limitada 7%. En el caso de Ecuador se recopilaron 9 estudios que tomaron población de hombres que tienen sexo con hombres como objetivo. El valor para la mediana en la distribución de puntajes es 8. El 56% presentaron índices de buena calidad; 33% de calidad intermedia y 11% de calidad limitada. Con respecto a Bolivia se recopilaron un total de 5 estudios de los cuales 20% presentaron índices de buena calidad; 60% calidad intermedia y 20% calidad limitada. El valor para la mediana en la distribución de puntajes es 6. (Figura 11). Figura 11. Calidad metodológica de los estudios en hombres que tienen sexo con hombres, por país. Región Andina, Fuente: Elaboración propia con información de las Bases de Datos y Referencias para una Estrategia Basada en Evidencia de Perú, Ecuador y Bolivia. Hallazgos: Tanto en Perú como en Ecuador, la proporción de estudios de contenido metodológico sólido realizados en hombres que tienen sexo con hombres es similar a la observada en el análisis general de todos los estudios. (80% Vs 82% en Perú y 56% Vs 52% en Ecuador). Para Bolivia en cambio el porcentaje de estudios de metodología sólida es mucho menor en hombres que tienen sexo con hombres que en el total de estudios (20% Vs 68%). Este hallazgo revela que en Bolivia no solo se han hecho proporcionalmente menos estudios en poblaciones clave, sino que además la calidad metodológica de los mismos es menor a la media general. Trabajadoras sexuales En la Base de Datos de Perú se incorporaron un total de 11 estudios realizados en población de trabajadoras sexuales. En el grupo de calidad buena se encuentran 73% de los mismos; en el de calidad intermedia 18% y en el de calidad limitada 9%. En el caso de 27

80 Ecuador se recopilaron también 11 estudios que tomaron esta población como objetivo. El 45.5% presentaron índices de buena calidad; 45.5% calidad intermedia y 9% calidad limitada. Con respecto a Bolivia se recopilaron un total de 3 estudios de los cuales 1 presentó índice de buena calidad y los otros 2 de calidad intermedia. (Figura 12). Figura 12. Calidad metodológica de los estudios en trabajadoras sexuales, por país. Región Andina, Fuente: Elaboración propia con información de las Bases de Datos y Referencias para una Estrategia Basada en Evidencia de Perú, Ecuador y Bolivia. Hallazgos: Si se comparan los gráficos 11 y 12 se observa que los componentes de las barras son muy similares para cada país. De forma semejante a lo que ocurre con los estudios realizados en hombres que tienen sexo con hombres, la proporción de estudios desarrollados con buena calidad en trabajadoras sexuales constituye las tres cuartas partes del total en Perú, la mitad en Ecuador y la cuarta parte en Bolivia. En este último país los estudios en trabajadoras sexuales son pocos y más débiles del punto de vista metodológico cuando se los compara con el promedio de la totalidad de estudios. Personas privadas de libertad En la Base de Datos de Perú se incorporaron un total de 4 estudios realizados en población de personas privadas de libertad. Tres de ellos se encuentran en el grupo de calidad metodológica buena y 1 en el de calidad limitada. En el caso de Ecuador se recopilaron 6 estudios que tomaron esta población como objetivo. Tres de ellos fueron evaluados con índices de buena calidad; 2 presentaron calidad intermedia y el trabajo restante calidad limitada. Con respecto a Bolivia se recopiló 1 estudio, de calidad metodológica buena. (Figura 13). En la figura 13 se tomaron los datos como valores absolutos debido al pequeño número de estudios bajo análisis. 28

81 Figura 13. Calidad metodológica de los estudios en personas privadas de libertad, por país. Región Andina, Fuente: Elaboración propia con información de las Bases de Datos y Referencias para una Estrategia Basada en Evidencia de Perú, Ecuador y Bolivia. Hallazgos: Si bien el número de estudios es bajo, la proporción de trabajos sólidos del punto de vista metodológico parece conservar la misma tendencia que en las otras poblaciones analizadas en Perú y Ecuador. Personas con VIH Cabe destacar que solamente se incluyeron en las bases de datos los estudios en personas con VIH cuyo contenido está relacionado a la epidemia de VIH y con utilidad para la toma de decisiones y el diseño de políticas. Fueron excluidos los documentos de contenido exclusivamente clínico, como por ejemplo los relacionados a tratamientos, efectos adversos de medicamentos, estudios sobre función linfocitaria, etcétera. En la base de datos de Perú se incorporaron un total de 6 estudios realizados en población de personas con VIH. Cuatro de los mismos se encuentran en el grupo de calidad buena; 1 en el de calidad intermedia y también 1 en el de calidad limitada. Para la base de datos de Ecuador se recopilaron 5 estudios que tomaron esta población como objetivo. Ninguno de ellos fue evaluado con índices de buena calidad; 1 presentó calidad intermedia y los otros 4 fueron evaluados con calidad limitada. Con respecto a Bolivia se recopiló un total de 2 estudios, ambos de calidad intermedia. (Figura 14). 29

82 Figura 14. Calidad metodológica de los estudios en personas con VIH, por país. Región Andina, Fuente: Elaboración propia con información de las Bases de Datos y Referencias para una Estrategia Basada en Evidencia de Perú, Ecuador y Bolivia. Hallazgos: En la Figura 14 se observa claramente que tanto en Ecuador como en Bolivia no se recopiló ningún trabajo de buena calidad metodológica, por lo que la evidencia sobre Personas con VIH constituye una importante brecha en la información de estos dos países. Población General En Perú se incorporaron un total de 14 estudios realizados en población general, de los cuales 13 son de calidad metodológica buena, que representa el 93% del total. El estudio restante es de calidad intermedia. Para Ecuador se recopilaron 8 estudios que tomaron esta población como objetivo. El 62.5% presentaron índices de buena calidad; 12.5% calidad intermedia y 25% calidad limitada. Con respecto a Bolivia se recopilaron 7 estudios de los cuales 6 presentaron índice de buena calidad lo que representa el 86% del total. El estudio restante es de calidad metodológica intermedia. (Figura 15) 30

83 Figura 15. Calidad metodológica de los estudios en población general, por país. Región Andina, Fuente: Elaboración propia con información de las Bases de Datos y Referencias para una Estrategia Basada en Evidencia de Perú, Ecuador y Bolivia. Hallazgos: En los tres países se observa que la proporción de trabajos de buena calidad metodológica realizados en la población general está por encima del promedio de todos los estudios. La mayor facilidad de acceso a población general, probablemente posibilite el desarrollo de estrategias metodológicas más sólidas en este grupo. Jóvenes y Adolescentes Se contó con un total de 7 estudios realizados en jóvenes y adolescentes en Perú. Se encontró que 6 de ellos presentaron calidad metodológica buena lo que representa el 86% y solo uno presentó calidad intermedia. Para Ecuador se recopilaron 11 estudios, de los que 7 presentaron índices de buena calidad lo que corresponde al 64%; los otros 4 estudios estuvieron distribuidos equitativamente en los grupos de calidad intermedia y limitada. Con respecto a Bolivia, se recopilaron 5 estudios realizados en jóvenes y todos ellos fueron evaluados con buena calidad metodológica. (Figura 16) 31