Avaliação da qualidade metodológica de revisões sistemáticas com meta-análises sobre serviços farmacêuticos clínicos : análise de sensibilidade da ferramenta AMSTAR-2

Abstract

Resumo: As revisões sistemáticas (RS) são fundamentais para a tomada de decisões clínicas por sintetizarem evidências de forma clara e robusta. No entanto, quando conduzidas com falhas metodológicas podem resultar em conclusões enviesadas, tornando essencial a avaliação rigorosa de sua qualidade. Estudos anteriores indicam que revisões sistemáticas com meta-análises (RSMA) na área da farmácia prática frequentemente apresentam deficiências metodológicas, o que pode levar a evidências conflitantes e tendenciosas. Considerando o exposto, este estudo teve como objetivo avaliar a qualidade metodológica das RSMA sobre serviços farmacêuticos clínicos e analisar o impacto da modificação da criticidade dos domínios da ferramenta AMSTAR-2 (A MeaSurement Tool to Assess Systematic Reviews) na avaliação da qualidade. Para tanto, foi conduzida uma RS, seguindo as recomendações da Colaboração Cochrane, buscando-se nas bases de dados PubMed, Scopus e Web of Science, RSMA que avaliaram o impacto de serviços farmacêuticos clínicos comparados ao cuidado usual ou serviços providos por outros profissionais. A qualidade metodológica dos estudos foi avaliada por dois revisores independentes por meio da ferramenta AMSTAR-2. Em seguida, foi avaliado se houve melhora na qualidade dos estudos com a publicação de diretrizes de reporte e condução de RS. Por fim, foram analisadas as mudanças na classificação geral da qualidade de cada RSMA ao remover hipoteticamente a designação de criticidade de cada domínio na ferramenta original. As análises foram realizadas no IBM SPSS v. 24.0. Apesar do aumento no número de publicações sobre serviços farmacêuticos clínicos, a qualidade das 153 RSMA analisadas foi predominantemente baixa, com 99% dos estudos classificados como tendo qualidade baixa ou criticamente baixa. Nenhuma RSMA foi classificada como tendo qualidade alta. A falta de relato sobre fontes de financiamento dos estudos primários e a ausência de buscas bibliográficas abrangentes foram os principais fatores que impactaram negativamente a qualidade dos estudos. Houve uma melhora estatisticamente significativa na qualidade metodológica dos artigos ao longo dos anos, passando de "criticamente baixa" para "baixa". No entanto, essa melhora não teve relação com a publicação de diretrizes para relatos, condução ou registro de RS. Com a remoção hipotética da criticidade dos domínios, nenhum estudo foi reclassificado como de alta qualidade, e nenhum estudo melhorou em mais de um nível. O domínio #7 - apresentação da lista e justificativa dos estudos excluídos – demonstrou o maior aprimoramento na qualidade, quando não considerado crítico, enquanto o domínio #9 – avaliação do risco de viés nos estudos primários – e o #13 – consideração do risco de viés ao interpretar os resultados da RS – não apresentaram mudanças quando o status crítico foi desconsiderado. Por fim, este estudo apresenta uma análise detalhada da qualidade metodológica das RSMA na área da farmácia prática, destacando desafios persistentes e oportunidades promissoras. O estudo evidencia que há espaço para aprimoramentos, especialmente na investigação de fatores associados à baixa qualidade e na formulação de recomendações práticas para autores e editores. A adoção de iniciativas como o Granada Statements e o uso rigoroso de ferramentas como o AMSTAR-2 e o PRISMA são passos essenciais para elevar os padrões de pesquisa na área da farmácia prática

Abstract: Systematic reviews (SR) are essential for clinical decision-making, as they synthesize evidence in a clear and methodologically robust manner. However, when conducted with methodological flaws, they can lead to biased conclusions, making the rigorous assessment of their quality essential. Previous studies have indicated that systematic reviews with meta-analyses (SRMA) in practical pharmacy often present methodological shortcomings, which may result in conflicting and biased evidence. Considering this, the present study aimed to evaluate the methodological quality of SRMA on clinical pharmacy services and to analyze the impact of modifying the criticality of the domains of the AMSTAR-2 tool (A MeaSurement Tool to Assess Systematic Reviews) on quality assessment. To this end, a SR was conducted in accordance with the Cochrane Collaboration’s recommendations. Searches were performed in the PubMed, Scopus, and Web of Science databases for SRMA evaluating the impact of clinical pharmacy services compared to usual care or services provided by other healthcare professionals. The methodological quality of the included studies was assessed by two independent reviewers using the AMSTAR-2 tool. Subsequently, the study evaluated whether the quality of SRMA improved following the publication of guidelines for reporting and conducting SR. Finally, changes in the overall quality rating of each SRMA were analyzed by hypothetically removing the criticality designation from each domain of the original AMSTAR-2 tool. All analyses were performed using IBM SPSS version 24.0. Despite the growing number of publications on clinical pharmacy services, the methodological quality of the 153 SRMA analyzed was predominantly low, with 99% classified as low or critically low quality. None of the SRMA were classified as high quality. The failure to report sources of funding for primary studies and the lack of comprehensive literature searches were the main factors that negatively affected the quality of the SRMA. A statistically significant improvement in methodological quality was observed over the years, with studies shifting from 'critically low' to 'low' quality ratings. However, this improvement was not related to the publication of guidelines for reporting, conducting or registering SR. With the hypothetical removal of criticality from the domains, no study was reclassified as high quality, and none improved by more than one level. Domain #7 — presentation of the list and justification of excluded studies — showed the greatest impact on quality when not considered critical. In contrast, domains #9 — assessment of risk of bias in primary studies — and #13 — consideration of risk of bias when interpreting SR results — showed no change in quality ratings when their critical status was disregarded. Finally, this study provides a detailed analysis of the methodological quality of SRMA in practical pharmacy, highlighting both persistent challenges and promising opportunities. The findings underscore the need for improvement, particularly in identifying factors associated with low quality and in developing practical recommendations for authors and journal editors. The adoption of initiatives such as the Granada Statements and the rigorous use of tools such as AMSTAR-2 and PRISMA are essential steps to raise the standards of research in practical pharmacy