A new instrument for assessing the quality of studies on prevalence

Abstract

There are numerous scientific articles of studies on the prevalence of disorders with non-standardised examination and diagnostic protocols. Because their quality is heterogeneous, a new instrument has been developed for the assessment of such studies. The new instrument is based mainly on statistical criteria. The points assigned for each of the main criteria according to the information gained from each paper are summed up to form a Total Quality Score (TQS). The interrater reliability of the instrument was tested by employing Kappa and Interrater Correlation Coefficient (ICC) statistics. The latter was assessed on the results of three independent investigators. The new quality instrument appeared to be easy to use, and the instructions were comprehensible. The ICC((2,1)) for the TQS ranged between 0.94 and 1.00 indicating almost perfect agreement between the investigators. The reliability of the new instrument enables its use for scientific review purposes. In this way, its validity will also be tested. The instrument could be adopted for assessment of scientific articles of studies on the prevalence of disorders in many, similar, scientific areas.

Qualidade de artigos incluídos em revisão sistemática: comparação entre latino-americanos e de outras regiões

“…Localizamos diretrizes, rigorosamente elaboradas, para a avaliação crítica de artigos sobre prevalência ou incidência de transtornos da saúde, o que sugere uma preocupação e dedicação ao assunto. As fundamentações das grandezas identificadas nessas diretrizes embasaram nossa discussão anterior (Boyle, 1998;Giannakopoulos et al, 2012;Loney, Chambers, Bennett, Roberts, & Stratford, 1998;Loney & Stratford, 1999).…”

“…Artigos com o rigor científico desejável em estudos de prevalência também devem primar pelo instrumento de coleta de dados, que deve ser confiável e validado para a população a ser estudada. A utilização de um instrumento cuja validade e confiabilidade já foram testadas em outros estudos é sempre preferível à criação de um novo recurso para medição (Boyle, 1998 (Boyle, 1998;Giannakopoulos, Rammelsberg, Eberhard, & Schmitter, 2012;Loney & Stratford, 1999 (Boyle, 1998;Giannakopoulos et al, 2012;Loney & Stratford, 1999).…”

Prevalência de depressão pós-parto em países desenvolvidos e em desenvolvimento: contribuições metodológicas de uma metanálise

“…Assim, não existe uma padronização das recomendações sobre a metodologia mais adequada para estudos epidemiológicos, o que põe em dúvida a confiabilidade de seus resultados (Giannakopoulos, Rammelsberg, Eberhard, & Schmitter, 2012).…”

“…Testes estatísticos comparando os resultados da Escala de Loney et al (1998) Loney et al (1998) foi alvo de críticas: considerou-se que os itens não fornecem muitos detalhes sobre as propriedades estatísticas do trabalho avaliado (Giannakopoulos et al, 2012); e que o resultado de zero a oito pontos não diferencia os três domínios que a escala se propõe a avaliar, isto é, validade dos métodos, interpretação e aplicabilidade dos resultados (Shamliyan et al, 2010). No momento em que o método da presente revisão estava em preparação, a Escala de Loney et al (1998) era um dos poucos instrumentos desenvolvidos especificamente para avaliação de estudos observacionais, e apresentava a vantagem de fornecer um resultado numérico e passível de ser usado em análises estatísticas.…”

“…A maior parte dos esforços dos pesquisadores na área de saúde tem sido empreendida para a sistematização dos resultados de trabalhos delineados para avaliar eficácia ou efetividade de intervenções (Gülmezoglu et al, 2004). Apenas uma recomendação de hierarquia de evidências científicas na área de prevalência foi encontrada (OCEBM Levels of Evidence Working Group, 2011), e foram observados poucos trabalhos que buscaram elaborar métodos sistemáticos para a avaliação de qualidade de estudos de prevalência ou incidência (Shamliyan et al, 2010;Giannakopoulos et al, 2012 Apêndice 1 -Protocolo de avaliação de estudos por título e resumo.…”