Background
Several standards have been developed to assess methodological quality of systematic reviews (SR). One widely used tool is the AMSTAR. A recent update - AMSTAR 2 - is a 16 item evaluation tool that enables a detailed assessment of SR that include randomised (RCT) or non-randomised studies (NRS) of healthcare interventions.
Methods
A cross-sectional study of SR on pharmacological or psychological interventions in major depression in adults was conducted. SR published during 2012–2017 were sampled from MEDLINE, EMBASE and the Cochrane Database of SR. Methodological quality was assessed using AMSTAR 2. Potential predictive factors associated with quality were examined.
Results
In rating overall confidence in the results of 60 SR four reviews were rated “high”, two were “moderate”, one was “low” and 53 were “critically low”. The mean AMSTAR 2 percentage score was 45.3% (standard deviation 22.6%) in a wide range from 7.1% to 93.8%. Predictors of higher quality were: type of review (higher quality in Cochrane Reviews), SR including only randomized trials and higher journal impact factor.
Limitations
AMSTAR 2 is not intended to be used for the generation of a percentage score.
Conclusions
According to AMSTAR 2 the overall methodological quality of SR on the treatment of adult major depression needs improvement. Although there is a high need for summarized information in the field of mental health, this work demonstrates the need to critically assess SR before using their findings. Better adherence to established reporting guidelines for SR is needed.
Ziel: Die Arbeitsgruppe Grading of Recommendations Assessment, Development, and Evaluation (GRADE) definiert Patient*innenwerte und -präferenzen als die relative Bedeutung, die Patient*innen gesundheitsbezogenen Endpunkten beimessen. Wir stellen GRADE-Empfehlungen zur Einschätzung des Risikos für Bias und der Indirektheit bereit. Diese können im Rahmen der Bewertung der Vertrauenswürdigkeit der Evidenz zur relativen Bedeutung von Endpunkten genutzt werden. Studiendesign und Setting: Die GRADE-Domänen wurden in mehreren systematischen Übersichtsarbeiten angewendet, um die Vertrauenswürdigkeit der Evidenz zur Bedeutung von Endpunkten zu bewerten. Dabei wurden Entwürfe der GRADE-Empfehlungen iterativ geprüft und GRADE-Mitgliedern sowie andere Interessengruppen um Feedback gebeten. Ergebnisse: Dies ist der erste von zwei Artikeln. Ein Evidenzkörper, der die Bedeutung von Endpunkten adressiert, wird bezüglich seiner Vertrauenswürdigkeit zunächst als ,,hoch'' eingestuft. Risiko für Bias, Indirektheit, Inkonsistenz, unzureichende Präzision oder Publikationsbias führen zu einer Herabstufung auf moderate, niedrige oder sehr niedrige Vertrauenswürdigkeit. Zur Einschätzung des Risikos für Bias schlagen wir die Subdomänen Auswahl der Studienpopulation, fehlende Daten, Art des Messinstruments und Beeinflussbarkeit durch Störfaktoren (Confounding) vor. Für jede dieser Subdomänen haben wir Items entwickelt. Die Population, die Intervention, die Vergleichsintervention und die Endpunkte, die mit der Evidenz zusammenhängen, bestimmen den Grad der Indirektheit. Fazit: Dieser Artikel gibt Empfehlungen und Beispiele für die Einschätzung des Risikos für Bias und der Indirektheit eines Evidenzkörpers, der die Bedeutung von Endpunkten zusammenfasst.
scite is a Brooklyn-based organization that helps researchers better discover and understand research articles through Smart Citations–citations that display the context of the citation and describe whether the article provides supporting or contrasting evidence. scite is used by students and researchers from around the world and is funded in part by the National Science Foundation and the National Institute on Drug Abuse of the National Institutes of Health.