In recent years, the need for neutral benchmark studies that focus on the comparison of methods coming from computational sciences has been increasingly recognized by the scientific community. While general advice on the design and analysis of neutral benchmark studies can be found in recent literature, a certain flexibility always exists. This includes the choice of data sets and performance measures, the handling of missing performance values, and the way the performance values are aggregated over the data sets. As a consequence of this flexibility, researchers may be concerned about how their choices affect the results or, in the worst case, may be tempted to engage in questionable research practices (e.g., the selective reporting of results or the post hoc modification of design or analysis components) to fit their expectations. To raise awareness for this issue, we use an example benchmark study to illustrate how variable benchmark results can be when all possible combinations of a range of design and analysis options are considered. We then demonstrate how the impact of each choice on the results can be assessed using multidimensional unfolding. In conclusion, based on previous literature and on our illustrative example, we claim that the multiplicity of design and analysis options combined with questionable research practices lead to biased interpretations of benchmark results and to over-optimistic conclusions. This issue should be considered by computational researchers when designing and analyzing their benchmark studies and by the scientific community in general in an effort towards more reliable benchmark results.
Zusammenfassung Hintergrund Im neu entstehenden Stadtteil Freiham in München plant und implementiert die Stadt München zeitgleich mit dem Bezug des Stadtteils eine Präventionskette als integrierte kommunale Strategie. Ziel der „Präventionskette Freiham“ ist es, von Anfang an gesunde Aufwachsbedingungen für alle Kinder und Jugendlichen zu schaffen. Zur Steuerung wurde auf Stadtverwaltungsebene ein referatsübergreifendes Gremium gebildet. Ziel der Studie ist es, dieses Gremium hinsichtlich seiner Strukturen, Prozesse und Zusammenarbeit mit vielfältigen Agierenden zu untersuchen. Methoden Die Studie kombinierte eine qualitative Interviewstudie mit Methoden der sozialen Netzwerkanalyse (SNA). Von März bis April 2018 wurden leitfadengestützte Einzelinterviews mit den Mitgliedern der Begleitgruppe durchgeführt und dabei egozentrierte, soziale Netzwerkkarten erstellt. Die Auswertung der Transkripte erfolgte qualitativ auf Grundlage der Inhaltsanalyse nach Margrit Schreier. Die Netzwerkkarten wurden ebenfalls qualitativ ausgewertet und die Ergebnisse visualisiert. Die Ergebnisse wurden den Studienteilnehmenden in einem Workshop im Juni 2018 vorgestellt, gemeinsam interpretiert und validiert. Ergebnisse Es nahmen zehn Mitglieder der Begleitgruppe an der Studie teil. Die referatsübergreifende, multiprofessionelle Zusammenarbeit in der Begleitgruppe wurde von allen Beteiligten als gewinnbringend bewertet. Darüber hinaus wurde die externe Koordination durch MAGs sowie die wissenschaftliche Expertise der LMU München als Stütze wahrgenommen. Hindernisse in der Planung und Implementierung der Präventionskette Freiham finden sich in erster Linie auf administrativer Ebene der Verwaltung. Aspekte, die die Zusammenarbeit der Begleitgruppe betreffen, wurden als vorrangig positiv empfunden. In der SNA wurden zahlreiche Agierende, vor allem aus der Fachsteuerungs- und Planungsebene der Referate, genannt, die bereits mit einbezogen werden. Zudem wurden Agierende identifiziert, die bislang noch nicht in den Planungsprozess involviert waren. Schlussfolgerungen Die Organisationsform der Begleitgruppe als formalisierter Zusammenschluss von Vertreter*innen verschiedener Referate, die sich gleichermaßen der Präventionskette widmen, sowie eine externe Koordination und wissenschaftliche Begleitung stellen einen positiv bewerteten Ansatz dar. Der Aufbau der Präventionskette sollte weiterhin als Querschnittsaufgabe verstanden sowie sektor- und hierarchieübergreifend unterstützt werden.
scite is a Brooklyn-based organization that helps researchers better discover and understand research articles through Smart Citations–citations that display the context of the citation and describe whether the article provides supporting or contrasting evidence. scite is used by students and researchers from around the world and is funded in part by the National Science Foundation and the National Institute on Drug Abuse of the National Institutes of Health.
customersupport@researchsolutions.com
10624 S. Eastern Ave., Ste. A-614
Henderson, NV 89052, USA
Copyright © 2024 scite LLC. All rights reserved.
Made with 💙 for researchers
Part of the Research Solutions Family.