ZusammenfassungZitatdatenbanken bilden die Datengrundlagen für zahlreiche szientometrische Untersuchungen, Evaluationen wissenschaftlicher Leistungen und Uni-Rankings. In der Literatur finden sich kaum Hinweise auf endogene Fehler (Original richtig, Datenbankeintrag falsch) in den kostenpflichtigen Datenbanken. Banale Fehler (z. B. Falschschreibung der Namen von Autorinnen oder Autoren) in Datenbanken hätten nur geringe Relevanz. Die Fehlersuche zu Pierre Bourdieu als „cited author“ im SSCI (Vergleich Original – SSCI-Record) ergab mehr als 85 Mutationen. Die Fallstudien zeigen eine hohe Anzahl endogener Datenbankfehler. In den Rechtswissenschaften übliche Referenzen in Fußnoten laufen große Gefahr, in Phantomreferenzen verwandelt zu werden (Fallstudie Harvard Law Review: 99 Prozent Fehler). Dem Anspruch des SSCI, die „relevanten“ globalen Sozialwissenschaften abzubilden – für alle im SSCI erfassten Disziplinen –, stehen offenbar Mängel in Datenerfassung und -verarbeitung im Wege.
ZusammenfassungEine wachsende Anzahl von wissenschaftlichen Gesellschaften, Zeitschriften, Institutionen und wissenschaftlich Tätigen protestieren und bekämpfen den „allmächtigen“ Journal Impact Faktor. Die bekannteste Initiative von Protest und Empfehlungen heißt DORA, The San Francisco Declaration on Research Assessment. Kritisiert wird die fehlerhafte, verzerrte und intransparente Art der quantitativen Evaluationsverfahren und ihre negativen Auswirkungen auf das wissenschaftliche Personal, insbesondere auf junge Nachwuchskräfte und ihre wissenschaftliche Entwicklung, insbesondere die subtile Diskriminierung von Kultur- und Sozialwissenschaften. Wir sollten nicht unkritisch im Metrik-Paradigma gefangen bleiben und der Flut neuer Indikatoren aus der Szientometrie zujubeln. Der Slogan „Putting Science into the Assessment of Research“ darf nicht szientistisch verkürzt verstanden werden. Soziale Phänomene können nicht bloß mit naturwissenschaftlichen Methoden untersucht werden. Kritik und Transformation der sozialen Aktivitäten, die sich „Evaluation“ nennen, erfordern sozialwissenschaftliche und wissenschaftsphilosophische Perspektiven. Evaluation ist kein wertneutrales Unternehmen, sondern ist eng mit Macht, Herrschaft, Ressourcenverteilung verbunden.
Zusammenfassung Zahlreiche Autoren, Autorinnen und kritische Initiativen (z. B. DORA) kritisieren den zu hohen und schädlichen Einfluss quantitativer Daten, welche akademische Instanzen für Evaluationszwecke heranziehen. Wegen des großen Einflusses der globalen Zitatdatenbanken von Thomson Reuters (bzw. Clarivate Analytics) auf die Bewertung der wissenschaftlichen Leistungen von Forscherinnen und Forschern habe ich extensive qualitative und quantitative Fallstudien zur Datenqualität des Social Sciences Citation Index (SSCI) durchgeführt, d. h. die Originaleinträge mit den SSCI-Datensätzen verglichen. Diese Fallstudien zeigten schwerste – nie in der Literatur erwähnte – Fehler, Verstümmelungen, Phantomautoren, Phantomwerke (Fehlerrate in der Fallstudie zu Beebe 2010, Harvard Law Review: 99 Prozent). Über die verwendeten Datenerfassungs- und Indexierungsverfahren von TR bzw. Clarivate Analytics ist nur wenig bekannt. Ein Ergebnis meiner Untersuchungen: Bei der Indexierung von Verweisen in Fußnoten (wie in den Rechtswissenschaften, gerade auch der USA, vorgeschrieben) scheinen die verwendeten Textanalyse-Anwendungen und -Algorithmen völlig überfordert. Eine Qualitätskontrolle scheint nicht stattzufinden. Damit steht der Anspruch des SSCI als einer multidisziplinären Datenbank zur Debatte. Korrekte Zitate in den Fußnoten des Originals können zu Phantom-Autoren, Phantom-Werken und Phantom-Referenzen degenerieren. Das bedeutet: Sämtliche Zeitschriften und Disziplinen, deren Zeitschriften und Büchern dieses oder ähnliche Zitierverfahren verwenden (Oxford-Style), laufen Gefahr, aufgrund starker Zitatverluste falsch, d. h. unterbewertet, zu werden. Wie viele UBOs (Unidentifiable Bibliographic Objects) sich in den Datenbanken SCI, SSCI und AHCI befinden, wäre nur mit sehr aufwändigen Prozeduren zu klären. Unabhängig davon handelt es sich, wie bei fast allen in meinen Untersuchungen gefundenen fatalen Fehlern, eindeutig um endogene Fehler in den Datenbanken, die nicht, wie oft behauptet, angeblich falsch zitierenden Autorinnen und Autoren zugeschrieben werden können, sondern erst im Laufe der Dateneingabe und -verarbeitung entstehen.
Today university rankings and performance rankings (ot en based on JIFs, h-indexes) are believed to be indispensable to assure scientii c "quality". Most of these performance rankings employ citation data provided by h omson Reuters. TR's current inl uence on funding decisions, individual careers, institutions, disciplines and countries is immense and ambivalent. h ere is increasing resistance against "impactitis" and "evaluitis". Usually overseen: Trivial errors in TR's citation indexes (SCI, SSCI, AHCI) pr oduce sev er e non-tri vial ef ects: h eir victims are authors, i n s t i t u t i o n s , journals with n a m e s beyond t he ASCIIcode and scholars of humanities and social sciences. Based o n t he Joshua Lederberg Papers I claim: To overcome severe resistance Eugene Gari eld and Joshua Lederberg had to foster overoptimistic attitudes and to downplay the severe problems connected to global a n d m u ltidisciplinary citation indexing. h e dii culties to handle dif erent formats of references and footnotes, non-Anglo-American names, and of publications in non-English languages were known to the pioneers of citation indexing.
scite is a Brooklyn-based organization that helps researchers better discover and understand research articles through Smart Citations–citations that display the context of the citation and describe whether the article provides supporting or contrasting evidence. scite is used by students and researchers from around the world and is funded in part by the National Science Foundation and the National Institute on Drug Abuse of the National Institutes of Health.
hi@scite.ai
10624 S. Eastern Ave., Ste. A-614
Henderson, NV 89052, USA
Copyright © 2024 scite LLC. All rights reserved.
Made with 💙 for researchers
Part of the Research Solutions Family.