Im Kontext interdisziplinärer Zusammenarbeit insbesondere mit Kolleg*innen aus der Informatik wird die Kommunikations- und Medienforschung seit geraumer Zeit mit einer großen Bandbreite an Forschungssoftware konfrontiert, mit der sie bislang nur wenig Erfahrungen hat. Neben Programmiersprachen wie Python oder R sind dies etwa spezifische Tools zur Textanalyse, die eine Alternative zu bisherigen Varianten der computergestützten Inhaltsanalyse darstellen. Mit dem brat rapid annotation tool (BRAT) stellen wir in diesem Beitrag eine solche Alternative vor und rezensieren sie vor dem Hintergrund unserer Erfahrungen im Umgang mit ihr. BRAT ist ein webbasiertes Open-Source-Tool zur Textannotation, das vor rund zehn Jahren von einem internationalen Team aus Informatiker*innen entwickelt wurde. Der Beitrag stellt das Tool und seine wichtigsten Funktionen vor, zeigt anhand von drei Fallstudien mögliche Anwendungsbeispiele zu dessen Einsatz in qualitativen und quantitativen Inhaltsanalysen auf und bewertet es schließlich mit Blick auf entsprechende Potenziale und Schwierigkeiten.
In der automatischen Inhaltsanalyse werden die standardisierte manuelle Inhaltsanalyse der Kommunikationswissenschaft und die automatische Textklassifikation des überwachten maschinellen Lernens verbunden, um die wachsende Menge medial vermittelter Inhalte zu beschreiben, analysieren und vergleichen. Qualitätskriterien für die manuelle Inhaltsanalyse zielen auf Validität und Reliabilität ab, während sich Gütekriterien für die automatische Textklassifikation größtenteils mit Reproduzierbarkeit befassen. Zweifel daran, ob Textklassifikationsmodelle inhaltlich relevante Features lernen anstatt auf Scheinkorrelationen oder Artefakte im Datensatz trainiert zu werden, deuten auf ein Validitätsproblem für die automatische Inhaltsanalyse hin: Kommunikationswissenschaftliche Forschung, die diese Methode nutzt, muss sicherstellen, dass die automatische Textklassifikation nicht lediglich zuverlässig reproduziert, sondern gültige Ergebnisse liefert. Diese Arbeit bündelt epistemologische Differenzen in Sozialwissenschaften und Informatik und zeigt daraus resultierende Reibungspunkte im Umgang mit Theorie, Methodologie, Qualitätskriterien und dem Forschungsprozess in der Kommunikationswissenschaft und dem Machine Learning auf. Im Vergleich der Forschungsprozesse zeigt sich, dass das Kriterium der Erklärbarkeit im maschinellen Lernen als Streben nach Validität zu verstehen ist. Daraufhin wird geprüft, welche Erklärbarkeitsstrategien im maschinellen Lernen für eine Validitätsprüfung nutzbar gemacht werden können. Empfehlungen für eine Weiterentwicklung der automatischen Inhaltsanalyse umfassen die Entwicklung übergreifender Qualitätskriterien, eines interdisziplinären Forschungsprozesses und die Auseinandersetzung mit den grundlegenderen epistemologischen und methodologischen Konflikten.
Methodenbericht zur annotationsbasierten Inhaltsanalyse von Nutzerkommentaren zum Thema Flucht und Migration aus März 2019 im Rahmen des BMBF-Verbundprojekts „NOHATE – Bewältigung von Krisen öffentlicher Kommunikation im Themenfeld Flüchtlinge, Migration, Ausländer“ (Förderkennzeichen: 01UG1735AX). Das Codebuch zur Erhebung findet sich unter: https://doi.org/10.31235/osf.io/c59kn
scite is a Brooklyn-based organization that helps researchers better discover and understand research articles through Smart Citations–citations that display the context of the citation and describe whether the article provides supporting or contrasting evidence. scite is used by students and researchers from around the world and is funded in part by the National Science Foundation and the National Institute on Drug Abuse of the National Institutes of Health.