Social media platforms like Facebook, YouTube, and Twitter have become major objects of criticism for reasons such as privacy violations, anticompetitive practices, and interference in public elections. Some of these problems have been associated with algorithms, but the roles that algorithms play in the emergence of different harms have not yet been systematically explored. This article contributes to closing this research gap with an investigation of the link between algorithms and harms on social media platforms. Evidence of harms involving social media algorithms was collected from media reports and academic papers within a two-year timeframe from 2018 to 2019, covering Facebook, YouTube, Instagram, and Twitter. Harms with similar casual mechanisms were grouped together to inductively develop a typology of algorithmic harm based on the mechanisms involved in their emergence: (1) algorithmic errors, undesirable, or disturbing selections; (2) manipulation by users to achieve algorithmic outputs to harass other users or disrupt public discourse; (3) algorithmic reinforcement of pre-existing harms and inequalities in society; (4) enablement of harmful practices that are opaque and discriminatory; and (5) strengthening of platform power over users, markets, and society. Although the analysis emphasizes the role of algorithms as a cause of online harms, it also demonstrates that harms do not arise from the application of algorithms alone. Instead, harms can be best conceived of as socio-technical assemblages, composed of the use and design of algorithms, platform design, commercial interests, social practices, and context. The article concludes with reflections on possible governance interventions in response to identified socio-technical mechanisms of harm. Notably, while algorithmic errors may be fixed by platforms themselves, growing platform power calls for external oversight.
Internet-Plattformen wie Facebook, Twitter und YouTube stehen vor der Herausforderung adäquat mit illegalen und unerwünschten Inhalten umzugehen, die über ihre Dienste verbreitet werden. Sie etablieren Gemeinschaftsstandards und komplexe Systeme zur manuellen und technischen Inhaltsregulierung, um problematische Inhalte zu identifizieren, zu filtern, zu löschen und zu kuratieren. Die Plattformen agieren global, aber Inhaltsmoderation wird regional wirksam und hat Auswirkungen auf nationale Öffentlichkeit. Deshalb wird immer öfter eine breite Debatte zum Thema Inhaltsregulierung auf Internet-Plattformen mit Blick auf Öffentlichkeit, Demokratieund regionale Kontextsensibilität eingefordert. Der vorliegende Beitrag zeigt einige der Defizite des aktuellen Regulierungssystems und entwickelt Optionen wie Inhaltsregulierung auf globalen Internet-Plattformen auf nationaler Ebene angebunden werden kann. Zu solchen Optionen zählen z.B. nationale Plattformsprecher/innen, die kommunikative Verantwortung gegenüber nationalen Öffentlichkeiten wahrnehmen; die Förderung und der Ausbau nationaler Meldestellen; der Einsatz von Inhaltsmoderator/innen mit nationalem Kontextwissen; sowie die Einrichtung einer staatsfernen nationalen Ombudsstelle für Inhaltsmoderation, die als Schlichtungsstelle und als Berufungsorgan gegenüber Moderationsentscheidungen der Internet-Plattformen fungiert und Beobachtungs- und Evaluierungsfunktionen übernehmen könnte.
scite is a Brooklyn-based organization that helps researchers better discover and understand research articles through Smart Citations–citations that display the context of the citation and describe whether the article provides supporting or contrasting evidence. scite is used by students and researchers from around the world and is funded in part by the National Science Foundation and the National Institute on Drug Abuse of the National Institutes of Health.