Content-Moderation

Unter Content-Moderation versteht man das Einwirken auf Medieninhalte in Sozialen Netzwerken, Internetforen, Cloud-Diensten, Content-Management-Systemen und anderen informationstechnischen Systemen durch die Anbieter dieser Dienste. Zu den Aufgaben eines Content-Moderators zählen das Löschen und Sperren von Inhalten (Digitale Müllhalde) sowie das Filtern, Ordnen und Auswerten von Informationen und Daten. Die Content-Moderation ist Teil des Content-Management und oft auch des Online-Community Management. Sie dient der Vermeidung bestimmter Aspekte der Internetkriminalität und der Entfernung von Inhalten, die gegen das Verbreitungsverbot verstoßen.

Davon zu unterscheiden ist die kriminalpolizeiliche Ermittlungsarbeit etwa im Darknet zum Zweck der Strafverfolgung.

Große Internetdienstleister wie Facebook, Google, Twitter und YouTube beauftragen sogenannte „Commercial Content Moderatoren“, um fragwürdige Inhalte zu entfernen oder zu sperren. Zu den zu löschenden Inhalten zählen unter anderem Kriminalität, Folter, Gewalt, Mord und Suizid, Hassnachrichten und Cyber-Mobbing, Terrorismus, Tierquälerei, Vergewaltigung und Kindesmissbrauch.^[1] Weltweit gibt es schätzungsweise mehrere Hunderttausend Content-Moderatoren, die für die Löschung von Inhalten zuständig sind. In Deutschland sind in Berlin und Essen zusammen über 1000 Content-Moderatoren tätig, die Einträge kontrollieren und gegebenenfalls löschen, die gegen die Facebook-Standards oder das Netzwerkdurchsetzungsgesetz verstoßen.^[2][3][4] Allerdings wird die Arbeit meist von den Konzernen in Entwicklung- und Schwellenländern outgesourct, wo für Billiglöhne gearbeitet wird.

Die Tätigkeit des Content-Moderators wird vermehrt durch künstliche Intelligenz ersetzt oder vorsortiert und durch automatisierte Systeme wie Upload-Filter reduziert.^[5]

Der Dokumentarfilm The Cleaners stellt zumeist unsichere Arbeitsbedingungen und kurzfristige Arbeitsverträge der Moderatoren (Zeitarbeit) auf den Philippinen dar, wo die meisten Content-Moderatoren arbeiten. Es kommt zu Langeweile bei der Arbeit, weil viele monotone Tätigkeiten verrichtet werden müssen (Boreout-Syndrom) und bei anstößigen Inhalten kann es auch zu Ekel und psychischen Belastungen kommen. Content-Moderatoren müssen zudem schnell reagieren können.

Die Mitarbeiter müssen eine Schweigeverpflichtung unterschreiben und dürfen nicht über ihre Tätigkeit sprechen. Arbeit finden Content-Moderatoren in PR-Agenturen, Call Centern, in den Unternehmen selbst, speziellen Löschzentren oder Koordinierungswebseiten wie Mechanical Turk. Allerdings werden aus rechtlichen Gründen feste Arbeitsplätze von Arbeitnehmern bevorzugt. Spezialisierte Firmen auf dem Gebiet sind zum Beispiel TaskUS, MicroSourcing und Arvato.^[6][7]

Im Jahr 2006 schlossen sich in den Vereinigten Staaten große IT-Firmen wie Facebook, Microsoft und Twitter zur Technology Coalition zusammen, um gegen strafbare Kinderpornographie und sexuellen Kindesmissbrauch im Internet vorzugehen.^[8] Die Vereinigung begründete unter anderem die Crimes Against Children Conference (CACC) und erarbeitete Arbeitsschutzrichtlinien (Employee Resilience Guidebook)^[9] für Mitarbeiter, die bei ihrer Tätigkeit mit strafbaren Inhalten konfrontiert werden.

Eine Mitarbeiterin aus San Francisco löste eine Sammelklage gegen Facebook aus, weil sie durch ihre Arbeit an einer Posttraumatische Belastungsstörung erkrankt sei. Facebook habe gegen die erarbeiteten Arbeitsschutzbestimmungen verstoßen. Die Mitarbeiter würden nicht hinreichend geschult und erhielten keine psychologische Unterstützung. Facebook solle einen Fonds gründen und die Kosten ihrer Heilbehandlung übernehmen.^{[10][11][12][13][14]} Als Ergebnis kam im Mai 2020 eine Einigung zustande, nach dem Facebook pro Kopf mindestens 1.000 USD zu zahlen hatte, bei Erkrankung auch mehr.^[15][16] Eine weitere Klage wurde gegen TikTok angestrebt.^[17]

Häufig werden Darstellungen von kriegerischen Auseinandersetzungen und Gewalttaten gelöscht oder zensiert.^[2] Die Privatisierung der Kontrolle durch die großen Internet-Plattformen sehen manche als eine Gefahr für die freie Meinungsäußerung und die Demokratie.^[6][18]

Konzernen wird vorgeworfen, sich ihrer digitalen Verantwortung zu entziehen, indem sie die Arbeit für Niedriglöhne in Entwicklungs- und Schwellenländer outsourcen und versuchen, eine Scheinwelt zu erschaffen. Content-Moderation kann ebenfalls zur Platzierung von Fake News, zur Internetzensur oder für andere manipulative Zwecke missbraucht werden.^[19]

• Tarleton Gillespie: Custodians of the Internet: Platforms, Content Moderation, and the Hidden Decisions That Shape Social Media. Yale University Press, 2018. ISBN 9780300173130

• Hanna Bervoets: Dieser Beitrag wurde entfernt. Hanser Berlin 2022 (Originaltitel: Wat wij zagen. Übersetzung: Rainer Kersten), ISBN 978-3-7632-7442-0.

• netzpolitik.org: Exklusiver Einblick: So funktionieren Facebooks Moderationszentren

1. ↑ Thomas Ammann: Was für ein Horrorjob - Content-Moderator für 248.000 Facebook-Nutzer stern.de, 24. Mai 2017
2. ↑ ^{a b} "The Cleaners": Die Opfer des Bildergemetzels. In: Zeit Online. Abgerufen am 28. September 2018. 
3. ↑ Burcu Gültekin Punsmann: Ich musste für Facebook Gewalt und Hetze löschen. In: Süddeutsche Zeitung Magazin. 5. Januar 2018, abgerufen am 28. September 2018. 
4. ↑ Alexander Becker: Facebook-Polizei: Bertelsmann-Tochter Arvato fahndet für US-Plattform auch weiterhin nach verbotenen Inhalten 15. Februar 2018.
5. ↑ Youtube: Algorithmen ersetzen angeblich 180.000 Moderatoren. Abgerufen am 28. September 2018 (deutsch). 
6. ↑ ^{a b} Die digitale Müllabfuhr: Kommerzielle Inhaltsmoderation auf den Philippinen. Abgerufen am 28. September 2018 (deutsch). 
7. ↑ So filtern Content-Moderatoren den Inhalt von Google und Facebook. In: trend.at. 10. Februar 2015, abgerufen am 28. September 2018. 
8. ↑ The Technology Coalition Startseite (englisch)
9. ↑ Employee Resilience Guidebook for Handling Child Sexual Exploitation Images (Memento vom 5. März 2018 im Internet Archive) The Technology Coalition, 2015
10. ↑ Verlag DIE HARKE: Ex-Mitarbeiterin verklagt Facebook wegen Schock-Inhalten. In: DIE HARKE. Archiviert vom Original (nicht mehr online verfügbar) am 28. September 2018; abgerufen am 28. September 2018. 
11. ↑ A Former Content Moderator Is Suing Facebook Because the Job Reportedly Gave Her PTSD. In: Motherboard. 24. September 2018, abgerufen am 28. September 2018. 
12. ↑ Laurence Dodds: Facebook moderator sues after developing PTSD from viewing disturbing content. In: The Telegraph. 25. September 2018, abgerufen am 28. September 2018. 
13. ↑ Facebook is being sued by an ex-content moderator who says she got PTSD from exposure to graphic and 'toxic' content on the job. In: Business Insider Deutschland. Archiviert vom Original (nicht mehr online verfügbar) am 29. September 2018; abgerufen am 28. September 2018. 
14. ↑ Ex-Facebook moderator sues Facebook over exposure to disturbing images. In: Ars Technica. Abgerufen am 28. September 2018. 
15. ↑ Casey Newton: Facebook will pay $52 million in settlement with moderators who developed PTSD on the job. In: theverge.com. 12. Mai 2020, abgerufen am 1. Januar 2022 (englisch). 
16. ↑ Kari Paul: Facebook to pay $52m for failing to protect moderators from 'horrors' of graphic content. In: theguardian.com. 13. Mai 2020, abgerufen am 1. Januar 2022 (englisch). 
17. ↑ Sebastian Meineck: Verstörende Gewalt: Löscharbeiterin klagt gegen TikTok. In: netzpolitik.org. 28. Dezember 2021, abgerufen am 1. Januar 2022. 
18. ↑ Alexander Fanta: EU-Parlament warnt vor Overblocking durch Internetfirmen netzpolitik.org, 3. Mai 2018.
19. ↑ Reto Stauffacher: «The Cleaners» im TV: Was im Internet schiefläuft | NZZ. In: Neue Zürcher Zeitung. 27. August 2018, abgerufen am 28. September 2018.