Content-Moderationssysteme sind Software-Algorithmen zur Regulierung von Online-Sprache und -Verhalten. Sie scannen, analysieren und markieren von Benutzern erstellte Nachrichten auf Verstöße gegen Community-Standards, die normalerweise von der Muttergesellschaft der Plattform festgelegt werden. Die Moderation von Inhalten ist unerlässlich, um eine sichere, zivile und angenehme Kommunikation im Internet aufrechtzuerhalten. Diese Systeme können jedoch auch unvorhergesehene Folgen haben, einschließlich der Zunahme sozialer Vorurteile, die den seltsamen Ausdruck „unangemessen" finden. In diesem Aufsatz wird diskutiert, wie dies geschieht und welche philosophischen Kritikpunkte sich aus solchen normativen Klassifikationen ergeben.
Content-Moderationssysteme sind stark auf maschinelles Lernen und natürliche Sprachverarbeitungstechniken angewiesen, was häufig zu voreingenommenen Ergebnissen führt.
Zum Beispiel wurden viele Systeme mit Datensätzen trainiert, die historische Daten von heteronormativen Gemeinschaften enthalten. Dies bedeutet, dass es wahrscheinlicher ist, dass sie nicht normative Ausdrücke fälschlicherweise als unangemessen einstufen, da sie nicht verschiedenen Ansichten ausgesetzt sind. Außerdem können automatisierte Algorithmen Schwierigkeiten haben, nuancierte Bedeutungen oder kulturelle Kontexte zu verstehen, was zu einer fehlerhaften Kennzeichnung harmloser Nachrichten führt. Philosophisch werfen diese Probleme Fragen über den Wert der Meinungs- und Meinungsfreiheit auf. Seltsame Menschen, die sich durch die Moderation von Inhalten ausgeschlossen oder entmutigt fühlen, können ihre Gedanken oder Erfahrungen nicht teilen und das Verständnis anderer marginaler Perspektiven einschränken. Darüber hinaus kann restriktive Politik einen gesunden Dialog zwischen verschiedenen Standpunkten verhindern, schädliche Stereotypen aufrechterhalten oder die Gültigkeit nonkonformistischer Identitäten leugnen. Letztendlich stärkt es soziale Normen und zementiert Machtstrukturen, was es den Menschen erschwert, mit unterdrückerischen Überzeugungen und Verhaltensweisen umzugehen. Um diese Probleme zu lösen, sollten Plattformen der fairen Repräsentation in der algorithmischen Entwicklung, Lernmodellen mit einer Vielzahl von Quelldaten und der Beratung von Experten zu Community-Standards Vorrang einräumen. Sie sollten auch menschliche Beobachter verwenden, um markierte Nachrichten zu überprüfen und ein Sicherheitsnetzwerk für diejenigen bereitzustellen, deren Ausdruck von Maschinen als „unangemessen" angesehen wird. Schließlich können sich die Nutzer für inklusive Richtlinien einsetzen, die alle Formen von Identität, Sprache und Erfahrung abdecken. Auf diese Weise können wir eine dynamischere Online-Kultur schaffen, in der sich jeder sicher, gehört und ermächtigt fühlt, sich frei auszudrücken.
Wie reproduzieren Content-Moderationssysteme gesellschaftliche Vorurteile, die den seltsamen Ausdruck „unangemessen“ finden, und welche philosophischen Kritikpunkte ergeben sich aus solchen normativen Einordnungen?
Laut Shannon Vallor (2018) „wirkt die automatisierte Sprachklassifizierung als“ beleidigend „durch Algorithmen, die in Social-Media-Plattformen eingebettet sind, basierend auf menschlichen Vorurteilen gegenüber bestimmten Sprachkategorien“ (S. 36). Diese Vorurteile basieren oft auf Stereotypen über Geschlechtsidentität und sexuelle Orientierung.