Системы модерации контента - это программные алгоритмы, используемые для регулирования онлайн-речи и поведения. Они сканируют, анализируют и помечают сообщения, созданные пользователями, на предмет нарушения стандартов сообщества, обычно установленных материнской компанией платформы. Модерация контента необходима для поддержания безопасного, гражданского и приятного общения в Интернете.
Однако эти системы также могут иметь непредвиденные последствия, включая усиление социальных предрассудков, которые считают странное выражение «неуместным». В этом эссе будет обсуждаться, как это происходит и какие философские критические замечания возникают из таких нормативных классификаций.
Системы модерации контента в значительной степени полагаются на машинное обучение и методы обработки естественного языка, что часто приводит к предвзятым результатам.
Например, многие системы были обучены с использованием наборов данных, содержащих исторические данные гетеронормативных сообществ. Это означает, что они могут с большей вероятностью неправильно классифицировать ненормативные выражения как неуместные из-за отсутствия подверженности различным взглядам.
Кроме того, автоматизированные алгоритмы могут изо всех сил пытаться понять нюансированные значения или культурные контексты, что приводит к ошибочной маркировке безвредных сообщений.
Философски эти проблемы вызывают вопросы о ценности свободы слова и самовыражения. Странные люди, которые чувствуют себя исключенными или обескураженными модерацией контента, могут не делиться своими мыслями или опытом, ограничивая понимание другими маргинальных перспектив. Кроме того, ограничительная политика может помешать здоровому диалогу между различными точками зрения, увековечивание вредных стереотипов или отрицание действительности нонконформистских идентичностей.
В конечном счете, это укрепляет общественные нормы и цементирует властные структуры, затрудняя людям борьбу с деспотичными убеждениями и поведением.
Для решения этих проблем, платформы должны отдавать приоритет справедливому представительству в алгоритмической разработке, моделям обучения с разнообразными исходными данными и консультированию экспертов по стандартам сообщества. Они также должны использовать людей-обозревателей для проверки помеченных сообщений, обеспечивая сеть безопасности для тех, чье выражение считается «неуместным» машинами.
Наконец, пользователи могут выступать за инклюзивные политики, которые охватывают все формы идентичности, языка и опыта. Делая это, мы можем создать более динамичную онлайн-культуру, где каждый чувствует себя в безопасности, услышан и уполномочен свободно выражать себя.
Как системы модерации контента воспроизводят социальные предрассудки, которые считают странное выражение «неуместным», и какие философские критические замечания возникают из таких нормативных классификаций?
По словам Шеннона Валлора (2018), «автоматизированная классификация речи действует как» оскорбительная «алгоритмами, встроенными в платформы социальных сетей, основана на предубеждениях человека в отношении определенных категорий речи» (стр. 36). Эти предубеждения часто основаны на стереотипах о гендерной идентичности и сексуальной ориентации.