内容审核系统是用于调节在线语音和行为的软件算法。他们扫描，分析和标记用户创建的消息，以违反通常由平台母公司制定的社区标准。内容审核对于保持安全，公民和愉快的在线交流至关重要。但是，这些系统也可能产生意想不到的后果，包括社会偏见的增加，这些偏见认为奇怪的表达"不合适"。本文将讨论这种情况的发生方式以及从此类规范分类中产生的哲学批评。
内容审核系统在很大程度上依赖于机器学习和自然语言处理技术，这通常会导致结果偏差。例如，使用包含异规范社区历史数据的数据集对许多系统进行了培训。这意味着由于缺乏对不同观点的了解，他们更有可能将亵渎性表达错误地归类为不恰当。此外，自动化算法可能难以理解细微差别或文化背景，从而导致对无害消息的错误标记。从哲学上讲，这些问题引起了人们对言论和表达自由的价值的问题。感到被内容审核排斥或灰心丧气的陌生人可能不会分享他们的想法或经验，从而限制了对其他边缘观点的理解。此外，限制性政策可能会阻碍不同观点之间的健康对话，使有害的陈规定型观念长期存在或否认不循规蹈矩的身份的有效性。最终，它加强了社会规范，巩固了权力结构，使人们难以与压迫性的信仰和行为作斗争。为了解决这些问题，平台必须优先考虑算法开发中的公平代表性，具有多种来源的学习模型以及社区标准专家的建议。他们还必须使用专栏作家来验证标记的消息，为那些表达被认为是"不合适"机器的人提供安全网络。最后，用户可以倡导包容性政策，涵盖所有形式的身份，语言和经验。通过这样做，我们可以创造一种更加动态的在线文化，让每个人都感到安全、被听到和有权自由表达自己。
内容审核系统如何再现社会偏见，认为奇怪的表达"不合适"，以及这种规范分类产生了哪些哲学批评？
根据香农·瓦洛（Shannon Vallor，2018）的说法，"基于个人对某些类别语音的偏见，社交媒体平台中嵌入的自动语音分类充当"冒犯"算法"（第36页）。这些偏见通常基于关于性别认同和性取向的陈规定型观念。