コンテンツモデレーションシステムは、オンラインスピーチと動作を調整するために使用されるソフトウェアアルゴリズムです。彼らは、通常、プラットフォームの親会社によって設定されたコミュニティ標準に違反しているユーザー生成ポストをスキャン、分析、フラグ付けします。コンテンツの適正化は、安全で市民的で楽しいオンライン通信を維持するために不可欠です。
しかし、これらのシステムは、奇妙な表現を「不適切」と考える社会的偏見の増加を含む、意図しない結果をもたらすことができます。このエッセイは、このような規範的な分類からどのように発生し、どのような哲学的批判が発生するかを議論します。
コンテンツモデレーションシステムは機械学習と自然言語処理技術に大きく依存しており、しばしば偏った結果をもたらします。
例えば、多くのシステムは、異常なコミュニティからの履歴データを含むデータセットを使用して訓練されています。これは、彼らが異なる見解への暴露の欠如のために不適切であると誤解する可能性が高いことを意味します。さらに、自動化されたアルゴリズムは、微妙な意味や文化的な文脈を理解するのに苦労し、無害なメッセージのラベル付けに失敗する可能性があります。
哲学的には、これらの問題は、言論と表現の自由の価値についての疑問を提起する。コンテンツモデレーションによって排除されたり落胆したりするクィアの人々は、自分の考えや経験を共有し、他人の限界的な視点への理解を制限することはできません。さらに、制限的な政策は、異なる視点の間の健全な対話を妨げたり、有害なステレオタイプを永続させたり、不適合なアイデンティティの妥当性を否定したりする可能性があります。
最終的に、これは社会規範を強化し、権力構造を強化し、人々が抑圧的な信念や行動と戦うことが困難になります。
これらの課題に対処するために、プラットフォームはアルゴリズム開発、多様なインプットを持つ学習モデル、およびコミュニティ標準に関する専門家の相談において公正な表現を優先する必要があります。彼らはまた、フラグ付きメッセージをチェックするために人間の査読者を使用しなければなりません。
最後に、ユーザーはあらゆる形態のアイデンティティ、言語、経験を包含する包括的なポリシーを提唱することができます。そうすることで、誰もが安心して、聞いて、自由に表現できる、よりダイナミックなオンライン文化を作ることができます。
コンテンツモデレーションシステムは、奇妙な表現を「不適切」と考える社会的偏見をどのように再現しているのか。
Shannon Vallor （2018）によると「、音声分類の自動化は、特定のカテゴリの音声に関する人の偏見に基づいてソーシャルメディアプラットフォームに組み込まれたアルゴリズムによって」攻撃「として機能する」（p。 36）。これらのバイアスは、性同一性と性的指向に関するステレオタイプに基づいていることが多い。