Sistemas de moderação de conteúdo são algoritmos de software usados para regular a fala e o comportamento online. Eles digitalizam, analisam e marcam as mensagens criadas pelos usuários para determinar que os padrões de comunidade normalmente definidos pela empresa mãe da plataforma sejam violados. A moderação de conteúdo é necessária para manter uma comunicação segura, civil e agradável na Internet.
No entanto, esses sistemas também podem ter consequências imprevistas, incluindo o aumento de preconceitos sociais que consideram a estranha expressão «inapropriada». Este ensaio vai discutir como isso acontece e quais críticas filosóficas surgem de tais classificações regulatórias.
Os sistemas de modulação de conteúdo dependem em grande parte do aprendizado de máquina e de métodos de processamento de linguagem natural, muitas vezes resultando em resultados preconceituosos.
Por exemplo, muitos sistemas foram treinados usando conjuntos de dados que contêm dados históricos de comunidades heteronormativas. Isso significa que eles podem ser mais propensos a classificar mal as expressões anormais como inapropriadas, devido à falta de exposição a diferentes pontos de vista.
Além disso, algoritmos automatizados podem tentar compreender significados ou contextos culturais, o que leva a uma marcação errada de mensagens inofensivas.
Filosófico, estes problemas levantam questões sobre o valor da liberdade de expressão e expressão. Pessoas estranhas que se sentem excluídas ou desanimadas pela moderação de conteúdo podem não compartilhar seus pensamentos ou experiências, limitando a compreensão de outras perspectivas marginais. Além disso, políticas restritivas podem impedir um diálogo saudável entre diferentes pontos de vista, a perpetuação de estereótipos nocivos ou a negação da realidade das identidades não conformistas.
Em última instância, fortalece as normas sociais e cimentará as estruturas de poder, dificultando a luta das pessoas contra as crenças e comportamentos despóticos.
Para resolver esses problemas, as plataformas devem priorizar a representação justa no desenvolvimento algoritmico, modelos de treinamento com dados de origem variados e aconselhamento de especialistas em normas comunitárias. Eles também devem usar navegadores humanos para verificar mensagens marcadas, fornecendo uma rede de segurança para aqueles cuja expressão é considerada «inapropriada» por máquinas.
Finalmente, os usuários podem defender políticas inclusivas que abrangam todas as formas de identidade, linguagem e experiência. Ao fazê-lo, podemos criar uma cultura online mais dinâmica, onde todos se sentem seguros, ouvidos e autorizados a expressar-se livremente.
Como os sistemas de modificação de conteúdo reproduzem preconceitos sociais que consideram a estranha expressão «inapropriada» e quais críticas filosóficas surgem de tais classificações normativas?
Segundo Shannon Wallor (2018), «a classificação de voz automatizada funciona como algoritmos» ofensivos «incorporados às plataformas de redes sociais, baseado em preconceitos humanos contra certas categorias de fala» (p. 36). Estes preconceitos são frequentemente baseados em estereótipos de identidade de gênero e orientação sexual.