Los sistemas de moderación de contenido son algoritmos de software utilizados para regular el habla y el comportamiento en línea. Escanean, analizan y marcan los mensajes creados por los usuarios en busca de violar las normas comunitarias establecidas habitualmente por la empresa matriz de la plataforma. La moderación del contenido es esencial para mantener una comunicación segura, cívica y agradable en línea.
Sin embargo, estos sistemas también pueden tener consecuencias imprevistas, incluyendo un aumento de los prejuicios sociales que consideran la extraña expresión «inapropiada». En este ensayo se discutirá cómo sucede y qué críticas filosóficas surgen de tales clasificaciones normativas.
Los sistemas de moderación de contenido dependen en gran medida del aprendizaje automático y de las técnicas de procesamiento del lenguaje natural, lo que a menudo conduce a resultados sesgados.
Por ejemplo, muchos sistemas han sido entrenados utilizando conjuntos de datos que contienen datos históricos de comunidades heteronormativas. Esto significa que es más probable que clasifiquen incorrectamente las expresiones anormales como inapropiadas debido a la falta de exposición a diferentes puntos de vista.
Además, los algoritmos automatizados pueden esforzarse por comprender los significados matizados o contextos culturales, lo que resulta en el etiquetado erróneo de mensajes inofensivos.
Filosóficamente, estos problemas plantean preguntas sobre el valor de la libertad de expresión y expresión. Las personas extrañas que se sienten excluidas o desanimadas por la moderación del contenido pueden no compartir sus pensamientos o experiencias limitando la comprensión de otras perspectivas marginales. Además, las políticas restrictivas pueden obstaculizar el diálogo sano entre diferentes puntos de vista, perpetuar estereotipos dañinos o negar la validez de identidades inconformistas.
En última instancia, fortalece las normas sociales y cimenta las estructuras de poder, dificultando a las personas la lucha contra las creencias y comportamientos opresivos.
Para resolver estos problemas, las plataformas deben dar prioridad a la representación equitativa en el desarrollo algorítmico, modelos de aprendizaje con una variedad de datos de origen y asesoramiento de expertos en estándares comunitarios. También deben utilizar a los exploradores para verificar los mensajes marcados, proporcionando una red de seguridad para aquellos cuya expresión se considera «inapropiada» por las máquinas.
Finalmente, los usuarios pueden abogar por políticas inclusivas que abarquen todas las formas de identidad, lenguaje y experiencia. Al hacerlo, podemos crear una cultura en línea más dinámica donde todos se sientan seguros, escuchados y autorizados a expresarse libremente.
¿Cómo reproducen los sistemas de moderación de contenidos los prejuicios sociales que consideran «inapropiada» la extraña expresión, y qué críticas filosóficas surgen de tales clasificaciones normativas?
Según Shannon Vallor (2018), «la clasificación automatizada del habla actúa como un algoritmo» ofensivo «incrustado en las plataformas de redes sociales, basado en los prejuicios humanos hacia ciertas categorías del habla» (pág. 36). Estos prejuicios a menudo se basan en estereotipos sobre la identidad de género y la orientación sexual.