Systemy moderowania treści to algorytmy oprogramowania stosowane do regulowania mowy i zachowania w Internecie. Skanują, analizują i generują posty użytkownika flagi pod kątem naruszeń norm społeczności typowo ustalonych przez firmę dominującą platformy. Moderowanie treści ma zasadnicze znaczenie dla utrzymania bezpiecznej, cywilnej i przyjemnej komunikacji online.
Jednak te systemy mogą mieć również niezamierzone konsekwencje, w tym zwiększone uprzedzenia społeczne, które uważają dziwne wyrażenie „nieodpowiednie". Esej ten omówi jak to się dzieje i jakie krytyki filozoficzne wynikają z takich klasyfikacji normatywnych.
Systemy moderowania treści w dużym stopniu opierają się na technice uczenia maszynowego i przetwarzania języka naturalnego, co często prowadzi do stronniczych wyników. Na przykład wiele systemów zostało przeszkolonych za pomocą zbiorów danych zawierających dane historyczne z heteronormatywnych społeczności. Oznacza to, że mogą one być bardziej prawdopodobne, aby błędnie zaklasyfikować wulgaryzmy jako niewłaściwe ze względu na brak ekspozycji na różne poglądy.
Ponadto zautomatyzowane algorytmy mogą walczyć o zrozumienie niuansowanych znaczeń lub kontekstów kulturowych, co prowadzi do błędnego etykietowania nieszkodliwych wiadomości.
Filozoficznie kwestie te budzą pytania o wartość wolnej słowa i wypowiedzi. Osoby z Queer, które czują się wykluczone lub zniechęcone umiarkowaniem treści, nie mogą dzielić się swoimi myślami lub doświadczeniami, ograniczając ich zrozumienie marginalnych perspektyw. Ponadto restrykcyjne polityki mogą zakłócać zdrowy dialog między różnymi punktami widzenia, utrwalać szkodliwe stereotypy lub zaprzeczać ważności tożsamości nonkonformistycznych.
Ostatecznie wzmacnia to normy społeczne i cementuje struktury władzy, utrudniając ludziom walkę z opresyjnymi wierzeniami i zachowaniem.
Aby sprostać tym wyzwaniom, platformy muszą priorytetowo traktować sprawiedliwą reprezentację w rozwoju algorytmicznym, modele uczenia się z różnorodnymi wkładami oraz konsultacje ekspertów na temat standardów wspólnotowych. Muszą również wykorzystywać recenzentów do sprawdzania zaznaczonych wiadomości, zapewniając siatkę bezpieczeństwa dla tych, których wyrażenie jest uważane przez maszyny za „nieodpowiednie".
Wreszcie użytkownicy mogą opowiadać się za polityką integracyjną obejmującą wszystkie formy tożsamości, języka i doświadczenia. Dzięki temu możemy stworzyć bardziej dynamiczną kulturę online, w której każdy czuje się bezpieczny, słyszany i zdolny do swobodnego wyrażania się.
W jaki sposób systemy moderowania treści odtwarzają uprzedzenia społeczne, które uważają dziwne wyrażenie za „nieodpowiednie” i jakie krytyki filozoficzne wynikają z takich klasyfikacji normatywnych?
Według Shannon Vallor (2018) „Zautomatyzowana klasyfikacja mowy działa jako” obraźliwe „przez algorytmy wbudowane w platformy społecznościowe oparte na stronniczości danej osoby co do pewnych kategorii mowy” (s. 36). Tendencje te często opierają się na stereotypach dotyczących tożsamości płciowej i orientacji seksualnej.