O deslocamento algoritmico refere-se a um preconceito que pode surgir quando algoritmos usados para tomar decisões em várias áreas, como contratação, crédito e saúde, podem gerar resultados injustos devido à entrada preconceituosa de dados. Há uma preocupação crescente quanto aos potenciais efeitos do preconceito algoritmico sobre pessoas que pertencem a grupos marginais, como lésbicas, gays, bissexuais, transgêneros (LGBT). Este documento discutirá as estruturas existentes para identificar e mitigar o preconceito algoritmico contra as pessoas LGBT e o quanto elas são eficazes na prática.
A primeira estrutura inclui o estudo das fontes de dados usadas para o treinamento do algoritmo. Isso garante que os dados da aprendizagem refletem exatamente a população atendida.
Por exemplo, se um algoritmo de emprego for treinado usando currículos de homens heterossexuais, isso pode gerar resultados preconceituosos contra requerentes LGBT. Para evitar isso, as organizações podem incluir em seus conjuntos de dados de aprendizagem diferentes fontes de dados que representam todo o gênero, orientação sexual e identidade de gênero.
Outra abordagem envolve o uso de medidas justas na elaboração do modelo. Essas métricas avaliam se o modelo considera o mesmo subgrupo ou se prefere um grupo ao outro.
Por exemplo, um indicador de igualdade compara a eficácia de um modelo em diferentes grupos populacionais, enquanto uma medida de exposição divergente revela qualquer diferença entre os resultados de um grupo.
Além disso, técnicas de pós-processamento, tais como reequilíbrio ou calibragem, podem ser aplicadas para ajustar a saída com base na representação do grupo no conjunto de dados.
Além disso, ferramentas de explicabilidade podem ajudar a analisar modelos de caixa preta e identificar padrões ou correlações que podem causar danos. Explicando o processo decisório do algoritmo, estes métodos podem detectar deslocamentos ocultos que podem ter passado despercebidos de outra forma. A explicabilidade também permite que algoritmos de auditoria garantam que eles não discriminam determinados grupos.
Por fim, monitorar e avaliar o desempenho do algoritmo regularmente é fundamental para manter sua eficácia. As organizações devem testar constantemente seus algoritmos para testar o potencial preconceito e fazer alterações quando necessário. Isto pode incluir testes de desempenho do algoritmo em diferentes populações e comparar seus resultados com outros sistemas semelhantes. O monitoramento também ajuda a identificar novas formas de preconceito à medida que a sociedade se desenvolve.
Embora essas estruturas existam para atenuar o preconceito algoritmico, sua eficácia é limitada. Primeiro, a coleta de dados variados pode ser complexa devido a problemas de privacidade e disponibilidade de dados. Em segundo lugar, as métricas de justiça nem sempre podem refletir os cenários reais, dificultando a detecção de todos os tipos de discriminação.
Finalmente, ferramentas de explicação exigem experiência e tempo, o que pode limitar sua disponibilidade.
Para concluir, identificar e suavizar o preconceito algoritmico contra indivíduos LGBT requer uma abordagem multilateral que inclua o estudo minucioso das fontes de dados, o uso de medidas justas durante a elaboração do modelo, o uso de ferramentas de explicabilidade e o monitoramento regular da performance do algoritmo. Embora estas estratégias ofereçam alguma proteção contra a discriminação, são necessários mais estudos para eliminar novas formas de preconceito em um mundo cada vez mais diversificado.
Quais são as estruturas para identificar e mitigar o preconceito algoritmico contra as pessoas LGBT e até que ponto elas são eficazes na prática?
Foram oferecidos muitos marcos para identificar e mitigar o preconceito algoritmico contra pessoas LGBT. Um desses marcos é a Ontologia Formal de Sistemas de Informação (FOIS), que define a ontologia como «especificação formal de conceitos e relações essenciais para a representação da área de discursiva de um campo específico de aplicação» (Ram et al., 2015).