Ao considerar o potencial preconceito em sistemas de inteligência artificial (IA), é importante considerar aqueles que podem afetar as pessoas que se identificam como lésbicas, gays, bissexuais, transexuais e quir/questões (LGBT +). Esses preconceitos podem ter consequências graves para a sua segurança, privacidade, acesso à saúde, oportunidades de emprego, entre outras coisas.
No entanto, existem vários mecanismos para detectar, mitigar e evitar a perpetuação desses preconceitos nos sistemas de IA. Neste artigo, exploro a eficácia desses mecanismos na prática.
Um dos mecanismos para identificar o preconceito da IA contra grupos LGBT é a auditoria. Isto inclui verificar o código do algoritmo e as fontes de dados para ver se eles refletem a diversidade da população a que eles são projetados para servir.
Por exemplo, uma empresa que desenvolve um aplicativo de encontros online pode contratar um consultor independente para avaliar se seus algoritmos incluem termos relacionados à identidade de gênero ou orientação sexual que podem excluir determinados usuários. Se for o caso, o consultor recomendaria alterações no algoritmo para torná-lo mais inclusivo. Outro método de detecção é testar com diferentes grupos. Um estudo publicado na Nature mostra como uma equipe de pesquisadores testou um modelo de classificação de imagens usando traços faciais e descobriu que ela fazia previsões imprecisas sobre orientação sexual com base em estereótipos como barbas ou brincos. Os resultados incentivaram os pesquisadores a requalificar o modelo com um conjunto maior e mais representativo de dados.
Outra abordagem do preconceito da IA é a análise da justiça. Isso inclui a medição do impacto do processo de tomada de decisões em diferentes grupos. Uma pesquisa feita pela Amazon mostrou que o sistema de recrutamento de pessoal da Amazon é mais raro em selecionar candidatas porque prefere currículos com a palavra «executivo» a quem não tem. Ao analisar o processo de tomada de decisões, o estudo revelou um potencial preconceito contra as mulheres. Como resultado, a Amazon atualizou o seu sistema, eliminando o termo «executivo». A análise da justiça também pode ser usada para identificar preconceitos em outras áreas, como justiça criminal, saúde e habitação.
Para atenuar o preconceito da IA, uma das estratégias é usar explicações contrafáticas. Eles explicam por que uma decisão específica foi tomada e oferecem alternativas que podem ter resultado diferente.
Por exemplo, se um credor de hipotecas usar a IA para determinar a capacidade de crédito, deve fornecer explicações sobre decisões que não sejam favoráveis aos requerentes LGBT.
Por exemplo, uma explicação contrafactiva pode dizer: «Se o seu rendimento fosse 500 dólares superior, você teria direito a este crédito». Outra estratégia é aplicar restrições aos dados de entrada e parâmetros algoritmicos.
Por exemplo, um banco pode restringir o uso de uma linguagem específica de gênero na definição do direito de empréstimo.
Além disso, há alguns passos que as empresas podem tomar para evitar o preconceito da IA. Uma das abordagens é reunir informações demográficas sobre os seus usuários ou clientes. Empresas como Google e Facebook exigem que os seus desenvolvedores considerem a diversidade no desenvolvimento de produtos, o que ajuda a garantir que seus sistemas não excluem inadvertidamente determinados grupos. Outra estratégia é usar uma variedade de conjuntos de dados durante o treinamento do modelo para reduzir o risco de estereótipos.
Finalmente, as empresas podem incorporar diretrizes éticas em seus processos de desenvolvimento de IA para ajudar a garantir justiça e transparência durante todo o processo.
Embora esses mecanismos existam para identificar, mitigar e prevenir o preconceito da IA contra grupos LGBT, sua eficácia depende de vários fatores. Alguns estudos mostram que uma auditoria por si só não pode eliminar completamente todas as formas de discriminação, porque os preconceitos podem ser finos e difíceis de determinar. Outros estudos mostram que a auditoria pode ser útil, mas requer experiência tanto no aprendizado de máquinas como na justiça social para ser eficaz. As explicações contrafáticas nem sempre podem ser precisas ou abrangentes, e as restrições podem levar a novos riscos se forem demasiado restritivas. Criar inclusão no processo de design também pode exigir recursos e pessoal que entenda como as diferentes identidades se cruzam com a tecnologia.
Em geral, serão necessários esforços contínuos de líderes da indústria, políticos e grupos de defesa de interesses para garantir que os sistemas de IA atendem a todos de forma igualitária e justa.
Quais são os mecanismos disponíveis para identificar, mitigar e prevenir o preconceito da IA contra as populações LGBT e quão eficazes são na prática?
Apesar do crescente reconhecimento das comunidades lésbicas, gays, bissexuais, transgêneros (LGBT), ainda há preconceitos na inteligência artificial (IA). Estes preconceitos são mostrados como preconceitos baseados na identidade de gênero, orientação sexual, raça, idade, etnia, religião, aparência, etc., que podem ser incorporados aos dados de aprendizagem usados para a aprendizagem de algoritmos. Diferentes pesquisadores propuseram vários mecanismos para lidar com o preconceito da IA contra grupos LGBT.