O viés em IA, também conhecido como viés algorítmico, descreve a tendência prejudicial sistemática e repetível em um sistema sociotécnico computadorizado de criar resultados injustos, como privilegiar uma categoria em detrimento de outra de maneiras que podem diferir da função pretendida do algoritmo. Esse viés pode surgir de muitos fatores, incluindo decisões de design intencionalmente tendenciosas ou o uso ou decisões não intencionais ou não antecipados relacionados à forma como os dados são codificados, coletados, selecionados ou usados para treinar o algoritmo. O estudo do viés algorítmico preocupa-se principalmente com algoritmos que refletem discriminação sistemática e injusta, e tem sido observado em resultados de mecanismos de busca, plataformas de mídia social e outras aplicações, com impactos que vão desde violações de privacidade até o reforço de vieses sociais de raça, gênero, sexualidade e etnia.
À medida que os algoritmos expandem sua capacidade de organizar a sociedade, a política, as instituições e o comportamento, os sociólogos têm se preocupado com as maneiras pelas quais a saída não antecipada e a manipulação de dados podem impactar o mundo físico. Como os algoritmos são frequentemente considerados neutros e imparciais, eles podem projetar incorretamente maior autoridade do que a expertise humana, em parte devido ao fenômeno psicológico do viés de automação. Em alguns casos, a dependência de algoritmos pode deslocar a responsabilidade humana por seus resultados. O viés pode entrar nos sistemas algorítmicos como resultado de expectativas culturais, sociais ou institucionais pré-existentes; pela forma como características e rótulos são escolhidos; devido a limitações técnicas de seu design; ou por serem usados em contextos não antecipados ou por públicos não considerados no design inicial do software.
Fontes de Viés
O viés pode ser introduzido em um algoritmo de várias maneiras. Durante a montagem de um conjunto de dados, os dados podem ser coletados, digitalizados, adaptados e inseridos em um banco de dados de acordo com critérios de catalogação projetados por humanos. Os programadores atribuem prioridades ou hierarquias para como um programa avalia e classifica esses dados, exigindo decisões humanas sobre categorização e inclusão ou exclusão. Alguns algoritmos coletam seus próprios dados com base em critérios selecionados por humanos, o que pode refletir o viés dos designers humanos. Outros algoritmos podem reforçar estereótipos e preferências à medida que processam e exibem dados relevantes para usuários humanos, por exemplo, selecionando informações com base em escolhas anteriores de um usuário ou grupo semelhante.
Além de montar e processar dados, o viés pode surgir como resultado do design. Algoritmos que determinam a alocação de recursos ou escrutínio, como determinar colocações escolares, podem inadvertidamente discriminar uma categoria ao determinar o risco com base em usuários semelhantes, como em pontuações de crédito. Mecanismos de recomendação que associam usuários a usuários semelhantes ou inferem características de marketing podem depender de associações imprecisas que refletem estereótipos étnicos, de gênero, socioeconômicos ou raciais amplos. Critérios para o que é incluído e excluído dos resultados podem apresentar resultados não antecipados, como software de recomendação de voos que omite voos que não seguem as rotas de voo da companhia aérea patrocinadora. Os algoritmos também podem exibir um viés de incerteza, oferecendo avaliações mais confiantes quando conjuntos de dados maiores estão disponíveis, o que pode distorcer os resultados em direção a amostras maiores e desconsiderar dados de populações sub-representadas.
Contexto Histórico
Os primeiros programas de computador foram projetados para imitar o raciocínio e as deduções humanas, e foram considerados funcionando quando reproduziam com sucesso e consistência as saídas esperadas. À medida que o Machine learning e a Artificial intelligence avançaram, a dependência da tomada de decisão baseada em dados cresceu, e as preocupações sobre o viés tornaram-se mais proeminentes. Uma pesquisa de 2021 identificou múltiplas formas de viés algorítmico, incluindo vieses históricos, de representação e de medição, cada um dos quais pode contribuir para resultados injustos. O viés histórico surge quando os dados refletem desigualdades sociais passadas, o viés de representação ocorre quando certos grupos são sub-representados nos dados de treinamento, e o viés de medição resulta do uso de métricas falhas ou incompletas.
Áreas de Impacto
O viés algorítmico foi citado em casos que vão desde resultados eleitorais até a propagação de discurso de ódio online. Também surgiu na justiça criminal, na saúde e na contratação, agravando os vieses raciais, socioeconômicos e de gênero existentes. A incapacidade relativa da tecnologia de reconhecimento facial de identificar com precisão rostos de pele mais escura foi associada a múltiplas prisões injustas de homens negros, uma questão decorrente de conjuntos de dados desequilibrados. Na contratação, algoritmos treinados em currículos históricos podem favorecer candidatos do sexo masculino se as práticas de contratação passadas fossem tendenciosas. Na saúde, modelos preditivos podem subdiagnosticar condições em populações minoritárias devido a dados de treinamento insuficientes.
Respostas Legais e Regulatórias
O viés em IA só foi abordado recentemente em estruturas legais. O Regulamento Geral sobre a Proteção de Dados da União Europeia, aplicado em 2018, inclui disposições relacionadas à tomada de decisão automatizada e ao direito à explicação. A Lei de Inteligência Artificial, proposta em 2021 e adotada em 2024, estabelece requisitos baseados em risco para sistemas de IA, incluindo medidas para mitigar o viés. Esses regulamentos visam aumentar a transparência e a responsabilização, embora a aplicação continue sendo desafiadora devido à natureza proprietária de muitos algoritmos.
Desafios no Enfrentamento do Viés
Problemas na compreensão, pesquisa e descoberta do viés algorítmico persistem devido à natureza proprietária dos algoritmos, que são tipicamente tratados como segredos comerciais. Mesmo quando a transparência total é fornecida, a complexidade de certos algoritmos representa uma barreira para a compreensão de seu funcionamento. Além disso, os algoritmos podem mudar ou responder à entrada ou saída de maneiras que não podem ser antecipadas ou facilmente reproduzidas para análise. Em muitos casos, mesmo dentro de um único site ou aplicativo, não há um único algoritmo para examinar, mas uma rede de muitos programas inter-relacionados e entradas de dados, mesmo entre usuários do mesmo serviço.
Abordagens de Mitigação
Pesquisadores e profissionais desenvolveram várias abordagens para mitigar o viés em IA. Estas incluem técnicas de pré-processamento para equilibrar conjuntos de dados, métodos de processamento intermediário que incorporam restrições de justiça durante o treinamento do modelo e ajustes de pós-processamento nas saídas. Por exemplo, a Data Augmentation pode ajudar a abordar o viés de representação gerando exemplos sintéticos para grupos sub-representados. Métricas de justiça, como paridade demográfica e probabilidades equalizadas, são usadas para quantificar e monitorar o viés. No entanto, muitas vezes há um trade-off entre justiça e precisão, e nenhuma definição única de justiça se aplica universalmente.
Direções Futuras
À medida que os sistemas de IA se tornam mais integrados à sociedade, abordar o viés continua sendo um desafio crítico. A colaboração interdisciplinar entre cientistas da computação, sociólogos, eticistas e estudiosos do direito é essencial. Organizações como OpenAI, Anthropic e Google DeepMind publicaram pesquisas sobre justiça e viés, embora seus algoritmos permaneçam amplamente proprietários. O desenvolvimento de IA explicável, que visa tornar as decisões do modelo mais interpretáveis, é uma área ativa de pesquisa. Em última análise, reduzir o viés requer não apenas soluções técnicas, mas também um escrutínio contínuo dos contextos sociais e institucionais nos quais os algoritmos são implantados.