O viés algorítmico refere-se à discriminação sistemática e injusta produzida por um sistema algorítmico, na maioria das vezes um modelo de aprendizado de máquina cujas previsões ou resultados prejudicam grupos específicos definidos por raça, gênero, idade ou outras características protegidas. Como tais sistemas aprendem padrões estatísticos a partir de dados de treinamento, eles tendem a reproduzir e podem amplificar vieses já presentes nesses dados ou introduzidos pela forma como um problema é enquadrado, rotulado ou avaliado. O viés algorítmico é uma preocupação central no campo da ética da IA e motivou tanto pesquisas técnicas de mitigação quanto escrutínio legal de sistemas implantados.
Fontes de viés
Pesquisadores comumente distinguem várias fontes. O viés histórico existe nos próprios dados, por exemplo, quando decisões passadas de contratação refletiam discriminação que um modelo então aprende a replicar. O viés de representação surge quando certos grupos são subamostrados em um conjunto de dados, degradando a precisão do modelo para eles; isso foi central na auditoria "Gender Shades" de 2018, conduzida por Joy Buolamwini e Timnit Gebru, que descobriu que sistemas comerciais de reconhecimento facial apresentavam desempenho marcadamente pior em mulheres de pele mais escura do que em homens de pele mais clara. O viés de medição ocorre quando o proxy que um modelo é treinado para prever, como taxas de prisão como substituto para criminalidade, é em si uma medição enviesada do conceito subjacente. O viés de agregação surge da aplicação de um único modelo de forma uniforme a grupos para os quais as relações subjacentes diferem.
Casos de alto perfil
Vários casos documentados moldaram a discussão pública e acadêmica. A ferramenta de predição de reincidência COMPAS, usada em tribunais dos EUA, foi objeto de uma investigação da ProPublica em 2016 que descobriu que o sistema sinalizava réus negros como riscos futuros a uma taxa quase duas vezes maior do que réus brancos em relação às taxas reais de reincidência, embora pesquisadores posteriormente tenham debatido em qual definição estatística de justiça a descoberta se baseava. A Amazon descartou uma ferramenta interna de recrutamento por IA em 2018 após descobrir que ela penalizava currículos contendo a palavra "mulheres", um padrão aprendido a partir de uma década de dados de contratação dominados por homens. Auditorias de reconhecimento facial, incluindo o estudo de 2019 do Instituto Nacional de Padrões e Tecnologia dos EUA sobre mais de 100 sistemas, repetidamente encontraram taxas de erro mais altas para mulheres e pessoas com pele mais escura, contribuindo para que várias cidades dos EUA proibissem o uso policial da tecnologia e para que alguns fornecedores pausassem vendas às forças de segurança.
Mitigação e medição
As respostas técnicas incluem auditar modelos contra métricas de justiça, como paridade demográfica ou probabilidades equalizadas, reequilibrar ou aumentar dados de treinamento e aplicar ajustes de pós-processamento às saídas do modelo; uma vasta literatura de pesquisa também mostrou que diferentes definições de justiça podem ser matematicamente incompatíveis entre si, o que significa que satisfazer uma métrica pode exigir violar outra. Ferramentas de IA explicável são frequentemente usadas em conjunto com auditorias de justiça para ajudar a identificar quais características de entrada impulsionam resultados díspares. As preocupações com viés também se estenderam à era dos sistemas de grandes modelos de linguagem, onde pesquisadores documentaram associações estereotipadas em texto e imagens gerados, inclusive em sistemas de texto para imagem.
Resposta de governança
O viés algorítmico tornou-se uma justificativa recorrente para regulação, aparecendo explicitamente na categorização de risco do ato da UE sobre IA e em propostas anteriores dos EUA, como a Lei de Responsabilidade Algorítmica. Ele permanece um dos danos mais litigados e mais empiricamente documentados no campo mais amplo da governança da IA.