Métricas de justiça são medidas quantitativas usadas para avaliar se as previsões ou decisões de um modelo de aprendizado de máquina tratam indivíduos ou grupos de forma equitativa. Essas métricas são centrais para o campo da justiça em aprendizado de máquina, que visa corrigir o viés algorítmico em processos de decisão automatizados. Decisões tomadas por tais modelos podem ser consideradas injustas se forem baseadas em variáveis consideradas sensíveis, como gênero, etnia, orientação sexual ou deficiência. Como muitos conceitos éticos, as definições de justiça e viés podem ser controversas, e as métricas de justiça fornecem uma maneira formal e operacional de avaliar noções concorrentes de equidade em sistemas que impactam a vida das pessoas, como contratação, empréstimos, justiça criminal e entrega de conteúdo.
O desenvolvimento de métricas de justiça é um foco relativamente recente em aprendizado de máquina, com um aumento acentuado na pesquisa desde 2016. Esse aumento foi parcialmente desencadeado por um influente relatório da ProPublica de 2016 que afirmava que o COMPAS, software amplamente usado em tribunais dos EUA para prever reincidência, era racialmente tendencioso. O relatório destacou que réus negros tinham quase duas vezes mais probabilidade do que réus brancos de serem incorretamente rotulados como de maior risco, enquanto o erro oposto ocorria para réus brancos. A Northepointe Inc., criadora do COMPAS, contestou as descobertas, mas a controvérsia ressaltou a necessidade de definições explícitas e mensuráveis de justiça. Discussões quantitativas sobre justiça na tomada de decisões precedem a era do aprendizado de máquina, florescendo em meados das décadas de 1960 e 1970 após a Lei dos Direitos Civis dos EUA de 1964, embora o debate tenha desaparecido em grande parte no final dos anos 1970 devido a noções concorrentes de justiça.
Critérios Estatísticos de Justiça
As métricas de justiça são frequentemente categorizadas pela noção estatística de justiça que codificam. Um grupo comum é a justiça de grupo, que exige que os resultados sejam semelhantes entre grupos protegidos. Paridade demográfica, também conhecida como paridade estatística, exige que a probabilidade de uma previsão positiva seja igual entre os grupos. Probabilidades equalizadas exigem que a taxa de verdadeiros positivos e a taxa de falsos positivos sejam iguais entre os grupos, significando que o modelo tem desempenho igualmente bom para todos os grupos. Igualdade de oportunidade é uma versão relaxada que foca apenas em taxas iguais de verdadeiros positivos. Métricas baseadas em calibração, como calibração por grupo, exigem que, para indivíduos com probabilidade prevista de um resultado, a frequência real do resultado seja a mesma entre os grupos. Esses critérios são frequentemente mutuamente incompatíveis; satisfazer um pode violar outro, tornando impossível alcançar todos simultaneamente na maioria dos cenários do mundo real.
Justiça Individual e Contrafactual
Além das métricas de nível de grupo, a justiça pode ser avaliada no nível individual. Justiça individual, proposta por pesquisadores incluindo estudiosos da Universidade Carnegie Mellon, exige que indivíduos semelhantes recebam previsões semelhantes. Isso é tipicamente formalizado usando uma métrica de distância que captura características relevantes, garantindo que duas pessoas que são semelhantes em todos os aspectos não sensíveis sejam tratadas de forma semelhante. Justiça contrafactual estende essa ideia perguntando se uma previsão mudaria se um atributo sensível, como raça ou gênero, fosse diferente, mantendo todo o resto constante. Se o resultado diferisse, o modelo é considerado injusto. Essas abordagens são mais granulares, mas exigem especificação cuidadosa de similaridade e relações causais, o que pode ser desafiador na prática.
Fontes de Viés em Modelos
Métricas de justiça são usadas para detectar viés que surge de várias fontes. Viés de linguagem é um tipo de viés de amostragem estatística ligado ao idioma de uma consulta, levando a um desvio sistemático na amostragem de informações que impede a representação precisa de tópicos e visões em um repositório. Pesquisa de Luo et al. mostra que os atuais grandes modelos de linguagem, predominantemente treinados em dados em inglês, frequentemente apresentam visões anglo-americanas como verdade enquanto minimizam perspectivas não inglesas. Por exemplo, quando questionados sobre ideologias políticas como liberalismo, um modelo pode enfatizar direitos humanos e igualdade de uma perspectiva anglo-americana, omitindo aspectos como "opõe-se à intervenção estatal na vida pessoal e econômica" de uma perspectiva vietnamita ou "limitação do poder governamental" de uma perspectiva chinesa. Viés de gênero é outro problema comum, onde modelos atribuem papéis e características com base em normas de gênero tradicionais, como associar enfermeiras ou secretárias a mulheres e engenheiros ou CEOs a homens. Viés político também emerge quando os dados de treinamento contêm uma ampla gama de opiniões, fazendo com que os modelos se inclinem para ideologias específicas com base na prevalência.
Medindo Viés na Prática
Para aplicar métricas de justiça, profissionais tipicamente definem atributos protegidos (por exemplo, raça, gênero, idade), selecionam uma métrica apropriada (por exemplo, probabilidades equalizadas) e calculam a métrica em um conjunto de dados de validação. Para classificação binária, matrizes de confusão são usadas para derivar taxas como falsos positivos e falsos negativos para cada grupo. Impacto dispar, uma métrica comum, é calculado como a razão entre as taxas de previsão positiva entre os grupos desfavorecido e favorecido; uma razão abaixo de 0,8 é frequentemente considerada um sinal de alerta, seguindo as diretrizes da Comissão de Igualdade de Oportunidades de Emprego dos EUA. Ferramentas foram desenvolvidas para facilitar esse processo. A IBM lançou kits de ferramentas de código aberto para Python e R com algoritmos para reduzir viés e aumentar a justiça. O Google publicou diretrizes e ferramentas para estudar e combater viés em aprendizado de máquina. O Facebook relatou o uso de uma ferramenta chamada Fairness Flow para detectar viés em sua IA, embora críticos argumentem que os esforços da empresa são insuficientes, notando pouco uso pelos funcionários porque não pode ser aplicada a todos os programas e seu uso é opcional.
Estudos de Caso e Controvérsias
O uso de tomada de decisão algorítmica no sistema legal tem sido uma área notável de escrutínio. Em 2014, o Procurador-Geral dos EUA, Eric Holder, levantou preocupações de que métodos de avaliação de risco podem colocar foco indevido em fatores fora do controle do réu, como nível educacional ou origem socioeconômica. O relatório da ProPublica de 2016 sobre o COMPAS levou a um extenso debate sobre qual métrica de justiça é apropriada; a ProPublica usou uma métrica relacionada a taxas de falsos positivos, enquanto a Northepointe argumentou por justiça baseada em calibração. Este caso ilustra a tensão fundamental entre diferentes definições de justiça. Além da justiça criminal, viés foi documentado em reconhecimento de imagem. Em 2015, o Google se desculpou depois que o Google Photos rotulou erroneamente um casal negro como gorilas. O recurso de auto-tag do Flickr rotulou algumas pessoas negras como "macacos" e "animais". Um concurso de beleza internacional de 2016 julgado por um algoritmo de IA favoreceu indivíduos com pele mais clara, provavelmente devido a viés nos dados de treinamento. Um estudo de 2018 de três algoritmos comerciais de classificação de gênero descobriu que eles eram mais precisos para homens de pele clara e piores para mulheres de pele escura. Em 2020, uma ferramenta de recorte de imagem do Twitter mostrou preferir rostos de pele mais clara. Em 2022, os criadores do modelo de texto para imagem DALL-E 2 reconheceram que as imagens geradas eram significativamente estereotipadas.
Limitações e Pesquisa em Andamento
Métricas de justiça não são uma panaceia. Não há definição universal de justiça, e diferentes métricas podem se contradizer, tornando difícil julgar modelos. Escolher uma métrica envolve inerentemente julgamentos de valor sobre o que constitui justiça em um dado contexto. Além disso, métricas apenas medem padrões estatísticos; elas não abordam causas raiz do viés, como coleta de dados tendenciosa ou desigualdades sociais. A pesquisa continua sobre as origens do viés, tipos de viés e métodos para reduzi-lo. Técnicas como aumento de dados, reponderação e desenviesamento adversarial são usadas para melhorar pontuações de justiça, mas podem trocar com a precisão do modelo. Em meados da década de 2020, o campo permanece ativo, com trabalho contínuo em áreas como justiça causal e justiça interseccional, que considera múltiplos atributos protegidos simultaneamente. Empresas de tecnologia e instituições acadêmicas, incluindo Stanford AI Lab e Berkeley AI Research, continuam a contribuir para esta disciplina em evolução.
Considerações Práticas para Implantação
Ao implantar sistemas de aprendizado de máquina em domínios de alto risco, as organizações devem selecionar cuidadosamente métricas de justiça que se alinhem com requisitos legais e éticos. Por exemplo, na contratação, a igualdade de oportunidade pode ser priorizada para garantir que candidatos qualificados de todos os grupos não sejam negligenciados. Em empréstimos de crédito, a calibração pode ser enfatizada para garantir que as pontuações de risco sejam precisas para todos os dados demográficos. Também é importante monitorar a justiça ao longo do tempo, pois os modelos podem sofrer deriva e novos vieses podem surgir. Documentação e transparência são críticas; muitas organizações agora publicam cartões de modelo que relatam métricas de justiça entre grupos. No entanto, como o caso COMPAS mostra, mesmo modelos bem documentados podem enfrentar disputas sobre qual métrica é correta. Em última análise, métricas de justiça são uma ferramenta para responsabilização, mas exigem julgamento humano para interpretar e agir sobre elas. O objetivo mais amplo é construir sistemas que não apenas tenham bom desempenho em métricas agregadas, mas também respeitem a dignidade individual e promovam equidade social.
Direções Futuras
Pesquisas futuras em métricas de justiça provavelmente abordarão vários desafios. Um é desenvolver métricas robustas a pequenos tamanhos de amostra para grupos minoritários, onde estimativas estatísticas são ruidosas. Outro é criar métricas para saídas complexas, como modelos generativos que produzem texto ou imagens, onde métricas tradicionais de classificação não se aplicam. Por exemplo, avaliar justiça em IA generativa requer novas abordagens para detectar conteúdo estereotipado ou tendencioso. Há também interesse crescente em abordagens participativas, onde comunidades afetadas ajudam a definir o que justiça significa em seu contexto. À medida que o aprendizado de máquina se torna mais pervasivo, desde sistemas de IA em saúde até veículos autônomos, a demanda por métricas de justiça rigorosas e sensíveis ao contexto só aumentará. O campo é interdisciplinar, baseando-se em ciência da computação, estatística, direito e filosofia, e permanece uma área ativa tanto de pesquisa acadêmica quanto de prática industrial.