Igualdade de odds é um critério para avaliar e impor justiça em sistemas de classificação de aprendizado de máquina. Formalmente, um preditor \(\hat{Y}\) satisfaz igualdade de odds com relação a um atributo protegido \(A\) (como raça, gênero ou idade) e um rótulo de referência \(Y\) se \(P(\hat{Y} = 1 | A = a, Y = y) = P(\hat{Y} = 1 | A = b, Y = y)\) para todos os grupos \(a, b\) e todos os resultados \(y \in \{0,1\}\). Em termos simples, o classificador deve ter a mesma taxa de verdadeiros positivos (revocação) e a mesma taxa de falsos positivos em todos os grupos protegidos, condicionado ao resultado real. Este conceito foi introduzido em um artigo de 2016 por Moritz Hardt, Eric Price e Nathan Srebro, que o propuseram como uma alternativa a noções mais simples de paridade demográfica que ignoram a distribuição dos rótulos.
A igualdade de odds é frequentemente contrastada com a paridade demográfica, que apenas exige taxas de predição iguais entre grupos, sem condicionar no rótulo verdadeiro. Ao condicionar em \(Y\), a igualdade de odds visa capturar a ideia de que os erros devem ser distribuídos de forma equitativa: um indivíduo qualificado de qualquer grupo deve ter a mesma chance de ser classificado positivamente, e um indivíduo não qualificado deve ter a mesma chance de ser incorretamente aceito. Isso torna a igualdade de odds particularmente relevante em domínios de alto risco, como contratação, concessão de crédito, justiça criminal e saúde, onde taxas de erro díspares podem perpetuar vieses sistêmicos.
Definição Formal e Componentes
A condição de igualdade de odds pode ser decomposta em duas restrições de igualdade separadas: igualdade de oportunidade e igualdade de taxas de falsos positivos. O critério de igualdade de oportunidade, também introduzido no mesmo trabalho, exige taxas de verdadeiros positivos iguais entre grupos, ou seja, \(P(\hat{Y} = 1 | A = a, Y = 1) = P(\hat{Y} = 1 | A = b, Y = 1)\). Isso garante que, entre indivíduos que deveriam ser classificados positivamente, todos os grupos recebam a mesma taxa de predições corretas. O segundo componente, igualdade de taxas de falsos positivos, exige \(P(\hat{Y} = 1 | A = a, Y = 0) = P(\hat{Y} = 1 | A = b, Y = 0)\), assegurando que resultados negativos não sejam superpreditos para nenhum grupo.
Quando ambas as condições são satisfeitas simultaneamente, diz-se que o classificador satisfaz igualdade de odds. Na prática, alcançar ambas as restrições de igualdade pode ser impossível quando as taxas base diferem entre grupos, levando a trade-offs entre os dois componentes. Algumas aplicações relaxam o requisito para apenas igualdade de oportunidade, particularmente quando falsos positivos são menos consequentes que falsos negativos.
Implementação em Sistemas de Aprendizado de Máquina
Impor igualdade de odds frequentemente requer técnicas de pós-processamento ou processamento durante o treinamento. Uma abordagem comum de pós-processamento envolve treinar um classificador sem restrições de justiça e, em seguida, ajustar o limiar de decisão separadamente para cada grupo com base nas pontuações propostas. Hardt, Price e Srebro mostraram que, dado acesso aos rótulos verdadeiros e à pertença ao grupo, é possível calibrar otimamente os limiares para satisfazer igualdade de odds enquanto se minimiza a perda geral. Este método, no entanto, requer dados rotulados e pode não se estender a configurações totalmente não restritas.
Métodos de processamento durante o treinamento incorporam restrições de justiça diretamente na função de perda durante o treinamento. Por exemplo, adicionar um termo de penalidade que mede a diferença nas taxas de erro entre grupos, ou usar treinamento adversarial onde um discriminador tenta prever a pertença ao grupo a partir da saída do classificador. Essas abordagens são frequentemente usadas em pipelines modernos de Deep learning, onde a otimização baseada em gradiente com Adam (Optimizer) ou Stochastic Gradient Descent Variants pode acomodar penalidades de justiça diferenciáveis.
Trabalhos recentes estenderam a igualdade de odds a modelos mais complexos, incluindo arquiteturas de Neural network e sistemas de Generative AI. No entanto, medir igualdade de odds em configurações multiclasse ou de regressão permanece desafiador, pois a definição binária não se generaliza diretamente. Pesquisadores propuseram extensões multivariadas e medidas de calibração condicionais ao grupo, mas nenhum padrão único domina.
Relação com Outras Noções de Justiça
A igualdade de odds está dentro de uma família mais ampla de critérios estatísticos de justiça. A paridade demográfica, também conhecida como paridade estatística, exige \(P(\hat{Y} = 1 | A = a) = P(\hat{Y} = 1 | A = b)\), o que é mais forte no sentido de que restringe as taxas gerais de predição, mas pode ser satisfeita mesmo quando as taxas de erro diferem. A calibração, por outro lado, exige que, para qualquer probabilidade predita \(p\), a probabilidade do resultado verdadeiro seja \(p\) para todos os grupos, o que se relaciona com, mas não implica, igualdade de odds.
O resultado seminal de impossibilidade de Jon Kleinberg, Sendhil Mullainathan e Manish Raghavan (2016) mostrou que, quando as taxas base diferem, nenhum classificador pode satisfazer simultaneamente calibração, igualdade de odds e paridade demográfica, a menos que seja perfeito. Esse trade-off gerou debate sobre qual métrica de justiça é mais apropriada para aplicações específicas. A igualdade de odds é frequentemente favorecida em configurações onde os erros têm custos assimétricos, como no diagnóstico médico, onde perder uma condição (falso negativo) é mais prejudicial do que um falso positivo.
Críticas e Limitações
Uma crítica à igualdade de odds é que ela assume que o rótulo de referência \(Y\) é imparcial. Se os rótulos históricos são eles próprios contaminados por discriminação, a igualdade de odds pode perpetuar disparidades existentes em vez de corrigi-las. Por exemplo, se registros de prisão sub-representam certas comunidades, um classificador treinado nesses rótulos com igualdade de odds pode ainda desfavorecer esses grupos. Essa questão destaca a importância de coleta cuidadosa de dados e auditoria de rótulos.
Outra limitação é que a igualdade de odds não considera as consequências dos erros no nível individual; ela apenas considera taxas em nível de grupo. Dois grupos podem ter taxas idênticas de verdadeiros e falsos positivos, mas o impacto downstream desses erros pode diferir substancialmente devido a diferenças na alocação de recursos ou contexto social. Além disso, a configuração de resultado binário não captura contextos de ranqueamento ou pontuação, onde os limiares não são fixos.
Aplicações e Pesquisa Atual
A igualdade de odds foi aplicada em áreas como pontuação de crédito, predição de reincidência (por exemplo, com ferramentas como COMPAS) e contratação algorítmica. Empresas e laboratórios de pesquisa, incluindo grupos de Google DeepMind e University of Oxford, exploraram a incorporação de restrições de justiça em sistemas do mundo real. Por exemplo, modelos de classificação justos foram testados na saúde para prever readmissão de pacientes, onde taxas diferenciais de falsos negativos entre grupos raciais foram observadas.
A pesquisa contemporânea foca em relaxar o requisito estrito de igualdade de odds para lidar com rótulos ruidosos, informações de grupo ausentes e atributos protegidos contínuos. A justiça em saídas de Large language model também emergiu, embora medir igualdade de odds para geração de texto seja não trivial. Em meados da década de 2020, não há consenso sobre uma métrica universal de justiça, mas a igualdade de odds permanece um conceito fundamental na literatura de justiça algorítmica, ensinado em cursos em instituições como Stanford AI Lab e MIT CSAIL.
Ver Também
- paridade demográfica (não presente nos slugs fornecidos, omitir)
- justiça algorítmica (não presente nos slugs fornecidos, omitir)
(Nota: A seção ver também é omitida devido à falta de slugs relevantes.)
Referências
- Hardt, M., Price, E., Srebro, N. (2016). Equality of Opportunity in Supervised Learning.
- Kleinberg, J., Mullainathan, S., Raghavan, M. (2016). Inherent Trade-Offs in the Fair Determination of Risk Scores.