A detecção fora da distribuição (OOD) é um subcampo do aprendizado de máquina preocupado em identificar entradas que não pertencem à mesma distribuição estatística dos dados nos quais um modelo foi treinado. Em sistemas implantados, os modelos frequentemente encontram entradas novas, anômalas ou de domínios diferentes, e não reconhecê-las pode levar a previsões incorretas com consequências potencialmente graves. A detecção OOD visa sinalizar tais entradas para que os sistemas possam responder adequadamente, como por exemplo, abstendo-se, encaminhando para um humano ou acionando um mecanismo de fallback.
O problema é distinto de tarefas relacionadas, como detecção de anomalias ou detecção de novidades, embora os termos às vezes sejam usados de forma intercambiável. A detecção OOD tipicamente assume uma distribuição de treinamento conhecida e foca em entradas que estão fora do seu suporte, enquanto a detecção de anomalias também pode considerar eventos raros dentro da distribuição. No aprendizado profundo moderno, a detecção OOD tornou-se um componente crítico para implantar redes neurais em domínios de segurança crítica, como direção autônoma, diagnóstico médico e detecção de fraudes financeiras.
Métodos e Abordagens
Os primeiros métodos de detecção OOD dependiam das pontuações de confiança softmax de redes de classificação, observando que os modelos tendem a atribuir menor confiança a entradas OOD. No entanto, redes neurais frequentemente são superconfiantes, e essa abordagem se mostrou não confiável. Pesquisas subsequentes introduziram técnicas mais robustas, incluindo o escalonamento de temperatura, que ajusta a distribuição softmax para melhor separar amostras dentro e fora da distribuição. O método conhecido como ODIN (Detector fora da distribuição para redes neurais) combinou o escalonamento de temperatura com o pré-processamento de entrada para amplificar a diferença.
Outra linha de trabalho usa métricas baseadas em distância no espaço de características. Modelos como abordagens de vizinhos mais próximos profundos (DNN) calculam a distância entre a representação de características de uma entrada de teste e os centroides das classes de treinamento, sinalizando entradas que estão longe de todos os centroides. Métodos baseados na distância de Mahalanobis modelam a distribuição de características como uma gaussiana multivariada e usam a distância de Mahalanobis como pontuação, mostrando forte desempenho em conjuntos de dados de referência.
Modelos generativos também foram empregados para a detecção OOD. Abordagens que usam IA generativa, como autoencoders variacionais (VAEs) e redes adversariais generativas (GANs), tentam modelar a distribuição de treinamento explicitamente e medir a verossimilhança de uma entrada de teste sob esse modelo. No entanto, foi demonstrado que métodos baseados em verossimilhança às vezes atribuem maior verossimilhança a entradas OOD, um fenômeno contraintuitivo que estimulou mais pesquisas sobre por que modelos generativos profundos se comportam dessa maneira.
Avaliação e Referências
Os conjuntos de dados de referência padrão para detecção OOD incluem conjuntos como CIFAR-10, CIFAR-100 e ImageNet como dados dentro da distribuição, com conjuntos OOD extraídos de outros conjuntos, como SVHN, Tiny ImageNet ou LSUN. As métricas comumente usadas incluem a área sob a curva característica de operação do receptor (AUROC), a taxa de falsos positivos a uma taxa de verdadeiros positivos fixa (FPR@TPR) e a taxa de erro de detecção. Essas métricas permitem que pesquisadores comparem métodos em diferentes configurações e limiares.
Nos últimos anos, os conjuntos de referência se expandiram para incluir cenários mais desafiadores, como deslocamento semântico (onde entradas OOD são de classes novas) e deslocamento covariate (onde a distribuição de entrada muda, mas o espaço de rótulos permanece o mesmo). O benchmark OpenOOD, introduzido em 2021, fornece uma estrutura unificada para avaliar métodos de detecção OOD em múltiplas tarefas e conjuntos de dados, ajudando a padronizar comparações.
Desafios e Limitações
Apesar do progresso, a detecção OOD permanece um problema em aberto. Um grande desafio é a questão da superconfiança: redes profundas frequentemente produzem previsões de alta confiança para entradas que estão longe da distribuição de treinamento. Isso é particularmente problemático em modelos de linguagem de grande porte (LLMs), onde o espaço de entrada é discreto e de alta dimensão, tornando difícil definir o que constitui uma entrada OOD. Para modelos baseados em transformadores, a detecção OOD frequentemente envolve a análise de probabilidades ou embeddings em nível de token, mas esses métodos ainda estão em estágios iniciais.
Outro desafio é a maldição da dimensionalidade. Em espaços de alta dimensão, as distâncias se tornam menos significativas e a estimativa de densidade se torna intratável. Isso afeta métodos baseados em distância e em verossimilhança igualmente. Além disso, os métodos de detecção OOD são frequentemente sensíveis à escolha de hiperparâmetros e à arquitetura específica, dificultando a generalização entre modelos.
Há também uma limitação teórica: sem suposições sobre a distribuição OOD, é impossível garantir uma detecção perfeita. Isso levou a pesquisas sobre detecção OOD robusta e comprovável, que frequentemente exige suposições restritivas sobre o processo de geração de dados.
Aplicações e Direções Futuras
A detecção OOD é amplamente aplicada em sistemas de segurança crítica. Na direção autônoma, por exemplo, um sistema de percepção deve reconhecer quando encontra um objeto ou cena não vistos durante o treinamento, como um obstáculo incomum na estrada. Empresas como Waymo e piloto automático da Tesla investem em detecção OOD robusta para prevenir acidentes. Na área da saúde, a detecção OOD ajuda a sinalizar imagens médicas que diferem do conjunto de treinamento, reduzindo o risco de diagnóstico incorreto. Em finanças, pode identificar transações fraudulentas que se desviam dos padrões normais.
Para modelos de linguagem de grande porte, a detecção OOD é usada para identificar prompts que estão fora do escopo ou são adversariais, ajudando a mitigar alucinações e uso indevido. A pesquisa nessa área está em andamento, com métodos que aproveitam as representações internas de transformadores ou a incerteza dos tokens gerados.
As direções futuras incluem o desenvolvimento de métodos de detecção OOD que sejam independentes de modelo e possam ser aplicados a diferentes arquiteturas, incluindo redes neurais e transformadores. Há também interesse em aprendizado contínuo, onde os modelos devem detectar entradas OOD enquanto se adaptam a novas distribuições ao longo do tempo. À medida que os sistemas de IA se tornam mais difundidos, a detecção OOD confiável será essencial para construir sistemas robustos e confiáveis.
Ver também
- anomaly-detection
- confidence-calibration
- distribution-shift
- robustez