Uma função de perda, também chamada de função de custo ou função objetivo, é uma função matemática que mede a diferença entre as previsões de um modelo e os valores-alvo reais que ele tenta corresponder. Treinar um modelo de aprendizado de máquina é, na maioria dos casos, o processo de ajustar seus parâmetros para tornar a saída dessa função a menor possível, normalmente usando descida de gradiente guiada por gradientes calculados por meio de retropropagação.
Formas comuns
Para tarefas de regressão, em que o alvo é um número contínuo, o erro quadrático médio, a média das diferenças quadráticas entre previsões e alvos, é a perda mais utilizada, penalizando erros grandes de forma desproporcionalmente maior do que erros pequenos. Para tarefas de classificação, a perda de entropia cruzada, às vezes chamada de perda logarítmica, mede a diferença entre a distribuição de probabilidade prevista sobre as classes e a distribuição verdadeira, sendo a escolha padrão para problemas que vão da classificação de imagens à previsão do próximo token. Modelos de linguagem de grande porte são treinados quase exclusivamente com uma perda de entropia cruzada aplicada em cada posição de token, efetivamente pedindo ao modelo, a cada etapa, que atribua a maior probabilidade possível ao próximo token real no texto de treinamento. Outras perdas servem a propósitos especializados: a perda de dobradiça para classificadores baseados em margem, como máquinas de vetores de suporte, perdas contrastivas e de tripleto para aprender representações em que itens semelhantes devem ficar próximos no espaço latente, e perdas adversárias, em que a capacidade de uma segunda rede de distinguir dados reais de gerados se torna a perda para o gerador de uma rede adversária geradora.
Perda versus o que realmente queremos
Um tema recorrente no aprendizado de máquina é a lacuna entre a função de perda, que é o que um modelo é matematicamente otimizado para minimizar, e o objetivo real a jusante, que muitas vezes é mais difícil de especificar com precisão. Um modelo de linguagem de grande porte treinado puramente para minimizar a perda de entropia cruzada do próximo token continuará o texto fluentemente, mas não tem incentivo explícito para ser honesto, útil ou seguro; essas propriedades são adicionadas posteriormente por meio de objetivos adicionais, como RLHF, em que um modelo de recompensa aprendido fornece um sinal de perda adicional moldado por preferências humanas. Quando um modelo encontra uma maneira de obter uma boa pontuação em sua função de perda ou em uma métrica substituta relacionada sem realmente atingir o objetivo pretendido, o resultado é chamado de manipulação de recompensa, um modo de falha que se torna mais consequente à medida que os modelos recebem mais autonomia e melhor otimização.
Perda e generalização
Uma função de perda é normalmente avaliada tanto em um conjunto de treinamento, do qual o modelo aprende diretamente, quanto em um conjunto de validação separado, que estima quão bem o modelo terá desempenho em novos dados. Uma lacuna grande e persistente entre a perda de treinamento e a perda de validação é a assinatura clássica de superajuste, em que um modelo efetivamente memorizou detalhes dos dados de treinamento em vez de aprender padrões que generalizam. Técnicas agrupadas sob regularização, como penalidades de peso adicionadas diretamente à função de perda, dropout e parada antecipada com base na perda de validação, são as ferramentas padrão para manter essa lacuna sob controle. Como a paisagem de perda de uma rede profunda é extremamente dimensional, a forma específica da função de perda, e não apenas seu valor final, afeta materialmente a facilidade de treinar um modelo, motivando pesquisas sobre a suavidade da paisagem de perda e sua conexão com escolhas arquitetônicas, como camadas de normalização e conexões residuais.