Processamento de linguagem natural, ou PLN, é o subcampo da inteligência artificial focado em permitir que computadores processem, interpretem e gerem linguagem humana, falada ou escrita. Ele abrange tarefas que vão desde as mais restritas, como verificação ortográfica e marcação de classes gramaticais, até as mais abertas, como tradução, sumarização e conversação, e é o campo-mãe da tecnologia de modelos de linguagem de grande escala que domina o discurso sobre IA em meados da década de 2020.
Era inicial: regras e símbolos
Os primeiros sistemas de PLN, das décadas de 1950 a 1980, foram construídos sobre regras linguísticas artesanais e lógica simbólica, uma abordagem alinhada à IA simbólica. O ELIZA, um chatbot de 1966 criado por Joseph Weizenbaum, usava correspondência de padrões simples para simular um psicoterapeuta rogeriano e tornou-se uma demonstração inicial, embora limitada, das ambições do campo. Sistemas de tradução automática baseados em regras também foram desenvolvidos nesse período, com sucesso misto.
Era estatística
Do final da década de 1980 até os anos 2000, o PLN migrou para métodos estatísticos, usando probabilidades aprendidas de corpora de texto em vez de regras escritas à mão para lidar com tarefas como tradução, marcação e análise sintática. Esse período produziu técnicas como modelos de linguagem n-gram e tradução automática estatística, e estabeleceu grandes corpora anotados como infraestrutura central de pesquisa, um precursor da ênfase moderna na escala de dados de treinamento.
Era neural e de transformadores
Abordagens neurais começaram a substituir os pipelines estatísticos no início da década de 2010, auxiliadas por embeddings em nível de palavra, como o Word2vec (2013), que representava palavras como vetores densos capturando relações semânticas, e por arquiteturas de redes neurais recorrentes e LSTM para tarefas de sequência a sequência, como tradução. A introdução da arquitetura transformador em 2017 mostrou-se transformadora para o campo, permitindo treinamento muito mais eficiente em grandes corpora de texto. O BERT (2018) demonstrou o poder do pré-treinamento em larga escala para compreensão de linguagem, enquanto a série GPT mostrou que um único modelo autorregressivo treinado para previsão do próximo token em escala suficiente poderia executar uma enorme gama de tarefas de PLN sem arquiteturas específicas para cada tarefa, culminando em modelos de linguagem de grande escala de propósito geral.
Escopo moderno
A pesquisa e as aplicações contemporâneas de PLN abrangem tradução automática, reconhecimento de fala, busca semântica, análise de sentimentos, sumarização, resposta a perguntas e sistemas de diálogo que sustentam chatbots e assistentes de voz. Desde a ascensão dos modelos de linguagem de grande escala, muitas subtarefas de PLN anteriormente distintas são agora comumente abordadas por meio de prompts a um único modelo de propósito geral, em vez de treinar arquiteturas especializadas, uma mudança que reduziu a necessidade de sistemas supervisionados restritos, mas levantou novas questões de avaliação e confiabilidade, incluindo alucinação.
Desafios
Os sistemas de PLN continuam a enfrentar dificuldades com línguas de baixos recursos que carecem de grandes corpora de treinamento, expressões idiomáticas e contextos culturalmente específicos, e confiabilidade factual consistente. O viés presente no texto de treinamento pode ser reproduzido ou amplificado nas saídas dos modelos, uma preocupação levantada de forma proeminente na crítica do papagaio estocástico, e permanece uma área ativa de pesquisa, juntamente com esforços mais amplos em mitigação de viés algorítmico.