Gerative Pre-trained Transformer 4 (GPT-4) é um modelo de linguagem de grande porte desenvolvido pela OpenAI e o quarto da série de modelos fundacionais GPT. Foi lançado em 14 de março de 2023, sucedendo o GPT-3.5 e precedendo o GPT-5. O GPT-4 é um modelo multimodal, capaz de processar tanto texto quanto imagens como entrada, um avanço significativo em relação aos seus antecessores. A OpenAI não divulgou publicamente detalhes técnicos sobre o GPT-4, incluindo o tamanho exato do modelo, sua arquitetura ou o hardware utilizado no treinamento.
O GPT-4 foi integrado ao Bing Chat da Microsoft em fevereiro de 2023, antes de seu lançamento oficial no ChatGPT no mês seguinte. Em 2025, foi removido do ChatGPT, mas permaneceu acessível por meio da API da OpenAI. As capacidades e limitações do modelo têm sido objeto de extensa pesquisa e discussão pública.
Histórico
A OpenAI introduziu o primeiro modelo GPT em 2018, baseado na arquitetura transformer e treinado em um grande corpus de livros. No ano seguinte, o GPT-2 demonstrou a capacidade de gerar texto coerente em uma escala maior. Em 2020, o GPT-3 foi lançado com mais de 100 vezes o número de parâmetros do GPT-2, e posteriormente foi refinado no GPT-3.5, que alimentou o chatbot ChatGPT. O GPT-4 deu continuidade a essa linhagem, adicionando processamento multimodal e melhorias de desempenho em diversos benchmarks.
Capacidades
A versão padrão do GPT-4 apresentava uma janela de contexto de 8 mil tokens, com uma versão especial da API suportando até 32 mil tokens. Diferentemente dos modelos anteriores, o GPT-4 podia aceitar imagens como entrada, permitindo que usuários enviassem fotos para análise ou fizessem perguntas sobre conteúdo visual. O modelo também podia ser instruído a interagir com interfaces externas, como realizar buscas na web usando tags específicas, habilitando tarefas como chamadas de API, geração de imagens e sumarização de páginas da web.
Um artigo de 2023 na Nature destacou a utilidade do GPT-4 na assistência à programação, apesar de sua propensão a erros. Programadores o consideraram útil para identificar bugs e sugerir otimizações; um biofísico relatou ter reduzido o tempo para portar um programa de MATLAB para Python de dias para cerca de uma hora. Em testes de segurança, o GPT-4 produziu código vulnerável a ataques de injeção de SQL em 5% das vezes, em comparação com 40% para o GitHub Copilot em 2021.
Desempenho em testes
Os resultados do GPT-4 em testes padronizados foram mistos. No Torrance Tests of Creative Thinking, o modelo obteve pontuações entre o 93º e o 99º percentil para originalidade e fluência, mas suas pontuações de flexibilidade variaram entre o 93º e o 99º percentil.
Aplicações médicas
Pesquisadores da Microsoft testaram o GPT-4 em problemas médicos e descobriram que ele superou a nota de aprovação no USMLE por mais de 20 pontos, superando o GPT-3.5 e modelos especificamente ajustados para a área médica, como o Med-PaLM. No entanto, o relatório alertou sobre riscos significativos no uso de modelos de linguagem de grande porte para aplicações médicas, citando possíveis imprecisões e alucinações. Em abril de 2023, a Microsoft e a Epic Systems anunciaram planos para integrar sistemas baseados em GPT-4 em prontuários eletrônicos para auxiliar pacientes e profissionais de saúde.
GPT-4o
Em 13 de maio de 2024, a OpenAI lançou o GPT-4o ("o" de "omni"), um sucessor que processa e gera texto, áudio e imagens em tempo real. O GPT-4o ofereceu tempos de resposta rápidos, comparáveis aos de uma conversa humana, melhor desempenho em idiomas não ingleses e foi disponibilizado para usuários do plano gratuito, ao contrário do GPT-4.
Limitações
O GPT-4, como seus antecessores, é conhecido por "alucinar", ou seja, produzir informações que não estão em seus dados de treinamento ou que contradizem as instruções do usuário. O modelo também carece de transparência em seus processos de decisão; as explicações que fornece para seu raciocínio são geradas posteriormente e não podem ser verificadas como precisas. Em muitos casos, essas explicações contradizem declarações anteriores do próprio modelo.
Em 2023, pesquisadores testaram o GPT-4 no ConceptARC, um benchmark para raciocínio abstrato, e descobriram que ele obteve menos de 33% de acertos em todas as categorias, enquanto modelos especializados alcançaram mais de 60% e humanos, pelo menos 91%. Sam Bowman, um dos pesquisadores, observou que os resultados podem não indicar uma falta de raciocínio abstrato, uma vez que o teste é visual e o GPT-4 é essencialmente um modelo de linguagem.
Viés
O treinamento do GPT-4 ocorreu em duas etapas: primeiro, em grandes conjuntos de dados de texto da internet para prever a próxima palavra; segundo, usando aprendizado por reforço com feedback humano para ajustar o comportamento e recusar prompts prejudiciais. Pesquisadores da Microsoft sugeriram que o GPT-4 pode exibir vieses cognitivos, como viés de confirmação, ancoragem e negligência da taxa base.
Treinamento
A OpenAI não divulgou detalhes técnicos sobre o treinamento do GPT-4. O relatório técnico do modelo evitou especificar a arquitetura, o tamanho ou o hardware utilizado, citando preocupações com segurança competitiva. O documento descreveu o uso de uma combinação de aprendizado supervisionado e aprendizado por reforço com feedback humano e de IA, mas omitiu informações sobre a construção dos conjuntos de dados, o poder computacional utilizado ou os hiperparâmetros. Sam Altman, CEO da OpenAI, afirmou que o custo do treinamento excedeu US$ 100 milhões.