GPT-4 é um modelo de linguagem de grande escala desenvolvido pela OpenAI, o quarto em sua série de modelos de fundação GPT. Lançado em 14 de março de 2023, ele sucedeu o GPT-3.5 e foi posteriormente seguido pelo GPT-5. Ao contrário de seus antecessores, o GPT-4 é multimodal, o que significa que pode processar tanto texto quanto imagens como entrada. A OpenAI não divulgou detalhes técnicos, como o tamanho do modelo, arquitetura ou hardware de treinamento, citando preocupações competitivas e de segurança. Uma versão inicial foi integrada ao Bing Chat da Microsoft em fevereiro de 2023, e o GPT-4 esteve disponível no ChatGPT de março de 2023 até sua remoção em 2025; ele permanece acessível via API da OpenAI.
Histórico
A OpenAI apresentou o primeiro modelo GPT em 2018, baseado na arquitetura transformador e treinado em um grande corpus de livros. O GPT-2 veio em 2019, gerando texto coerente em escala. Em 2020, o GPT-3 foi lançado com mais de 100 vezes mais parâmetros que o GPT-2, e seu refinamento levou ao GPT-3.5, que alimentou o chatbot ChatGPT. O GPT-4 foi construído sobre essa linhagem, adicionando capacidades multimodais e desempenho aprimorado em muitos benchmarks.
Capacidades
A versão padrão do GPT-4 tinha uma janela de contexto de 8K, com uma variante especial da API suportando até 32K tokens. Como modelo multimodal, ele pode aceitar entradas de imagem, permitindo que usuários enviem fotos para análise ou sugestões. O GPT-4 também pode interagir com interfaces externas, como realizar buscas na web ao colocar consultas em tags específicas, permitindo acessar e resumir páginas da web, usar APIs e gerar imagens. Um artigo de 2023 na Nature observou que programadores acharam o GPT-4 útil para assistência de codificação, como identificar erros e sugerir otimizações, apesar de uma tendência a cometer enganos. Em testes de segurança, o GPT-4 produziu código vulnerável a injeção de SQL em 5% dos cenários, comparado a 40% para o GitHub Copilot em 2021. Em novembro de 2023, a OpenAI lançou o GPT-4 Turbo com uma janela de contexto de 128K e preços mais baixos.
Aptidão em testes padronizados
Estudos questionaram a confiabilidade de submeter chatbots a testes padronizados. Nos Testes de Pensamento Criativo de Torrance, o GPT-4 pontuou no topo 1% em originalidade e fluência, com escores de flexibilidade variando do 93º ao 99º percentil.
Aplicações médicas
Pesquisadores da Microsoft descobriram que o GPT-4 superou a nota de aprovação no USMLE em mais de 20 pontos sem prompting especializado, superando o GPT-3.5 e modelos específicos para medicina, como o Med-PaLM. No entanto, eles alertaram sobre riscos significativos, incluindo recomendações imprecisas e alucinações. Em abril de 2023, a Microsoft e a Epic Systems anunciaram planos de fornecer aos profissionais de saúde sistemas baseados em GPT-4 para consultas de pacientes e análise de registros médicos.
GPT-4o
Em 13 de maio de 2024, a OpenAI apresentou o GPT-4o ("o" para "omni"), um sucessor que processa e gera texto, áudio e imagens em tempo real. Ele oferece tempos de resposta comparáveis à conversa humana, desempenho aprimorado em línguas não inglesas e compreensão aprimorada de visão e áudio. O GPT-4o também estava disponível para usuários do nível gratuito, ao contrário do GPT-4.
Limitações
O GPT-4, como seus predecessores, pode alucinar, produzindo saídas que contradizem dados de treinamento ou prompts do usuário. Ele também carece de transparência na tomada de decisões; explicações são formadas post hoc e podem contradizer declarações anteriores. Em 2023, testes usando o ConceptARC mostraram que o GPT-4 pontuou abaixo de 33% em tarefas de raciocínio abstrato, enquanto modelos especializados pontuaram cerca de 60% e humanos pelo menos 91%. Pesquisadores notaram que isso pode não indicar falta de raciocínio abstrato, pois o teste é visual e o GPT-4 é um modelo de linguagem.
Viés
O GPT-4 foi treinado em duas etapas: primeiro, em grandes conjuntos de dados de texto da internet para prever próximos tokens; segundo, usando aprendizado por reforço a partir de feedback humano para alinhar com diretrizes de segurança. Pesquisadores da Microsoft sugeriram que o GPT-4 pode exibir vieses cognitivos, como viés de confirmação, ancoragem e negligência de taxas base.
Treinamento
A OpenAI não divulgou detalhes técnicos do treinamento do GPT-4, incluindo tamanho do modelo, arquitetura, hardware ou hiperparâmetros. O relatório técnico descreveu uma combinação de aprendizado supervisionado e aprendizado por reforço com feedback humano e de IA, mas omitiu especificidades. Sam Altman afirmou que o custo de treinamento excedeu US$ 100 milhões. O relatório citou o cenário competitivo e implicações de segurança como razões para reter as informações.