GPT-4 é um modelo de linguagem de grande porte desenvolvido pela OpenAI e o quarto em sua série de modelos de fundação GPT. Lançado em 14 de março de 2023, ele sucedeu o GPT-3.5 e foi seguido por seu sucessor GPT-5. Diferentemente de seus antecessores, o GPT-4 é um modelo multimodal capaz de processar tanto entradas de texto quanto de imagem. A OpenAI não revelou detalhes técnicos sobre o modelo, incluindo seu tamanho preciso.
Histórico
A OpenAI introduziu o primeiro modelo GPT (GPT-1) em 2018, publicando um artigo intitulado "Improving Language Understanding by Generative Pre-Training", que era baseado na arquitetura transformer e treinado em um grande corpus de livros. Em 2019, eles introduziram o GPT-2, um modelo maior capaz de gerar texto coerente. Em 2020, eles lançaram o GPT-3, um modelo com mais de 100 vezes o número de parâmetros do GPT-2. O GPT-3 foi posteriormente refinado no GPT-3.5, que foi usado para criar o ChatGPT, um Chatbot.
Capacidades
O GPT-4 foi lançado em 14 de março de 2023. A versão padrão apresentava uma janela de contexto de 8K, com uma versão especial na API suportando até 32 mil tokens. Diferentemente de seus antecessores, o GPT-4 é um modelo multimodal: ele pode receber imagens além de texto como entrada. Ele pode interagir com usuários por meio de palavras faladas e responder a imagens, permitindo que forneça sugestões ou respostas com base em uploads de fotos.
O GPT-4 pode ser instruído a interagir com interfaces externas. Por exemplo, o modelo poderia ser orientado a envolver uma consulta em tags <search></search> para realizar uma busca na web, cujo resultado seria inserido no prompt do modelo para permitir que ele formulasse uma resposta. Isso permite que o modelo execute tarefas além de suas capacidades normais de previsão de texto, como usar APIs, gerar imagens e acessar e resumir páginas da web.
Um artigo de 2023 na Nature afirmou que programadores consideraram o GPT-4 útil para auxiliar em tarefas de codificação (apesar de sua propensão a erros), como encontrar erros em código existente e sugerir otimizações para melhorar o desempenho. O artigo citou um biofísico que descobriu que o tempo necessário para portar um de seus programas de MATLAB para Python caiu de dias para "cerca de uma hora". Em um teste de 89 cenários de segurança, o GPT-4 produziu código vulnerável a ataques de injeção de SQL em 5% das vezes, uma melhoria em relação ao GitHub Copilot de 2021, que produzia vulnerabilidades em 40% das vezes.
Em novembro de 2023, a OpenAI anunciou os modelos GPT-4 Turbo e GPT-4 Turbo with Vision, que apresentavam uma janela de contexto de 128K e preços significativamente mais baixos.
Aptidão em testes padronizados
Estudos contestaram a confiabilidade de submeter chatbots a testes padronizados. Nos Testes de Pensamento Criativo de Torrance, o GPT-4 pontuou entre os 1% melhores em originalidade e fluência, enquanto suas pontuações de flexibilidade variaram do 93º ao 99º percentil.
Aplicações médicas
Pesquisadores da Microsoft testaram o GPT-4 em problemas médicos e descobriram que "o GPT-4, sem qualquer elaboração especial de prompt, supera a nota de aprovação no USMLE em mais de 20 pontos e supera modelos de propósito geral anteriores (GPT-3.5), bem como modelos especificamente ajustados em conhecimento médico (Med-PaLM, uma versão ajustada por prompt do Flan-PaLM 540B)". Apesar do forte desempenho do GPT-4 em testes, o relatório alertou sobre "riscos significativos" do uso de modelos de linguagem de grande porte em aplicações médicas, pois eles podem fornecer recomendações imprecisas e alucinar erros factuais importantes.
Em abril de 2023, a Microsoft e a Epic Systems anunciaram que forneceriam aos prestadores de serviços de saúde sistemas baseados em GPT-4 para auxiliar na resposta a perguntas de pacientes e na análise de registros médicos.
GPT-4o
Em 13 de maio de 2024, a OpenAI introduziu o GPT-4o ("o" de "omni"), um sucessor do GPT-4 que marcou um avanço significativo ao processar e gerar saídas em modalidades de texto, áudio e imagem em tempo real. O GPT-4o exibiu tempos de resposta rápidos comparáveis à reação humana em conversas, desempenho substancialmente melhorado em idiomas não ingleses e compreensão aprimorada de visão e áudio. Ele também estava disponível para usuários do nível gratuito, ao contrário do GPT-4.
Limitações
Como seus antecessores, o GPT-4 é conhecido por alucinar, o que significa que suas saídas podem incluir informações que não estão nos dados de treinamento ou que contradizem o prompt do usuário.
O GPT-4 também carece de transparência em seus processos de tomada de decisão. Se solicitado, o modelo pode fornecer uma explicação sobre como e por que toma suas decisões, mas essas explicações são formadas posteriormente; é impossível verificar se essas explicações refletem verdadeiramente o processo real. Em muitos casos, quando solicitado a explicar sua lógica, o GPT-4 fornece explicações que contradizem diretamente suas declarações anteriores.
Em 2023, pesquisadores testaram o GPT-4 contra um novo benchmark chamado ConceptARC, projetado para medir o raciocínio abstrato, e descobriram que ele pontuou abaixo de 33% em todas as categorias, enquanto modelos especializados em tarefas semelhantes pontuaram 60% na maioria, e humanos pontuaram pelo menos 91% em todas. Sam Bowman, que não esteve envolvido na pesquisa, disse que os resultados não indicam necessariamente uma falta de habilidades de raciocínio abstrato, pois o teste é visual, enquanto o GPT-4 é um modelo de linguagem.
Viés
O GPT-4 foi treinado em duas etapas. Primeiro, o modelo recebeu grandes conjuntos de dados de texto da internet e foi treinado para prever o próximo token (aproximadamente correspondente a uma palavra) nesses conjuntos de dados. Segundo, revisões humanas foram usadas para ajustar o sistema em um processo chamado aprendizado por reforço com feedback humano, que treina o modelo para recusar prompts que vão contra a definição da OpenAI de comportamento prejudicial, como perguntas sobre como realizar atividades ilegais, conselhos sobre como se machucar ou machucar outros, ou solicitações de descrições de conteúdo gráfico, violento ou sexual.
Pesquisadores da Microsoft sugeriram que o GPT-4 pode exibir vieses cognitivos, como viés de confirmação, ancoragem e negligência da taxa base.
Treinamento
A OpenAI não divulgou os detalhes técnicos do GPT-4; o relatório técnico explicitamente se absteve de especificar o tamanho do modelo, a arquitetura ou o hardware usado durante o treinamento ou a inferência. Embora o relatório tenha descrito que o modelo foi treinado usando uma combinação de aprendizado supervisionado em um grande conjunto de dados, seguido de aprendizado por reforço usando tanto feedback humano quanto de IA, ele não forneceu detalhes do treinamento, incluindo o processo pelo qual o conjunto de dados de treinamento foi construído, o poder computacional necessário ou quaisquer hiperparâmetros, como a taxa de aprendizado, o número de épocas ou os otimizadores usados. O relatório afirmou que "o cenário competitivo e as implicações de segurança de modelos de grande escala" foram fatores que influenciaram essa decisão.
Sam Altman afirmou que o custo de treinar o GPT-4 foi superior a US$ 100 milhões.
Recepção e Impacto
O GPT-4 foi integrado pela Microsoft ao Bing Chat, que foi lançado em fevereiro de 2023, antes do lançamento oficial do modelo. O modelo rapidamente se tornou uma base para inúmeros aplicativos e serviços, demonstrando o potencial dos modelos GPT em vários domínios.
Disponibilidade
O GPT-4 foi lançado no ChatGPT em março de 2023 e permaneceu disponível até ser removido em 2025. O modelo foi removido da API da OpenAI em 23 de outubro de 2026.