GPT-4 (Generative Pre-trained Transformer 4) est un grand modèle de langage développé par OpenAI, publié le 14 mars 2023. Il s'agit du quatrième modèle de la série de modèles fondamentaux GPT d'OpenAI, succédant à GPT-3.5 et précédant GPT-5. Contrairement à ses prédécesseurs, GPT-4 est multimodal, capable de traiter à la fois des entrées textuelles et image. OpenAI n'a pas divulgué de détails techniques tels que la taille du modèle, l'architecture ou le matériel d'entraînement, invoquant des préoccupations de concurrence et de sécurité. Le modèle a été intégré à Bing Chat de Microsoft en février 2023 et est devenu disponible dans ChatGPT en mars 2023, avec un retrait de ChatGPT en 2025. GPT-4 reste accessible via l'API d'OpenAI.
Contexte
OpenAI a introduit le premier modèle GPT en 2018, basé sur l'architecture Transformer (architecture), entraîné sur un large corpus de livres. GPT-2 a suivi en 2019, générant du texte cohérent à grande échelle. En 2020, GPT-3 a élargi les paramètres de plus de 100 fois par rapport à GPT-2, et des raffinements supplémentaires ont conduit à GPT-3.5, qui alimentait le chatbot ChatGPT. GPT-4 s'est appuyé sur cette lignée avec des capacités améliorées et une entrée multimodale.
Capacités
La version par défaut de GPT-4 présentait une fenêtre de contexte de 8K, avec une variante API prenant en charge jusqu'à 32K jetons. Sa nature multimodale permet une entrée d'image et de texte, permettant des réponses aux téléchargements de photos et aux interactions vocales. GPT-4 peut être invité à interagir avec des interfaces externes, comme utiliser des balises de recherche pour effectuer des requêtes web, intégrer les résultats dans les réponses, et exécuter des tâches telles que des appels API, la génération d'images et la synthèse de pages web.
Un article de Nature de 2023 a souligné l'utilité de GPT-4 en codage, malgré une propension aux erreurs. Un biophysicien a rapporté avoir réduit un portage MATLAB vers Python de plusieurs jours à environ une heure. Lors de tests de sécurité sur 89 scénarios, GPT-4 a produit du code vulnérable aux injections SQL dans 5 % des cas, contre 40 % pour GitHub Copilot en 2021. En novembre 2023, OpenAI a annoncé GPT-4 Turbo avec une fenêtre de contexte de 128K et un prix inférieur.
Aptitude aux tests standardisés
Des études ont remis en question la fiabilité des performances des chatbots aux tests. Dans les tests de pensée créative de Torrance, GPT-4 a obtenu un score dans le top 1 % pour l'originalité et la fluidité, avec des scores de flexibilité allant du 93e au 99e percentile.
Applications médicales
Des chercheurs de Microsoft ont constaté que GPT-4 dépassait le seuil de réussite de l'USMLE de plus de 20 points, surpassant GPT-3.5 et des modèles médicaux affinés comme Med-PaLM, sans préparation de prompts spécialisée. Cependant, ils ont averti de risques significatifs, notamment des recommandations inexactes et des faits hallucinés. En avril 2023, Microsoft et Epic Systems ont annoncé des systèmes alimentés par GPT-4 pour les requêtes des patients et l'analyse de dossiers médicaux.
GPT-4o
Le 13 mai 2024, OpenAI a introduit GPT-4o (« o » pour « omni »), traitant les modalités texte, audio et image en temps réel. Il offrait des temps de réponse rapides, une meilleure performance dans les langues non anglaises, et était disponible pour les utilisateurs du niveau gratuit, contrairement à GPT-4.
Limitations
GPT-4 peut halluciner, produisant des sorties non présentes dans les données d'entraînement ou contredisant les prompts. Sa prise de décision manque de transparence ; les explications sont a posteriori et souvent invérifiables, contredisant parfois des déclarations antérieures. En 2023, des tests sur le benchmark ConceptARC pour le raisonnement abstrait ont montré que GPT-4 obtenait un score inférieur à 33 % dans toutes les catégories, tandis que des modèles spécialisés obtenaient 60 % et les humains au moins 91 %. Sam Bowman a noté que la nature visuelle du test pourrait ne pas refléter le raisonnement des modèles de langage.
Biais
L'entraînement de GPT-4 a impliqué deux étapes : un pré-entraînement non supervisé sur du texte internet, suivi d'un apprentissage par renforcement à partir de retours humains (RLHF) pour refuser les prompts nuisibles. Des chercheurs de Microsoft ont suggéré que GPT-4 pourrait présenter des biais cognitifs comme le biais de confirmation, l'ancrage et la négligence du taux de base.
Entraînement
Le rapport technique d'OpenAI a omis la taille du modèle, l'architecture, le matériel, la construction du jeu de données, le calcul et les hyperparamètres. L'entraînement a utilisé un apprentissage supervisé et un apprentissage par renforcement avec des retours humains et IA. Sam Altman a déclaré que le coût d'entraînement dépassait 100 millions de dollars, bien que les chiffres exacts restent non divulgués.
Réception et impact
GPT-4 a établi de nouveaux jalons en IA, influençant les modèles ultérieurs de concurrents comme Anthropic et Google DeepMind. Ses capacités multimodales ont élargi les applications dans l'IA générative, des outils créatifs aux diagnostics médicaux. Les limitations du modèle, y compris l'hallucination et le biais, ont suscité des débats sur la sécurité et la transparence de l'IA, incitant à la recherche sur les méthodes d'alignement et d'évaluation.
Héritage
La publication de GPT-4 a marqué un jalon dans les grands modèles de langage, démontrant une utilité pratique dans divers domaines. Son successeur, GPT-5, a poursuivi la série, tandis que GPT-4 reste un point de référence pour l'IA multimodale. L'influence du modèle persiste dans les développements en cours en intelligence artificielle et apprentissage automatique.