GPT-4 est un grand modèle de langage développé par OpenAI et le quatrième de sa série de modèles de fondation GPT. Publié le 14 mars 2023, il a succédé à GPT-3.5 et a été suivi par son successeur GPT-5. Contrairement à ses prédécesseurs, GPT-4 est un modèle multimodal capable de traiter à la fois des entrées textuelles et visuelles. OpenAI n'a pas révélé de détails techniques sur le modèle, y compris sa taille précise.
Contexte
OpenAI a introduit le premier modèle GPT (GPT-1) en 2018, publiant un article intitulé « Improving Language Understanding by Generative Pre-Training », basé sur l'architecture transformer et entraîné sur un vaste corpus de livres. En 2019, ils ont introduit GPT-2, un modèle plus grand capable de générer un texte cohérent. En 2020, ils ont publié GPT-3, un modèle avec plus de 100 fois plus de paramètres que GPT-2. GPT-3 a été affiné en GPT-3.5, qui a été utilisé pour créer le ChatGPT, un Chatbot.
Capacités
GPT-4 a été publié le 14 mars 2023. La version par défaut comportait une fenêtre de contexte de 8K, avec une version spéciale dans l'API prenant en charge jusqu'à 32K jetons. Contrairement à ses prédécesseurs, GPT-4 est un modèle multimodal : il peut prendre des images ainsi que du texte en entrée. Il peut interagir avec les utilisateurs par la parole et répondre à des images, ce qui lui permet de fournir des suggestions ou des réponses basées sur des photos téléchargées.
GPT-4 peut être invité à interagir avec des interfaces externes. Par exemple, le modèle pourrait être invité à encadrer une requête avec des balises <search></search> pour effectuer une recherche web, dont le résultat serait inséré dans le prompt du modèle pour lui permettre de formuler une réponse. Cela permet au modèle d'effectuer des tâches au-delà de ses capacités normales de prédiction de texte, telles que l'utilisation d'API, la génération d'images et l'accès et la synthèse de pages web.
Un article de 2023 dans Nature a indiqué que les programmeurs ont trouvé GPT-4 utile pour aider dans les tâches de codage (malgré sa propension à l'erreur), comme trouver des erreurs dans le code existant et suggérer des optimisations pour améliorer les performances. L'article citait un biophysicien qui a constaté que le temps nécessaire pour porter l'un de ses programmes de MATLAB à Python est passé de plusieurs jours à « environ une heure ». Lors d'un test de 89 scénarios de sécurité, GPT-4 a produit du code vulnérable aux attaques par injection SQL dans 5 % des cas, une amélioration par rapport à GitHub Copilot de 2021, qui produisait des vulnérabilités dans 40 % des cas.
En novembre 2023, OpenAI a annoncé les modèles GPT-4 Turbo et GPT-4 Turbo avec Vision, qui comportaient une fenêtre de contexte de 128K et un prix nettement inférieur.
Aptitude aux tests standardisés
Des études ont contesté la fiabilité de faire passer des chatbots à des tests standardisés. Dans les tests de pensée créative de Torrance, GPT-4 a obtenu un score dans le top 1 % pour l'originalité et la fluidité, tandis que ses scores de flexibilité allaient du 93e au 99e percentile.
Applications médicales
Des chercheurs de Microsoft ont testé GPT-4 sur des problèmes médicaux et ont constaté que « GPT-4, sans aucune préparation spécialisée du prompt, dépasse le score de réussite à l'USMLE de plus de 20 points et surpasse les modèles généraux antérieurs (GPT-3.5) ainsi que les modèles spécifiquement affinés sur les connaissances médicales (Med-PaLM, une version ajustée par prompt de Flan-PaLM 540B) ». Malgré les bonnes performances de GPT-4 aux tests, le rapport a averti de « risques significatifs » liés à l'utilisation de grands modèles de langage dans les applications médicales, car ils peuvent fournir des recommandations inexactes et halluciner des erreurs factuelles majeures.
En avril 2023, Microsoft et Epic Systems ont annoncé qu'ils fourniraient aux prestataires de soins de santé des systèmes basés sur GPT-4 pour aider à répondre aux questions des patients et à analyser les dossiers médicaux.
GPT-4o
Le 13 mai 2024, OpenAI a introduit GPT-4o (« o » pour « omni »), un successeur de GPT-4 qui a marqué une avancée significative en traitant et générant des sorties à travers les modalités texte, audio et image en temps réel. GPT-4o a montré des temps de réponse rapides comparables à la réaction humaine dans les conversations, des performances nettement améliorées sur les langues non anglaises et une meilleure compréhension de la vision et de l'audio. Il était également disponible pour les utilisateurs du niveau gratuit, contrairement à GPT-4.
Limites
Comme ses prédécesseurs, GPT-4 est connu pour halluciner, ce qui signifie que ses sorties peuvent inclure des informations absentes des données d'entraînement ou contredisant le prompt de l'utilisateur.
GPT-4 manque également de transparence dans ses processus de prise de décision. Si on le lui demande, le modèle peut fournir une explication sur la manière et la raison de ses décisions, mais ces explications sont formées a posteriori ; il est impossible de vérifier si ces explications reflètent réellement le processus réel. Dans de nombreux cas, lorsqu'on lui demande d'expliquer sa logique, GPT-4 donne des explications qui contredisent directement ses déclarations précédentes.
En 2023, des chercheurs ont testé GPT-4 contre un nouveau benchmark appelé ConceptARC, conçu pour mesurer le raisonnement abstrait, et ont constaté qu'il obtenait un score inférieur à 33 % dans toutes les catégories, tandis que des modèles spécialisés pour des tâches similaires obtenaient 60 % dans la plupart, et que les humains obtenaient au moins 91 % dans toutes. Sam Bowman, qui n'a pas participé à la recherche, a déclaré que les résultats n'indiquent pas nécessairement un manque de capacités de raisonnement abstrait, car le test est visuel, alors que GPT-4 est un modèle de langage.
Biais
GPT-4 a été entraîné en deux étapes. D'abord, le modèle a reçu de grands ensembles de données textuelles provenant d'Internet et a été entraîné à prédire le jeton suivant (correspondant approximativement à un mot) dans ces ensembles. Ensuite, des examinateurs humains ont été utilisés pour affiner le système dans un processus appelé apprentissage par renforcement avec retour humain, qui entraîne le modèle à refuser les prompts qui vont à l'encontre de la définition d'OpenAI des comportements nuisibles, comme les questions sur la façon de mener des activités illégales, les conseils sur la façon de se nuire ou de nuire à autrui, ou les demandes de descriptions de contenu graphique, violent ou sexuel.
Des chercheurs de Microsoft ont suggéré que GPT-4 pourrait présenter des biais cognitifs tels que le biais de confirmation, l'ancrage et la négligence du taux de base.
Entraînement
OpenAI n'a pas publié les détails techniques de GPT-4 ; le rapport technique s'est explicitement abstenu de spécifier la taille du modèle, l'architecture ou le matériel utilisé pendant l'entraînement ou l'inférence. Bien que le rapport ait décrit que le modèle a été entraîné en combinant un apprentissage supervisé sur un grand ensemble de données, puis un apprentissage par renforcement utilisant à la fois des retours humains et IA, il n'a pas fourni de détails sur l'entraînement, y compris le processus de construction de l'ensemble de données d'entraînement, la puissance de calcul requise, ou des hyperparamètres tels que le taux d'apprentissage, le nombre d'époques ou les optimiseurs utilisés. Le rapport a affirmé que « le paysage concurrentiel et les implications de sécurité des modèles à grande échelle » étaient des facteurs ayant influencé cette décision.
Sam Altman a déclaré que le coût de l'entraînement de GPT-4 dépassait 100 millions de dollars.
Réception et impact
GPT-4 a été intégré par Microsoft dans Bing Chat, lancé en février 2023, avant la sortie officielle du modèle. Le modèle est rapidement devenu une base pour de nombreuses applications et services, démontrant le potentiel des modèles GPT dans divers domaines.
Disponibilité
GPT-4 a été publié dans ChatGPT en mars 2023 et est resté disponible jusqu'à son retrait en 2025. Le modèle a été retiré de l'API OpenAI le 23 octobre 2026.