GPT-4 est un grand modèle de langage développé par OpenAI, publié le 14 mars 2023, comme quatrième modèle de sa série transformers génératifs pré-entraînés. Contrairement à ses prédécesseurs, GPT-4 est un modèle multimodal qui accepte à la fois des entrées d'images et de texte, lui permettant de traiter des informations visuelles en plus du langage écrit. Cette capacité a représenté une étape importante dans la recherche en intelligence artificielle, élargissant les applications potentielles des grands modèles de langage au-delà des interactions textuelles. GPT-4 a été précédé par GPT-3.5 et suivi par GPT-5, et il a été intégré dans ChatGPT puis dans l'API OpenAI, avec une version connue sous le nom de GPT-4V spécifiquement conçue pour le traitement d'images.
OpenAI n'a pas divulgué publiquement les détails techniques de GPT-4, tels que la taille précise du modèle, l'architecture ou le matériel d'entraînement. Le rapport technique s'est explicitement abstenu de spécifier ces paramètres, citant des considérations de concurrence et de sécurité. Ce manque de transparence contrastait avec des modèles antérieurs comme GPT-3, pour lesquels davantage d'informations étaient disponibles. Malgré cela, les capacités de GPT-4 ont été démontrées à travers divers benchmarks et applications réelles, notamment des tests standardisés et des réponses à des questions médicales.
Contexte
OpenAI a introduit le premier modèle GPT (GPT-1) en 2018, basé sur l'architecture transformeur, et entraîné sur un vaste corpus de livres. L'année suivante, GPT-2 a été publié, un modèle plus grand capable de générer un texte cohérent. En 2020, GPT-3 a émergé avec plus de 100 fois plus de paramètres que GPT-2, faisant progresser davantage le domaine. GPT-3 a été affiné en GPT-3.5, qui a alimenté le produit chatbot ChatGPT, lancé en novembre 2022. Le succès de ChatGPT a mis en évidence le potentiel des grands modèles de langage, préparant le terrain pour le développement de GPT-4.
Capacités
La version par défaut de GPT-4 présentait une fenêtre de contexte de 8K, avec une version spéciale de l'API prenant en charge jusqu'à 32K jetons. En tant que modèle multimodal, il pouvait traiter des images et du texte, permettant aux utilisateurs de télécharger des photos et de recevoir des suggestions ou des réponses basées sur le contenu visuel. Cette capacité était une rupture par rapport aux prédécesseurs textuels et ouvrait de nouvelles voies d'interaction.
GPT-4 pouvait également être invité à interagir avec des interfaces externes. Par exemple, le modèle pouvait être instruit d'encadrer une requête dans des balises <search></search> pour effectuer une recherche web, avec les résultats insérés dans le prompt pour informer les réponses. Cela permettait à GPT-4 d'effectuer des tâches au-delà de la prédiction de texte, comme utiliser des API, générer des images et accéder à des pages web.
Un article de 2023 dans Nature a noté que les programmeurs trouvaient GPT-4 utile pour l'assistance au codage, malgré sa propension à l'erreur. Il pouvait aider à trouver des erreurs dans le code existant et suggérer des optimisations de performance. Un biophysicien a rapporté que le portage d'un programme de MATLAB vers Python, qui prenait auparavant des jours, a été réduit à « environ une heure » avec l'aide de GPT-4. Lors d'un test de 89 scénarios de sécurité, GPT-4 a produit du code vulnérable aux attaques par injection SQL dans 5 % des cas, une amélioration marquée par rapport à GitHub Copilot de 2021, qui avait un taux de vulnérabilité de 40 %.
En novembre 2023, OpenAI a annoncé GPT-4 Turbo et GPT-4 Turbo avec Vision, avec une fenêtre de contexte de 128K et des prix nettement inférieurs.
Aptitude aux tests standardisés
Des études ont débattu de la fiabilité de l'utilisation des chatbots pour les tests standardisés. Dans les tests de pensée créative de Torrance, GPT-4 a obtenu un score dans le top 1 % pour l'originalité et la fluidité, avec des scores de flexibilité allant du 93e au 99e percentile.
Applications médicales
Des chercheurs de Microsoft ont testé GPT-4 sur des problèmes médicaux et ont constaté que, sans création de prompts spécialisés, il dépassait le score de réussite à l'USMLE de plus de 20 points, surpassant des modèles généralistes antérieurs comme GPT-3.5 et des modèles affinés sur des connaissances médicales tels que Med-PaLM. Malgré cette performance solide, le rapport a averti de « risques significatifs » dans l'utilisation des grands modèles de langage pour des applications médicales, y compris des recommandations potentiellement inexactes et des erreurs factuelles hallucinées. En avril 2023, Microsoft et Epic Systems ont annoncé leur intention de fournir aux prestataires de soins de santé des systèmes alimentés par GPT-4 pour répondre aux questions des patients et analyser les dossiers médicaux.
GPT-4o
Le 13 mai 2024, OpenAI a introduit GPT-4o (« o » pour « omni »), un successeur de GPT-4 qui traite et génère des sorties à travers les modalités texte, audio et image en temps réel. GPT-4o a montré des temps de réponse rapides comparables à la conversation humaine, une meilleure performance sur les langues non anglaises et une compréhension améliorée de la vision et de l'audio. Il était également disponible pour les utilisateurs du niveau gratuit, contrairement à GPT-4.
Limites
Comme ses prédécesseurs, GPT-4 est connu pour halluciner, produisant des sorties qui peuvent inclure des informations absentes de ses données d'entraînement ou qui contredisent le prompt de l'utilisateur. Cette limitation pose des défis pour les applications nécessitant une grande fiabilité.
GPT-4 manque également de transparence dans ses processus de prise de décision. Bien qu'il puisse fournir des explications pour ses décisions, ces explications sont formées après coup, et il est impossible de vérifier si elles reflètent le processus réel. Dans de nombreux cas, lorsqu'on lui demande d'expliquer sa logique, GPT-4 donne des explications qui contredisent directement ses déclarations précédentes.
En 2023, des chercheurs ont testé GPT-4 contre ConceptARC, un benchmark conçu pour mesurer le raisonnement abstrait, et ont constaté qu'il obtenait un score inférieur à 33 % dans toutes les catégories, tandis que des modèles spécialisés obtenaient 60 % dans la plupart, et que les humains obtenaient au moins 91 % dans toutes. Sam Bowman, non impliqué dans la recherche, a suggéré que les résultats pourraient ne pas indiquer un manque de raisonnement abstrait, car le test est visuel alors que GPT-4 est un modèle de langage.
Biais
GPT-4 a été entraîné en deux étapes. D'abord, il a été entraîné sur de grands ensembles de données textuelles d'Internet pour prédire le jeton suivant. Ensuite, des réviseurs humains ont utilisé l'apprentissage par renforcement à partir de retours humains pour affiner le système, l'entraînant à refuser les prompts qui vont à l'encontre de la définition d'OpenAI des comportements nuisibles, comme les activités illégales, les conseils d'automutilation ou les demandes de contenu graphique. Des chercheurs de Microsoft ont suggéré que GPT-4 pourrait présenter des biais cognitifs tels que le biais de confirmation, l'ancrage et la négligence du taux de base.
Entraînement
OpenAI n'a pas publié les détails techniques de l'entraînement de GPT-4. Le rapport technique s'est abstenu de spécifier la taille du modèle, l'architecture ou le matériel utilisé. Il a décrit un entraînement utilisant l'apprentissage supervisé sur un grand ensemble de données, suivi d'un apprentissage par renforcement avec des retours humains et d'IA, mais a omis les détails sur la construction de l'ensemble de données, la puissance de calcul et les hyperparamètres. Le rapport a cité « le paysage concurrentiel et les implications de sécurité des modèles à grande échelle » comme raisons de cette décision.
Sam Altman a déclaré que le coût de l'entraînement de GPT-4 était supérieur à 100 millions de dollars. Cet investissement substantiel reflétait l'échelle du modèle et les ressources nécessaires à son développement.
Réception et impact
La sortie de GPT-4 a généré un intérêt significatif dans la communauté de l'IA et au-delà, soulignant les progrès rapides dans la IA générative. Ses capacités multimodales ont établi une nouvelle norme, influençant des modèles ultérieurs comme GPT-4o et Gemini de Google. L'intégration de GPT-4 dans Microsoft Bing Chat en février 2023 a démontré des applications pratiques dans la recherche et l'IA conversationnelle.
La performance de GPT-4 sur des tests standardisés et des examens professionnels, comme l'USMLE, a suscité des discussions sur le potentiel de l'IA dans l'éducation et la santé. Cependant, des préoccupations concernant les biais, les hallucinations et la transparence ont persisté, conduisant à des appels pour un développement plus responsable de l'IA.
Héritage
GPT-4 a été publié dans ChatGPT en mars 2023 et est resté disponible jusqu'en 2025, date à laquelle il a été retiré. Il a également été retiré de l'API OpenAI le 23 octobre 2026. Son successeur, GPT-5, a poursuivi l'évolution de la série GPT. L'introduction du traitement d'entrées multimodales par GPT-4 a marqué un moment charnière dans l'IA, démontrant que les grands modèles de langage pouvaient s'étendre au-delà du texte pour comprendre et raisonner sur des informations visuelles, ouvrant la voie à des systèmes d'IA plus polyvalents et intégrés.