GPT-4 est un grand modèle de langage développé par OpenAI, publié le 14 mars 2023, comme quatrième génération de sa série de modèles de fondation GPT. Il a succédé à GPT-3.5 et a été suivi par GPT-5. Contrairement à ses prédécesseurs, GPT-4 est un modèle multimodal, capable de traiter à la fois des entrées textuelles et visuelles. OpenAI n'a pas divulgué de détails techniques tels que la taille du modèle, l'architecture ou le matériel d'entraînement, invoquant des préoccupations liées à la concurrence et à la sécurité. GPT-4 était initialement disponible pour les abonnés ChatGPT Plus et, plus tard, via l'API OpenAI, avec une version prenant en charge jusqu'à 32 000 jetons de contexte. En mai 2024, OpenAI a introduit GPT-4o, un successeur doté de capacités audio et visuelles en temps réel, également disponible pour les utilisateurs du niveau gratuit.
Contexte
OpenAI a introduit le premier modèle GPT en 2018, basé sur l'architecture de transformateur et entraîné sur un vaste corpus de livres. L'année suivante, GPT-2 a démontré sa capacité à générer un texte cohérent à grande échelle. En 2020, GPT-3 a été publié avec plus de 100 fois les paramètres de GPT-2, et des raffinements supplémentaires ont conduit à GPT-3.5, qui alimentait le chatbot ChatGPT. GPT-4 s'est appuyé sur cette lignée, intégrant une entrée multimodale et des techniques d'entraînement plus avancées.
Capacités
La version par défaut de GPT-4 avait une fenêtre de contexte de 8K, tandis qu'une version API spéciale prenait en charge jusqu'à 32K jetons. En tant que modèle multimodal, il pouvait accepter des images comme entrée, permettant aux utilisateurs de télécharger des photos et de recevoir des suggestions ou des réponses basées sur le contenu visuel. GPT-4 pouvait également être invité à interagir avec des interfaces externes, par exemple en encadrant une requête dans des balises <search></search> pour effectuer une recherche sur le Web, les résultats étant insérés dans le prompt du modèle pour former une réponse. Cela permettait au modèle d'utiliser des API, de générer des images et de résumer des pages Web.
Un article de 2023 dans Nature a rapporté que les programmeurs trouvaient GPT-4 utile pour des tâches de codage, telles que l'identification d'erreurs et la suggestion d'optimisations, malgré sa propension à l'erreur. Un biophysicien cité dans l'article a noté que le portage d'un programme de MATLAB vers Python prenait « environ une heure » au lieu de plusieurs jours. Lors d'un test sur 89 scénarios de sécurité, GPT-4 a produit du code vulnérable aux attaques par injection SQL dans 5 % des cas, contre 40 % pour GitHub Copilot de 2021.
En novembre 2023, OpenAI a annoncé GPT-4 Turbo et GPT-4 Turbo avec Vision, dotés d'une fenêtre de contexte de 128K et d'un prix nettement inférieur.
Aptitude aux tests standardisés
Des études ont remis en question la fiabilité de faire passer des chatbots à travers des tests standardisés. Dans les tests de pensée créative Torrance, GPT-4 a obtenu un score dans le top 1 % pour l'originalité et la fluidité, avec des scores de flexibilité allant du 93e au 99e percentile.
Applications médicales
Des chercheurs de Microsoft ont testé GPT-4 sur des problèmes médicaux et ont constaté que, sans création de prompts spécialisés, il dépassait le score de réussite à l'USMLE de plus de 20 points, surpassant des modèles généraux plus anciens comme GPT-3.5 et des modèles spécifiquement affinés sur des connaissances médicales, tels que Med-PaLM. Cependant, le rapport avertissait de « risques significatifs » dans l'utilisation de grands modèles de langage pour des applications médicales, y compris des recommandations inexactes et des erreurs factuelles hallucinées. En avril 2023, Microsoft et Epic Systems ont annoncé des plans pour fournir aux prestataires de soins de santé des systèmes alimentés par GPT-4 pour répondre aux questions des patients et analyser les dossiers médicaux.
GPT-4o
Le 13 mai 2024, OpenAI a introduit GPT-4o (« o » pour « omni »), un successeur de GPT-4 qui traite et génère des sorties à travers les modalités texte, audio et image en temps réel. GPT-4o présentait des temps de réponse rapides comparables à une conversation humaine, une meilleure performance sur les langues non anglaises et une compréhension visuelle et audio améliorée. Contrairement à GPT-4, il était disponible pour les utilisateurs du niveau gratuit.
Limites
Comme ses prédécesseurs, GPT-4 est connu pour halluciner, produisant des sorties qui peuvent inclure des informations absentes de ses données d'entraînement ou qui contredisent le prompt de l'utilisateur. Il manque également de transparence dans la prise de décision ; lorsqu'on lui demande d'expliquer sa logique, GPT-4 fournit des explications post-hoc qui peuvent ne pas refléter le processus réel, et dans de nombreux cas, ces explications contredisent directement des déclarations précédentes.
En 2023, des chercheurs ont testé GPT-4 sur le benchmark ConceptARC, conçu pour mesurer le raisonnement abstrait, et ont constaté qu'il obtenait un score inférieur à 33 % dans toutes les catégories, tandis que des modèles spécialisés obtenaient un score de 60 % dans la plupart, et les humains au moins 91 %. Sam Bowman, non impliqué dans la recherche, a suggéré que les résultats pourraient ne pas indiquer un manque de raisonnement abstrait car le test est visuel, tandis que GPT-4 est un modèle de langage.
Biais
GPT-4 a été entraîné en deux étapes. D'abord, il a été entraîné sur de grands ensembles de données textuelles Internet pour prédire le jeton suivant. Ensuite, une rétroaction humaine a été utilisée pour affiner le système via l'apprentissage par renforcement à partir de la rétroaction humaine, entraînant le modèle à refuser les prompts qui violent la définition d'OpenAI des comportements nuisibles, comme les activités illégales, l'automutilation ou le contenu graphique. Des chercheurs de Microsoft ont suggéré que GPT-4 pourrait présenter des biais cognitifs tels que le biais de confirmation, l'ancrage et la négligence des taux de base.
Entraînement
OpenAI n'a pas publié de détails techniques sur l'entraînement de GPT-4. Le rapport technique s'est abstenu de préciser la taille du modèle, l'architecture ou le matériel utilisé. Il décrivait une combinaison d'apprentissage supervisé sur un grand ensemble de données, suivie d'un apprentissage par renforcement avec des retours humains et d'IA, mais sans fournir de détails sur la construction des ensembles de données, la puissance de calcul ou les hyperparamètres tels que le taux d'apprentissage, le nombre d'époques ou les optimiseurs. Le rapport citait « le paysage concurrentiel et les implications de sécurité des modèles à grande échelle » comme raisons de cette décision. Sam Altman a déclaré que le coût d'entraînement de GPT-4 dépassait 100 millions de dollars, comme rapporté par Semafor.
Réception et impact
La publication de GPT-4 a suscité une attention considérable dans la communauté IA et au-delà. Ses capacités multimodales et ses performances améliorées sur les benchmarks, y compris les tests standardisés et les examens médicaux, ont été largement discutées. Cependant, des préoccupations concernant l'hallucination, le biais et le manque de transparence ont persisté. L'intégration d'une version précoce dans Bing Chat en février 2023, avant la publication officielle, a également suscité des critiques. GPT-4 est resté disponible dans l'API OpenAI même après son retrait de ChatGPT en 2025, et son successeur GPT-4o a continué à faire évoluer les capacités du modèle.