GPT-4 est un grand modèle de langage développé par OpenAI, le quatrième de sa série de modèles de fondation GPT. Publié le 14 mars 2023, il a succédé à GPT-3.5 et a ensuite été suivi par GPT-5. Contrairement à ses prédécesseurs, GPT-4 est multimodal, ce qui signifie qu'il peut traiter à la fois du texte et des images en entrée. OpenAI n'a pas divulgué de détails techniques tels que la taille du modèle, son architecture ou son matériel d'entraînement, invoquant des préoccupations concurrentielles et de sécurité. Une version précoce a été intégrée à Bing Chat de Microsoft en février 2023, et GPT-4 était disponible dans ChatGPT de mars 2023 jusqu'à son retrait en 2025 ; il reste accessible via l'API d'OpenAI.
Contexte
OpenAI a introduit le premier modèle GPT en 2018, basé sur l'architecture Transformer (architecture) et entraîné sur un vaste corpus de livres. GPT-2 a suivi en 2019, générant du texte cohérent à grande échelle. En 2020, GPT-3 a été publié avec plus de 100 fois plus de paramètres que GPT-2, et son affinement a conduit à GPT-3.5, qui a alimenté le chatbot ChatGPT. GPT-4 s'est appuyé sur cette lignée, ajoutant des capacités multimodales et une amélioration des performances sur de nombreux benchmarks.
Capacités
La version par défaut de GPT-4 avait une fenêtre de contexte de 8K, avec une variante spéciale de l'API prenant en charge jusqu'à 32K jetons. En tant que modèle multimodal, il peut accepter des entrées d'images, permettant aux utilisateurs de télécharger des photos pour analyse ou suggestions. GPT-4 peut également interagir avec des interfaces externes, comme effectuer des recherches web en encadrant les requêtes dans des balises spécifiques, ce qui lui permet d'accéder à des pages web et de les résumer, d'utiliser des API et de générer des images. Un article de 2023 dans Nature a noté que les programmeurs trouvaient GPT-4 utile pour l'assistance au codage, comme l'identification d'erreurs et la suggestion d'optimisations, malgré une tendance à commettre des erreurs. Lors de tests de sécurité, GPT-4 a produit du code vulnérable aux injections SQL dans 5 % des scénarios, contre 40 % pour GitHub Copilot en 2021. En novembre 2023, OpenAI a annoncé GPT-4 Turbo avec une fenêtre de contexte de 128K et un prix réduit.
Aptitude aux tests standardisés
Des études ont remis en question la fiabilité de faire passer des chatbots à des tests standardisés. Dans les tests de pensée créative de Torrance, GPT-4 a obtenu le top 1 % pour l'originalité et la fluidité, avec des scores de flexibilité allant du 93e au 99e percentile.
Applications médicales
Des chercheurs de Microsoft ont constaté que GPT-4 dépassait le score de réussite à l'USMLE de plus de 20 points sans incitation spécialisée, surpassant GPT-3.5 et des modèles spécifiques au domaine médical comme Med-PaLM. Cependant, ils ont averti de risques importants, notamment des recommandations inexactes et des hallucinations. En avril 2023, Microsoft et Epic Systems ont annoncé leur intention de fournir aux prestataires de soins de santé des systèmes basés sur GPT-4 pour les demandes des patients et l'analyse de dossiers médicaux.
GPT-4o
Le 13 mai 2024, OpenAI a introduit GPT-4o (« o » pour « omni »), un successeur qui traite et génère du texte, de l'audio et des images en temps réel. Il offre des temps de réponse comparables à la conversation humaine, une meilleure performance dans les langues non anglaises et une compréhension améliorée de la vision et de l'audio. GPT-4o était également disponible pour les utilisateurs de la version gratuite, contrairement à GPT-4.
Limites
GPT-4, comme ses prédécesseurs, peut halluciner, produisant des sorties qui contredisent les données d'entraînement ou les invites des utilisateurs. Il manque également de transparence dans la prise de décision ; les explications sont formées de manière post-hoc et peuvent contredire des déclarations antérieures. En 2023, des tests utilisant le benchmark ConceptARC ont montré que GPT-4 obtenait un score inférieur à 33 % sur des tâches de raisonnement abstrait, tandis que des modèles spécialisés obtenaient environ 60 % et les humains au moins 91 %. Les chercheurs ont noté que cela pourrait ne pas indiquer un manque de raisonnement abstrait, car le test est visuel et GPT-4 est un modèle de langage.
Biais
GPT-4 a été entraîné en deux étapes : d'abord, sur de grands ensembles de données textuelles provenant d'Internet pour prédire les jetons suivants ; ensuite, en utilisant apprentissage par renforcement à partir de retours humains pour s'aligner sur les directives de sécurité. Des chercheurs de Microsoft ont suggéré que GPT-4 pourrait présenter des biais cognitifs tels que le biais de confirmation, l'ancrage et la négligence des taux de base.
Entraînement
OpenAI n'a pas publié de détails techniques sur l'entraînement de GPT-4, y compris la taille du modèle, l'architecture, le matériel ou les hyperparamètres. Le rapport technique décrivait une combinaison d'apprentissage supervisé et d'apprentissage par renforcement avec des retours humains et d'IA, mais omettait les spécificités. Sam Altman a déclaré que le coût de l'entraînement dépassait 100 millions de dollars. Le rapport citait le paysage concurrentiel et les implications en matière de sécurité comme raisons de ne pas divulguer ces informations.