GPT-4 est un modèle multimodal à grande échelle, un modèle de langage de grande taille développé par OpenAI et publié le 14 mars 2023, en tant que successeur de GPT-3 et modèle sous-jacent alimentant une version améliorée de ChatGPT. Contrairement à ses prédécesseurs, GPT-4 accepte à la fois les entrées textuelles et visuelles, bien que sa sortie soit restée exclusivement textuelle lors de sa sortie initiale, et OpenAI a rapporté une amélioration substantielle des performances dans un large éventail de domaines professionnels et universitaires en références, y compris la réussite à un examen simulé du barreau, dans un centile qu'OpenAI a comparé favorablement aux candidats humains.
Secret et divulgation technique
La sortie de GPT-4 a marqué un changement notable dans les pratiques de publication d'OpenAI. Contrairement aux précédents articles sur les modèles GPT, qui détaillaient l'architecture et les données d'entraînement, le rapport technique de GPT-4 d'OpenAI n'a divulgué aucune information sur la taille du modèle, les détails de l'architecture, le calcul d'entraînement ou la composition de l'ensemble de données, invoquant des considérations de concurrence et de sécurité. Ce départ des normes antérieures d'ouverture d'OpenAI a suscité des critiques de certaines parties de la communauté scientifique, qui estimaient qu'il sapait la reproductibilité scientifique qui avait caractérisé ce domaine, et est devenu un exemple fréquemment cité dans des débats plus larges sur la transparence parmi les développeurs de modèles de frontière.
Ce qu'il appelle des manifestations d'intelligence artificielle générale
Peu après la sortie, un groupe de chercheurs de Microsoft a publié « Sparks of Artificial General Intelligence », un article examinant les capacités de GPT-4 dans le codage, les mathématiques, la médecine, le droit et d'autres domaines, arguant que le modèle présentait des capacités générales de résolution de problèmes de première phase, dépassant une correspondance de reconnaissance de motifs étroite, et pouvant raisonnablement être examiné en lien avec l'intelligence artificielle générale. Cet article a été influenceinterne dans la façon de faire évoluer le discours public et scientifique, bien qu'il ait également suscité des critiques méthodologiques pour se reposer sur des évaluations anecdotiques et non systématiques plutôt que sur une évaluation rigoureuse.
Entraînement et sécurité
GPT-4 a été entraînéen utilisant une phase préalable d'apprentissage à grande échelle, suivie d'une phase de RLFH pour aligner ses sorties sur les préférences humaines, ainsi qu'une évaluation extensive de type red-teamée réalisée avec les chercheurs externes avant sa sortie, une application de pratiques associées à red-teaming et au mises en garde dans l'industrie. OpenAI a ensuite publié GPT-4 Turbo et d'autres mises à jour itératives qui ont élargi la longueur de contexte et réduit les coûts, et a proposé GPT-4 comme modèle par défaut derrière les abonements premium ChatGPT en essence, contribuant à la croissance des revenus d'abonnement.
Impact
La sortie de GPT-4 a intensifié la pression concurrentielle dans toute l'industrie de l'IA, provoquant des sorties accélérées de Google DeepMind, Anthropic et d'autres laboratoires, et est souvent citée comme le point à partir duquel le développement des modèles à la frontière a été transformé en concurrence commerciale à grande échelle et capitalistique, une période parfois appelée partie intégrante du boom de l'IA. OpenAI a ensuite publié OpenAI o1 en 2024 comme une ligne de successeurs distincte, centrée sur le raisonnement, construite sur des modèles de base de la classe GPT-4.