Jeffrey Wu est un informaticien spécialisé dans l'apprentissage automatique et l'alignement des modèles de langage de grande taille. Il est surtout connu comme co-auteur de l'article InstructGPT, qui a introduit une méthode pratique pour affiner les modèles de langage afin qu'ils suivent les instructions des utilisateurs à l'aide de retours humains. Son travail a été influent dans le développement de systèmes d'IA plus sûrs et plus contrôlables, notamment grâce à la technique du apprentissage par renforcement à partir de retours humains (RLHF).
Les recherches de Wu se situent à l'intersection de l'apprentissage profond, de l'optimisation des réseaux de neurones et de l'IA générative. Bien que les détails de sa vie personnelle ne soient pas largement divulgués, ses contributions professionnelles sont documentées à travers des publications académiques et son passage chez OpenAI, où il a travaillé aux côtés d'autres chercheurs notables dans le domaine.
InstructGPT et RLHF
Wu a été un contributeur clé de l'article de 2022 « Training language models to follow instructions with human feedback », qui a introduit InstructGPT. L'article a démontré que l'affinage d'un modèle Transformer (architecture) pré-entraîné à l'aide de comparaisons humaines pouvait considérablement améliorer sa capacité à suivre des instructions, réduire les sorties nuisibles et accroître l'exactitude factuelle. La méthode centrale, le RLHF, impliquait d'entraîner un modèle de récompense sur les préférences humaines, puis d'optimiser le modèle de langage par rapport à cette récompense en utilisant l'optimisation de politique proximale (PPO). Ce travail a jeté les bases des techniques d'alignement ultérieures utilisées dans les produits d'IA commerciaux.
L'approche d'InstructGPT était remarquable par son efficacité ; le modèle affiné était plus petit que le modèle de base (1,3 milliard de paramètres contre 175 milliards) tout en le surpassant sur les tâches de suivi d'instructions. Cela a démontré que l'alignement pouvait être atteint sans augmenter la taille du modèle, une découverte qui a influencé les recherches ultérieures sur l'alignement et la sécurité des modèles.
Contributions techniques
Au-delà du RLHF, Wu a contribué à divers aspects de l'entraînement et de l'évaluation des modèles. Son travail inclut des recherches sur les programmes de taux d'apprentissage, le écrêtage de gradient et d'autres techniques d'optimisation qui améliorent la stabilité de l'entraînement des grands modèles. Il a également participé au développement de références et de protocoles d'évaluation pour évaluer le comportement des modèles, en particulier en termes d'utilité et d'innocuité.
L'expertise de Wu s'étend aux mécanismes d'attention multi-têtes et aux encodages positionnels, qui sont des composants critiques des architectures de transformeurs. Ses recherches collaboratives se concentrent souvent sur des défis pratiques d'ingénierie, tels que l'extension de l'entraînement à travers des systèmes distribués et l'atténuation de la dégradation des modèles lors de l'affinage.
Carrière et collaborations
Wu a travaillé chez OpenAI, où il a collaboré avec des chercheurs comme Jakob Uszkoreit, Lukasz Kaiser et Niki Parmar sur divers projets. Ses co-auteurs sur l'article InstructGPT incluent Long Ouyang, jeff-wu et ryan-lowe, entre autres. Il a également interagi avec la communauté IA au sens large à travers des publications et des présentations lors de conférences.
Son travail a été largement cité dans des contextes académiques et industriels, influençant les recherches ultérieures sur l'alignement dans des organisations telles que Anthropic et Google DeepMind. L'approche de Wu en matière de RLHF a été adoptée et adaptée par de nombreuses équipes travaillant sur la sécurité de l'IA générative.
Impact et héritage
L'article InstructGPT est considéré comme un travail fondateur dans le domaine de l'alignement de l'IA. Il a démontré que les retours humains pouvaient être utilisés efficacement pour orienter les grands modèles, conduisant au développement d'assistants IA plus conviviaux. Les techniques introduites par Wu et ses collègues sont devenues une pratique standard dans l'industrie, informant l'entraînement de modèles comme ChatGPT et d'autres systèmes commerciaux.
Les contributions de Wu ont également suscité un intérêt académique pour le RLHF en tant que domaine de recherche, menant à de nombreuses études de suivi sur le piratage de récompenses, la modélisation des préférences et la supervision à grande échelle. Son travail reste un point de référence pour les chercheurs cherchant à améliorer la fiabilité et la sécurité des systèmes d'IA.
Statut actuel
Au milieu des années 2020, le rôle actuel spécifique de Wu n'est pas largement documenté, mais ses contributions passées continuent d'être reconnues dans la communauté IA. Il est souvent cité dans les discussions sur l'évolution de la recherche sur l'alignement et la mise en œuvre pratique des méthodes d'entraînement avec intervention humaine. Son travail illustre l'importance de la collaboration interdisciplinaire entre l'apprentissage automatique, l'éthique et l'ingénierie des systèmes.