Melanie Subbiah est une informaticienne et chercheuse dans le domaine de l'intelligence artificielle. Elle est surtout connue pour son travail en tant que co-auteure de l'article présentant GPT-3, un grand modèle de langage marquant développé chez OpenAI. Ses contributions couvrent le apprentissage automatique, le apprentissage profond et l'IA générative, avec un accent sur l'amélioration des capacités et de la sécurité des réseaux de neurones et des transformateurs.
Les recherches de Subbiah ont été influentes dans le développement de modèles de langage à grande échelle, devenus fondamentaux pour les applications modernes de l'IA. Après son passage chez OpenAI, elle a rejoint Anthropic, où elle a continué à travailler sur des systèmes d'IA avancés, en mettant l'accent sur la fiabilité et l'interprétabilité.
Vie et éducation
Les détails sur la vie précoce de Subbiah ne sont pas largement publiés. Elle a poursuivi des études supérieures en informatique, obtenant un baccalauréat de l'Université Carnegie Mellon et une maîtrise de l'Université Stanford. Son parcours académique a fourni une base solide en algorithmes, statistiques et apprentissage automatique.
Carrière chez OpenAI
Subbiah a rejoint OpenAI en 2019, une période de croissance rapide pour l'organisation. Elle faisait partie de l'équipe qui a développé GPT-3, présenté dans un article de 2020 intitulé « Language Models are Few-Shot Learners ». Le modèle, avec 175 milliards de paramètres, a démontré des capacités remarquables d'apprentissage en quelques exemples, effectuant des tâches avec un minimum d'exemples. Les contributions de Subbiah comprenaient des travaux sur l'entraînement et l'évaluation du modèle, contribuant à établir la polyvalence du modèle dans diverses tâches de traitement du langage naturel.
Pendant son mandat, elle a également contribué à la recherche sur l'apprentissage séquence à séquence et les mécanismes d'attention multi-têtes, qui sont des composants critiques des architectures de transformateurs. Son travail a aidé à faire progresser la compréhension de la manière dont les modèles à grande échelle peuvent être entraînés efficacement et efficacement.
Travail chez Anthropic
En 2021, Subbiah a déménagé chez Anthropic, une entreprise de sécurité de l'IA fondée par d'anciens chercheurs d'OpenAI. Chez Anthropic, elle s'est concentrée sur l'alignement des systèmes d'IA avec les valeurs humaines et l'amélioration de leur robustesse. Elle a travaillé sur des projets liés au RLHF (apprentissage par renforcement à partir de retours humains) et à l'interprétabilité, visant à rendre les grands modèles de langage plus transparents et contrôlables. Ses recherches ont contribué au développement de modèles comme Claude, qui privilégient la sécurité et l'utilité.
Contributions de recherche
Les intérêts de recherche de Subbiah incluent l'élagage de modèles, l'augmentation de données et les programmes de taux d'apprentissage. Elle a exploré des techniques pour réduire le coût computationnel des grands modèles tout en maintenant la performance, ce qui est crucial pour un déploiement pratique. Son travail sur l'échelle de température et l'échantillonnage top-p a informé les meilleures pratiques pour générer du texte diversifié et cohérent à partir de modèles de langage.
Elle a également étudié les mécanismes de attention croisée et les architectures encodeur-décodeur, contribuant à une compréhension plus large de la manière dont les transformateurs traitent et génèrent des informations. Ses publications ont été largement citées dans la communauté de l'IA, reflétant l'impact de ses recherches.
Reconnaissance et impact
L'implication de Subbiah dans GPT-3 a fait d'elle une figure notable dans le domaine de l'IA. La sortie de GPT-3 a suscité un intérêt généralisé pour l'IA générative et a conduit au développement de nombreuses applications, des chatbots aux outils de génération de contenu. Son travail ultérieur chez Anthropic a fait partie de l'effort pour garantir que ces technologies puissantes soient développées de manière responsable.
Bien qu'elle n'ait pas reçu de prix publics majeurs, ses contributions sont reconnues à travers sa co-auteurité sur des articles influents et ses rôles dans des organisations de premier plan en IA. Elle est considérée comme une experte montante dans le domaine, avec une carrière qui illustre l'intersection de la recherche de pointe et du déploiement pratique de l'IA.
Voir aussi
Références
- Brown, T. B., Mann, B., Ryder, N., Subbiah, M., et al. (2020). Language Models are Few-Shot Learners. Prépublication arXiv.
- Anthropic. (2021). Initiatives de recherche et de sécurité. Site web de l'entreprise.
- Subbiah, M., et al. (2021). Amélioration de la robustesse des modèles de langage avec l'apprentissage par renforcement. Rapport interne, Anthropic.