Diederik P. « Durk » Kingma (né en 1983) est un informaticien et homme d'affaires néerlandais. Il est cofondateur d'OpenAI et est actuellement employé par Anthropic, où il travaille sur l'IA générative. Plus tôt dans sa carrière, il a travaillé chez Google, se concentrant sur les modèles texte-à-image. Kingma est surtout connu pour avoir co-inventé l'optimiseur Adam et l'autoencodeur variationnel (VAE), deux outils devenus fondamentaux dans l'apprentissage automatique et l'apprentissage profond.
Kingma a obtenu son MSc à l'Université d'Utrecht en 2009 et son doctorat à l'Université d'Amsterdam en 2013, sous la supervision de Max Welling. Ses recherches doctorales ont introduit l'autoencodeur variationnel et l'algorithme d'optimisation Adam, qui ont depuis été largement adoptés dans le domaine de l'intelligence artificielle.
Autoencodeurs variationnels
L'autoencodeur variationnel, introduit dans les travaux de doctorat de Kingma en 2013, est une architecture de réseau neuronal pour l'apprentissage non supervisé. Il combine l'inférence variationnelle avec l'apprentissage profond, permettant la génération de nouveaux échantillons de données en apprenant une représentation latente des données d'entrée. Les VAE ont été appliqués à la génération d'images, à la détection d'anomalies et à l'apprentissage de représentations, et ils restent une pierre angulaire des modèles génératifs modernes.
Optimiseur Adam
L'optimiseur Adam, co-développé par Kingma et Jimmy Ba en 2014, est un algorithme d'optimisation à taux d'apprentissage adaptatif. Il combine les avantages de deux autres extensions de la descente de gradient stochastique : AdaGrad et RMSProp. Adam calcule des taux d'apprentissage adaptatifs individuels pour différents paramètres à partir d'estimations des premier et second moments des gradients. En raison de son efficacité et de sa robustesse, Adam est devenu l'un des optimiseurs les plus utilisés pour l'entraînement des réseaux neuronaux profonds, y compris ceux des grands modèles de langage et des transformeurs.
Carrière et contributions
Après son doctorat, Kingma a travaillé chez Google, où il a contribué à la recherche en IA générative, en particulier sur les modèles texte-à-image. Il a été l'un des cofondateurs d'OpenAI, une organisation de recherche dédiée à l'avancement de l'IA de manière sûre et bénéfique. Chez OpenAI, il a probablement contribué aux premiers développements des modèles génératifs et de l'apprentissage par renforcement. Actuellement, il est employé par Anthropic, une entreprise de sécurité de l'IA, où il continue de travailler sur des systèmes d'IA avancés.
Impact et reconnaissance
Les travaux de Kingma ont eu un impact profond sur le domaine de l'IA. L'optimiseur Adam est utilisé dans d'innombrables applications d'apprentissage automatique, de la recherche académique aux produits industriels. L'autoencodeur variationnel a inspiré de nombreuses variantes et applications, notamment dans l'IA générative et l'apprentissage profond. Ses contributions sont reconnues par la communauté de l'IA, et il est considéré comme l'un des chercheurs influents de l'IA moderne.
Voir aussi
Références
- Faits sources fournis par Wikipédia (CC BY-SA).
Liens externes
- Site officiel (non fourni).