Jorge Nocedal (né en 1952) est un mathématicien appliqué et informaticien qui occupe le poste de professeur Walter P. Murphy à l'université Northwestern. Il est reconnu pour ses contributions à l'optimisation non linéaire, en particulier l'algorithme L-BFGS et le manuel Numerical Optimization, qui sont devenus fondamentaux dans des contextes à la fois déterministes et stochastiques. Ses travaux ont directement influencé les applications modernes de apprentissage automatique et de apprentissage profond, notamment la reconnaissance d'images et de la parole, les systèmes de recommandation et les moteurs de recherche.
Les recherches de Nocedal font le pont entre l'optimisation théorique et la conception algorithmique pratique, abordant des problèmes d'optimisation contraints qui sous-tendent l'entraînement des modèles de réseaux de neurones. Ses contributions sont largement citées dans le développement de logiciels d'optimisation et sont essentielles à l'efficacité des systèmes d'apprentissage à grande échelle utilisés par les plateformes modernes de grands modèles de langage.
Biographie
Nocedal est né et a grandi au Mexique. Il a obtenu un B.Sc. en physique de l'Université nationale du Mexique en 1974, suivi d'un doctorat en sciences mathématiques de l'université Rice en 1978, où il a été supervisé par Richard A. Tapia. De 1978 à 1981, Nocedal a été professeur assistant à l'Université nationale du Mexique. Il a ensuite passé deux ans (1981-1983) comme assistant de recherche à l'Institut Courant des sciences mathématiques de l'Université de New York.
En 1983, Nocedal a rejoint le département de génie électrique et d'informatique de l'université Northwestern, où il est resté jusqu'en 2012. Il est ensuite passé au département de génie industriel et des sciences de gestion, où il a occupé le poste de professeur David et Karen Sachs et de président de 2013 à 2017. Il a détenu la chaire professorale Walter P. Murphy, reflétant son influence continue dans les sciences computationnelles.
Contributions de recherche
Nocedal est surtout connu pour ses travaux sur le BFGS à mémoire limitée (L-BFGS), une méthode quasi-Newton largement utilisée pour les problèmes d'optimisation à grande échelle. L-BFGS est devenu un outil standard dans la recherche en intelligence artificielle, en particulier pour l'entraînement de modèles où les calculs complets de la hessienne sont irréalisables. Son manuel Numerical Optimization, coécrit avec Stephen J. Wright, est une référence standard dans le domaine.
Ses recherches couvrent à la fois l'optimisation déterministe et stochastique, abordant les défis des contextes de augmentation de données et de écrêtage de gradient courants dans les systèmes d'apprentissage modernes. Il a exploré les problèmes d'équilibre avec des applications en robotique, en flux de trafic et en jeux, ainsi que l'optimisation en finance et les problèmes contraints par des équations aux dérivées partielles. Ces contributions ont informé les algorithmes pratiques utilisés dans le développement de variantes de SGD et d'optimiseur Adam, influençant la manière dont l'entraînement des réseaux de neurones est mené.
En 2001, Nocedal a cofondé Ziena Optimization Inc. et a codéveloppé le logiciel KNITRO, un outil de premier plan pour l'optimisation non linéaire. Il a été scientifique en chef chez Ziena de 2002 à 2012, avant que l'entreprise ne soit acquise par Artelys en 2015. KNITRO est largement utilisé dans l'industrie et le monde universitaire pour résoudre des problèmes d'optimisation complexes.
Prix et distinctions
Nocedal a reçu de nombreux prix tout au long de sa carrière. En 1998, il a été conférencier invité au Congrès international des mathématiciens à Berlin. Il a été nommé chercheur hautement cité de l'ISI en 2004 et membre de la SIAM en 2010. Il a reçu le prix Charles Broyden en 2009 et le prix George B. Dantzig en 2012. En 2017, Nocedal a reçu le prix John Von Neumann de la théorie de l'INFORMS, reconnaissant ses contributions fondamentales à la théorie de l'optimisation.
En 2020, il a été élu membre de l'Académie nationale d'ingénierie pour ses contributions à la théorie, à la conception et à la mise en œuvre d'algorithmes d'optimisation et de logiciels d'apprentissage automatique. Cet honneur souligne l'impact pratique de ses travaux sur des domaines allant de la recherche opérationnelle aux technologies de IA générative.
Héritage et impact
Les algorithmes de Nocedal sont intégrés dans des bibliothèques d'optimisation largement utilisées et des logiciels commerciaux. Ses travaux sur L-BFGS, une méthode quasi-Newton à mémoire limitée, sont devenus un outil standard pour les problèmes à grande échelle en calcul scientifique et en statistiques. Le logiciel KNITRO, codéveloppé avec Ziena Optimization Inc., est utilisé dans diverses industries pour résoudre des problèmes de programmation non linéaire, y compris des applications en robotique, en finance et en optimisation contrainte par équations aux dérivées partielles.
À partir des années 2020, ses méthodes sont également pertinentes pour l'entraînement des modèles de réseaux de neurones, où l'information de second ordre peut améliorer la convergence par rapport aux approches stochastiques de gradient de base. Bien que de nombreux cadres modernes de apprentissage profond reposent sur des méthodes adaptatives comme Adam, L-BFGS reste important pour certaines classes de problèmes, comme ceux avec des objectifs lisses et de petites tailles de lots.
Distinctions sélectionnées
Les distinctions de Nocedal incluent le fait d'être conférencier invité au Congrès international des mathématiciens de 1998 à Berlin et d'être nommé chercheur hautement cité de l'ISI en 2004. Il a reçu le prix Charles Broyden en 2009 et le prix George B. Dantzig en 2012. Il a été fait membre de la SIAM en 2010, a reçu le prix John Von Neumann de la théorie de l'INFORMS en 2017 et a été élu à l'Académie nationale d'ingénierie en 2020 pour ses contributions à la théorie, à la conception et à la mise en œuvre d'algorithmes d'optimisation et de logiciels d'apprentissage automatique.
Logiciels et impact industriel
En 2001, Nocedal a cofondé Ziena Optimization Inc., où il a été scientifique en chef de 2002 à 2012. L'entreprise a développé KNITRO, un logiciel d'optimisation non linéaire largement utilisé en ingénierie et en recherche opérationnelle. Ziena a été acquise par Artelys en 2015, et KNITRO continue d'être maintenu sous cette propriété. Ces efforts ont relié la recherche universitaire aux outils pratiques utilisés sur Amazon Web Services et d'autres plateformes cloud pour les tâches d'optimisation.
Publications sélectionnées
Le dossier de publications de Nocedal comprend plus d'une centaine d'articles et le manuel influent Numerical Optimization (1999, deuxième édition 2006 avec Stephen J. Wright). Ses articles sur L-BFGS et les méthodes quasi-Newton ont été cités des dizaines de milliers de fois, façonnant le domaine de l'optimisation. Il a également publié sur les implémentations d'algorithmes à grande échelle, l'optimisation stochastique et la conception de logiciels pour solveurs.
Il a encadré de nombreux étudiants et chercheurs qui ont ensuite contribué aux laboratoires de recherche industrielle, y compris des organisations comme Google Cloud, Amazon Web Services et OpenAI, ainsi que l'écosystème plus large de l'intelligence artificielle.
Héritage et impact
Les algorithmes développés par Nocedal sont intégrés dans de nombreuses bibliothèques d'optimisation utilisées dans les cadres de apprentissage automatique. La méthode L-BFGS, en particulier, reste un choix fiable pour les problèmes à mémoire limitée, ce qui la rend pertinente dans des contextes tels que élagage de modèles et apprentissage curriculaire où l'efficacité des ressources est critique. Son manuel reste une référence standard pour les étudiants diplômés et les praticiens en recherche opérationnelle et en informatique.
L'élection de Nocedal à l'Académie nationale d'ingénierie reflète ses doubles contributions à la théorie et à l'implémentation logicielle. Ses travaux ont permis des avancées dans des applications allant de Tesla Autopilot à la recherche de Google DeepMind, où une optimisation robuste est essentielle pour le apprentissage par renforcement et d'autres paradigmes avancés. Ses recherches en cours continuent d'aborder les défis d'optimisation stochastique inhérents à l'entraînement des grands modèles de langage.