La Conférence internationale sur les représentations de l'apprentissage (ICLR) est une conférence académique de premier plan dans le domaine de l'apprentissage automatique, tenue pour la première fois en 2013. Elle est dédiée à la recherche sur les représentations de l'apprentissage, en particulier l'apprentissage profond et les réseaux de neurones. Avec NeurIPS et ICML, ICLR est considérée comme l'une des trois conférences principales de plus haut impact et réputation dans la recherche en apprentissage automatique et en intelligence artificielle.
La conférence a été fondée par Yann LeCun et Yoshua Bengio en 2012, avec l'événement inaugural ayant lieu en 2013. Dès sa création, ICLR a adopté un processus de révision par les pairs ouvert pour les soumissions de articles, un modèle proposé par LeCun. Cette approche rend tous les articles soumis et les critiques publiquement disponibles en ligne, contrastant avec la révision en double aveugle traditionnelle utilisée par de nombreuses autres conférences.
Format de la conférence
ICLR se tient généralement fin avril ou début mai chaque année. Le programme comprend des conférences invitées, des présentations orales et des sessions de posters pour les articles évalués. Le processus de révision ouvert est une caractéristique déterminante, permettant à la communauté de commenter les soumissions avant que les décisions d'acceptation ne soient prises. Cette transparence vise à favoriser une diffusion plus rapide des idées et un discours scientifique plus collaboratif.
La conférence couvre un large éventail de sujets, y compris, sans s'y limiter : l'apprentissage non supervisé et semi-supervisé, les modèles génératifs, les méthodes d'optimisation telles que l'optimiseur Adam et d'autres variantes de SGD, les techniques de régularisation comme le dropout et la normalisation par lots, ainsi que des architectures telles que les transformeurs et les réseaux résiduels.
Fondation et motivation
La fondation d'ICLR a été motivée par la croissance rapide de l'intérêt pour l'apprentissage profond au début des années 2010. LeCun et Bengio, tous deux pionniers dans le domaine, ont cherché à créer un lieu qui se concentrerait spécifiquement sur les représentations de l'apprentissage, un sujet qu'ils estimaient mal desservi par les conférences existantes comme NeurIPS et ICML. Le modèle de révision ouvert était une innovation clé, conçue pour accélérer le cycle de révision et rendre le processus plus démocratique.
La première ICLR en 2013 a attiré une communauté relativement petite mais très engagée. Au fil des ans, la conférence a considérablement grandi, devenant l'un des lieux les plus sélectifs et influents du domaine. Son taux d'acceptation a constamment été faible, reflétant la haute qualité des soumissions.
Impact et réputation
ICLR est maintenant largement reconnue comme une conférence de premier plan, avec des articles publiés ayant souvent un impact significatif tant sur le monde académique que sur l'industrie. De nombreux travaux fondateurs en apprentissage profond, y compris des développements dans les grands modèles de langage et l'attention multi-têtes, ont été présentés à ICLR. Le processus de révision ouvert de la conférence a également influencé d'autres lieux, certains adoptant des modèles similaires.
La conférence est soutenue par de grandes entreprises technologiques et institutions de recherche, notamment Google DeepMind, OpenAI, Anthropic et l'Université de Toronto, entre autres. Cet engagement industriel souligne le lien étroit entre la recherche d'ICLR et les applications pratiques dans des domaines comme le traitement du langage naturel, la vision par ordinateur et l'IA générative.
Éditions et croissance
Depuis 2013, ICLR se tient annuellement. Le lieu a varié, avec des éditions aux États-Unis, au Canada, en Europe et en Asie. La conférence a constamment grandi en termes de soumissions et de participation, reflétant l'expansion du champ de la recherche en apprentissage automatique. Au début des années 2020, ICLR reçoit des milliers de soumissions chaque année, ce qui en fait l'une des plus grandes et des plus compétitives conférences du domaine.
La conférence comprend également des ateliers et des tutoriels, offrant des opportunités supplémentaires aux chercheurs pour présenter des travaux en cours et discuter de sujets émergents. Le processus de révision ouvert s'étend à ces événements annexes, maintenant l'engagement de la conférence envers la transparence.