La Conférence internationale sur les représentations (ICLR) est une conférence académique de premier plan dans le domaine de l'apprentissage automatique et de l'intelligence artificielle, créée spécifiquement pour se concentrer sur les aspects de l'apprentissage de représentations des réseaux de neurones profonds. Inaugurée en 2013, l'ICLR est régulièrement classée parmi les trois conférences les plus influentes du domaine, aux côtés de NeurIPS et ICML, attirant des milliers de soumissions chaque année. Sa caractéristique distinctive est un processus d'évaluation par les pairs ouvert, où les soumissions d'articles et les commentaires des évaluateurs sont publiquement visibles, un modèle inspiré par les propositions de Yann LeCun et formalisé par ses cofondateurs Yann LeCun et Yoshua Bengio en 2012.
Origines et fondation
La fondation de l'ICLR est née d'une perception de lacunes dans les conférences existantes, qui traitaient souvent l'apprentissage de représentations comme un sous-thème plutôt que comme un thème de recherche central. En 2012, Yann LeCun, alors à l'Université de New York, et Yoshua Bengio de l'Université de Montréal ont proposé un nouveau lieu dédié à l'apprentissage de représentations, y compris les architectures comme les réseaux de neurones et les modèles d'apprentissage profond. Ils se sont appuyés sur des expériences antérieures d'évaluation ouverte, comme celles utilisées par le Journal of Machine Learning Research, pour concevoir un processus qui augmenterait la transparence et accélérerait le discours scientifique. La première édition s'est tenue en 2013 à Scottsdale, en Arizona, aux États-Unis, du 2 au 4 mai, et a attiré plus de 400 participants.
Le format d'évaluation ouverte, adopté dès le départ, s'écartait de l'évaluation traditionnelle en double aveugle. Au lieu de cela, les soumissions sont publiées sur une plateforme publique où tout membre peut commenter, et des évaluateurs désignés fournissent des évaluations formelles en parallèle de la discussion ouverte. Cette approche a été créditée d'avoir amélioré la qualité des articles et favorisé l'engagement de la communauté, bien qu'elle ait également fait face à des critiques concernant la charge de travail des évaluateurs et les biais potentiels.
Croissance et impact
Dès sa première année avec environ 200 soumissions, l'ICLR a connu une croissance rapide en taille et en prestige. En 2020, la conférence a reçu plus de 2 500 soumissions, et en 2024, ce nombre a dépassé les 7 000, avec un taux d'acceptation inférieur à 30 % pour la piste principale. La conférence se tient généralement fin avril ou début mai, en alternance entre des villes nord-américaines et européennes, avec des composantes virtuelles ajoutées après 2020. Ses actes sont publiés via la plateforme OpenReview, qui continue d'héberger l'historique public des évaluations pour chaque article.
L'impact de l'ICLR est attesté par ses mesures de citations et la prévalence de ses articles publiés dans l'avancement des architectures générative et transformateur. De nombreux travaux fondateurs sur les grands modèles de langage, y compris des études sur les lois de mise à l'échelle et les mécanismes d'attention, ont fait leurs débuts à l'ICLR. La conférence a également introduit des innovations notables comme le « Défi de reproductibilité », qui encourage la vérification indépendante des résultats publiés, et a établi des prix pour les meilleurs articles et les meilleurs articles d'étudiants.
Structure de la conférence
Chaque édition de l'ICLR s'étend sur plusieurs jours et comprend des conférences invitées de chercheurs de premier plan, des présentations orales d'articles sélectionnés et de vastes sessions de posters. Le comité de programme, composé de responsables de domaines seniors et d'évaluateurs issus du monde académique et industriel, fonctionne selon un système à deux pistes : une piste de soumission standard et une piste plus spéculative « Brainstorm » introduite en 2020 pour encourager les idées non conventionnelles. Notamment, l'ICLR a également expérimenté un prix « Test du temps », reconnaissant des articles datant d'une décennie ayant eu une influence durable.
Les figures clés de l'histoire de la conférence incluent ses présidents généraux fondateurs, LeCun et Bengio, ainsi que des présidents de programme ultérieurs tels que Yoshua Bengio (2016) et Koray Kavukcuoglu (2018). La conférence entretient des liens étroits avec les laboratoires industriels, avec des contributions régulières de chercheurs d'OpenAI, Google DeepMind et Anthropic, reflétant la nature appliquée de la recherche moderne en apprentissage profond.
Critiques et évolution
Le modèle d'évaluation ouverte, bien que révolutionnaire, a suscité des interrogations. Certains chercheurs soutiennent que les commentaires publics peuvent décourager les travaux risqués ou créer des dynamiques conflictuelles. En réponse, l'ICLR a périodiquement ajusté ses politiques, par exemple en permettant aux auteurs de se retirer des commentaires publics pendant une période initiale d'évaluation et en introduisant un cycle d'évaluation en deux phases en 2022 pour séparer la discussion des décisions finales. De plus, la croissance de la conférence a soulevé des préoccupations concernant la qualité de l'évaluation ; pour y remédier, l'ICLR a augmenté le nombre de responsables de domaines et mis en place un système de « vérification de cohérence ».
Malgré ces défis, l'ICLR reste un lieu central pour la diffusion des percées en apprentissage profond et en intelligence artificielle, façonnant à la fois la recherche académique et le déploiement industriel. Ses principes fondateurs d'ouverture et de concentration sur l'apprentissage de représentations ont influencé d'autres conférences, bien qu'aucune n'ait pleinement reproduit son modèle.
Voir aussi
- ICML - Conférence internationale sur l'apprentissage automatique
- NeurIPS - Systèmes de traitement de l'information neuronale
- AAAI - Conférence de l'Association pour l'avancement de l'intelligence artificielle
Références
- Yann LeCun et Yoshua Bengio, déclaration fondatrice de l'ICLR, 2012.
- Actes de l'ICLR, OpenReview, 2013-2024.
- Statistiques de la conférence et taux d'acceptation, tels que rapportés dans les annonces officielles et les archives documentaires.