Die International Conference on Learning Representations (ICLR) ist eine führende akademische Konferenz auf dem Gebiet des maschinellen Lernens und der künstlichen Intelligenz, die mit dem spezifischen Ziel gegründet wurde, sich auf die Aspekte der Repräsentationslernens in tiefen neuronalen Netzen zu konzentrieren. Die 2013 ins Leben gerufene ICLR wird durchgängig neben NeurIPS und ICML als eine der drei einflussreichsten Konferenzen des Fachgebiets eingestuft und zieht jährlich tausende Einreichungen an. Ihr charakteristisches Merkmal ist ein offener Peer-Review-Prozess, bei dem Papiereinreichungen und Gutachterkommentare öffentlich sichtbar sind - ein Modell, das von Vorschlägen von Yann LeCun inspiriert und 2012 von seinen Mitbegründern Yann LeCun und Yoshua Bengio formalisiert wurde.
Ursprünge und Gründung
Die Gründung der ICLR ging auf eine wahrgenommene Lücke in bestehenden Konferenzen zurück, die das Repräsentationslernen oft als Unterthema und nicht als zentrales Forschungsthema behandelten. Im Jahr 2012 schlugen Yann LeCun, damals an der New York University, und Yoshua Bengio von der University of Montreal eine neue Veranstaltung vor, die sich dem Lernen von Repräsentationen widmete, einschließlich Architekturen wie neuronalen Netzen und Deep-Learning-Modellen. Sie stützten sich auf frühere Experimente mit offener Begutachtung, wie sie etwa vom Journal of Machine Learning Research verwendet wurden, um einen Prozess zu entwerfen, der die Transparenz erhöhen und den wissenschaftlichen Diskurs beschleunigen sollte. Die erste Ausgabe fand 2013 vom 2. bis 4. Mai in Scottsdale, Arizona, Vereinigte Staaten, statt und zog über 400 Teilnehmer an.
Das von Anfang an übernommene offene Begutachtungsformat wich vom traditionellen doppelblinden Begutachtungsverfahren ab. Stattdessen werden Einreichungen auf einer öffentlichen Plattform veröffentlicht, auf der jedes registrierte Mitglied Kommentare abgeben kann, und benannte Gutachter liefern formelle Bewertungen neben der offenen Diskussion. Dieser Ansatz wird dafür gelobt, die Papierqualität verbessert und das Engagement der Gemeinschaft gefördert zu haben, obwohl er auch Kritik hinsichtlich der Arbeitsbelastung der Gutachter und möglicher Verzerrungen ausgesetzt war.
Wachstum und Einfluss
Von seinem ersten Jahr mit etwa 200 Einreichungen wuchs die ICLR schnell an Umfang und Prestige. Bis 2020 erhielt die Konferenz über 2.500 Einreichungen, und bis 2024 überstieg diese Zahl 7.000, mit einer Annahmequote von unter 30 Prozent für die Hauptstrecke. Die Konferenz findet in der Regel Ende April oder Anfang Mai statt und wechselt zwischen nordamerikanischen und europäischen Städten, wobei nach 2020 virtuelle Komponenten hinzugefügt wurden. Ihre Tagungsbände werden über die OpenReview-Plattform veröffentlicht, die weiterhin die öffentliche Begutachtungshistorie für jedes Papier bereitstellt.
Der Einfluss der ICLR zeigt sich in ihren Zitationskennzahlen und der Verbreitung ihrer veröffentlichten Papiere bei der Weiterentwicklung von generativer KI und Transformer-Architekturen. Viele grundlegende Arbeiten zu großen Sprachmodellen, einschließlich Studien zu Skalierungsgesetzen und Aufmerksamkeitsmechanismen, wurden erstmals auf der ICLR vorgestellt. Die Konferenz führte auch bemerkenswerte Innovationen wie die "Reproducibility Challenge" ein, die die unabhängige Verifikation veröffentlichter Ergebnisse fördert, und hat Auszeichnungen für beste Papiere und herausragende studentische Papiere etabliert.
Konferenzstruktur
Jede ICLR-Ausgabe erstreckt sich über mehrere Tage und umfasst eingeladene Vorträge führender Forscher, mündliche Präsentationen ausgewählter Papiere und umfangreiche Postersitzungen. Das Programmkomitee, das aus leitenden Bereichsvorsitzenden und Gutachtern aus Wissenschaft und Industrie besteht, arbeitet nach einem zweigleisigen System: einer standardmäßigen Einreichungsstrecke und einer spekulativeren "Brainstorm"-Strecke, die 2020 eingeführt wurde, um unkonventionelle Ideen zu fördern. Bemerkenswerterweise hat die ICLR auch mit einem "Test of Time"-Preis experimentiert, der Papiere aus einem Jahrzehnt zuvor auszeichnet, die anhaltenden Einfluss hatten.
Zu den Schlüsselfiguren in der Geschichte der Konferenz gehören ihre Gründungsvorsitzenden LeCun und Bengio sowie spätere Programmleiter wie Yoshua Bengio (2016) und Koray Kavukcuoglu (2018). Die Konferenz unterhält enge Verbindungen zu Industrielaboren, mit regelmäßigen Beiträgen von Forschern von OpenAI, Google DeepMind und Anthropic, was den angewandten Charakter der modernen Deep-Learning-Forschung widerspiegelt.
Kritik und Entwicklung
Das offene Begutachtungsmodell ist zwar revolutionär, wurde jedoch auch kritisch hinterfragt. Einige Forscher argumentieren, dass öffentliche Kommentare riskante Arbeiten entmutigen oder konfrontative Dynamiken erzeugen können. Als Reaktion darauf hat die ICLR ihre Richtlinien regelmäßig angepasst, etwa indem Autoren während eines ersten Begutachtungszeitraums die Möglichkeit erhielten, von öffentlichen Kommentaren abzusehen, und 2022 ein zweiphasiger Begutachtungszyklus eingeführt wurde, um Diskussion von endgültigen Entscheidungen zu trennen. Darüber hinaus hat das Wachstum der Konferenz zu Bedenken hinsichtlich der Begutachtungsqualität geführt; um dem zu begegnen, erhöhte die ICLR die Anzahl der Bereichsvorsitzenden und führte ein System zur "Konsistenzprüfung" ein.
Trotz dieser Herausforderungen bleibt die ICLR ein zentraler Ort für die Verbreitung von Durchbrüchen im Deep Learning und in der künstlichen Intelligenz und prägt sowohl die akademische Forschung als auch die industrielle Anwendung. Ihre Gründungsprinzipien der Offenheit und der Fokussierung auf das Repräsentationslernen haben andere Konferenzen beeinflusst, obwohl keine ihr Modell vollständig nachgeahmt hat.
Siehe auch
- ICML - International Conference on Machine Learning
- NeurIPS - Neural Information Processing Systems
- AAAI Conference on Artificial Intelligence - Eine breitere KI-Konferenz mit einer längeren Geschichte
Referenzen
- Yann LeCun und Yoshua Bengio, Gründungserklärung der ICLR, 2012.
- ICLR-Tagungsbände, OpenReview, 2013-2024.
- Konferenzstatistiken und Annahmequoten, wie in offiziellen Ankündigungen und Archivaufzeichnungen berichtet.