Die Conference on Neural Information Processing Systems (abgekürzt als NeurIPS, früher NIPS) ist eine jährlich im Dezember stattfindende Konferenz für maschinelles Lernen und computationale Neurowissenschaften. Zusammen mit ICLR und ICML ist sie eine der drei wichtigsten Konferenzen mit hoher Wirkung in der Forschung zu maschinellem Lernen und künstlicher Intelligenz. Die Konferenz umfasst drei Tage mit eingeladenen Vorträgen sowie mündlichen und Poster-Präsentationen begutachteter Papiere, gefolgt von zwei Tagen mit Workshops und Wettbewerben.
Die erste NeurIPS-Konferenz fand 1987 in Denver, Colorado, USA, statt und markierte den Beginn einer Reihe, die sich zu einem zentralen Ereignis für die Forschungsgemeinschaften des maschinellen Lernens und der künstlichen Intelligenz entwickeln sollte. Ihre Gründung spiegelte eine bewusste Anstrengung wider, ein offenes, interdisziplinäres Forum für Forscher zu schaffen, die sowohl biologische als auch künstliche neuronale Netze untersuchten.
Ursprünge und Gründung
Das NeurIPS-Treffen wurde erstmals 1986 auf dem jährlichen, nur auf Einladung zugänglichen Snowbird Meeting on Neural Networks for Computing vorgeschlagen, das vom California Institute of Technology und den Bell Laboratories organisiert wurde. NeurIPS wurde als ergänzendes, offenes und interdisziplinäres Treffen für Forscher konzipiert, die biologische und künstliche neuronale Netze untersuchten. Diese multidisziplinäre Herangehensweise spiegelte sich darin wider, dass NeurIPS 1987 mit dem Informationstheoretiker Ed Posner als Konferenzpräsidenten und dem Lerntheoretiker Yaser Abu-Mostafa als Programmleiter begann.
Die Forschung, die auf den frühen NeurIPS-Treffen präsentiert wurde, umfasste ein breites Spektrum an Themen, von Bemühungen zur Lösung rein technischer Probleme bis hin zur Nutzung von Computermodellen als Werkzeug zum Verständnis biologischer Nervensysteme. Seitdem haben sich die Forschungsstränge zu biologischen und künstlichen Systemen auseinanderentwickelt, und neuere NeurIPS-Tagungsbände werden von Papieren zu maschinellem Lernen, künstlicher Intelligenz und Statistik dominiert.
Die erste NeurIPS-Konferenz wurde von der IEEE gesponsert. Die folgenden NeurIPS-Konferenzen wurden von der NeurIPS Foundation organisiert, die von Ed Posner gegründet wurde. Terrence Sejnowski ist seit Posners Tod im Jahr 1993 Präsident der NeurIPS Foundation. Der Vorstand besteht aus früheren Generalvorsitzenden der NeurIPS-Konferenz.
Der erste Tagungsband wurde 1987 in Buchform vom American Institute of Physics veröffentlicht und trug den Titel Neural Information Processing Systems. Nachfolgende Tagungsbände wurden von Morgan Kaufmann (1988–1993), MIT Press (1994–2004) und Curran Associates (2005–heute) unter dem Namen Advances in Neural Information Processing Systems veröffentlicht.
Entwicklung und Namensänderung
Von 1987 bis 2000 fand NeurIPS in Denver, USA, statt. Seitdem wurde die Konferenz an verschiedenen Orten abgehalten, darunter Vancouver, Kanada (2001–2010), Granada, Spanien (2011) und Lake Tahoe, USA (2012–2013). 2014 und 2015 fand die Konferenz in Montreal, Kanada, statt; 2016 in Barcelona, Spanien; 2017 in Long Beach, USA; 2018 in Montreal, Kanada; und 2019 in Vancouver, Kanada. In Anlehnung an ihre Ursprünge in Snowbird, Utah, wurde das Treffen bis 2013 von Workshops begleitet, die in einem nahegelegenen Skigebiet organisiert wurden, bis es die Skigebiete überwuchs.
Die Konferenz wurde ursprünglich als „NIPS“ abgekürzt. Bis 2018 kritisierten einige Kommentatoren die Abkürzung als förderlich für Sexismus, da sie mit dem Wort „Nippel“ assoziiert wurde, und als abwertend gegenüber Japanern. Der Vorstand änderte die Abkürzung im November 2018 in „NeurIPS“.
Themen und Wirkung
Neben maschinellem Lernen und Neurowissenschaften umfassen weitere auf NeurIPS vertretene Felder Kognitionswissenschaft, Psychologie, Computer Vision, statistische Linguistik und Informationstheorie. Im Laufe der Jahre wurde NeurIPS zu einer führenden Konferenz für maschinelles Lernen, und obwohl das „Neural“ im NeurIPS-Akronym etwas zu einem historischen Relikt geworden war, hat die Wiederbelebung des Deep Learning in neuronalen Netzen seit 2012, angetrieben durch schnellere Computer und Big Data, zu Errungenschaften bei der Spracherkennung, der Objekterkennung in Bildern, der Bildbeschriftung, der Sprachübersetzung und Weltmeisterleistungen im Spiel Go geführt, basierend auf neuronalen Architekturen, die von der Hierarchie der Areale im visuellen Kortex (ConvNet) inspiriert sind, und Reinforcement Learning, das von den Basalganglien inspiriert ist (Temporal-Difference-Lernen).
Aus der NeurIPS-Konferenz sind bemerkenswerte Interessengruppen hervorgegangen, die Vielfalt zeigen, darunter Black in AI (2017), Queer in AI (2016) und andere.
Benannte Vorträge
Zusätzlich zu eingeladenen Vorträgen und Symposien organisiert NeurIPS auch zwei benannte Vortragsreihen, um herausragende Forscher zu würdigen. Der NeurIPS-Vorstand führte die Posner Lectureship zu Ehren des NeurIPS-Gründers Ed Posner ein; bis 2015 wurden jährlich zwei Posner-Vorträge gehalten. Zu den früheren Vortragenden gehörten Josh Tenenbaum und Michael I. Jordan (2010), Thomas Dietterich und Terry Sejnowski (2012), Daphne Koller und Peter Dayan (2013), Yann LeCun (2016), John Platt (2017), Joëlle Pineau (2018), Yoshua Bengio (2019), Christopher Bishop (2020) und Peter Bartlett (2021).
Im Jahr 2015 führte der NeurIPS-Vorstand die Breiman Lectureship ein, um Arbeiten in der Statistik hervorzuheben, die für die Konferenzthemen relevant sind. Die Vortragsreihe wurde nach dem Statistiker Leo Breiman benannt, der von 1994 bis 2005 im NeurIPS-Vorstand tätig war. Zu den früheren Vortragenden gehörten Robert Tibshirani (2015), Susan Holmes (2016), Yee Whye Teh (2017), David Spiegelhalter (2018), Bin Yu (2019), Marloes Maathuis (2020), Gabor Lugosi (2021), Emmanuel Candes (2022), Susan Murphy (2023) und Arnaud Doucet (2024).
Experiment zur Konsistenz des Begutachtungsprozesses
Bei NIPS 2014 duplizierten die Programmleiter 10 % aller Einreichungen und schickten sie durch separate Gutachter, um die Zufälligkeit im Begutachtungsprozess zu bewerten. Mehrere Forscher interpretierten das Ergebnis. Bezüglich der Frage, ob die Entscheidung bei NIPS vollständig zufällig ist oder nicht, schreibt John Langford: „Offensichtlich nicht - eine rein zufällige Entscheidung hätte eine Willkürlichkeit von etwa 78 %. Es ist jedoch bemerkenswert, dass 60 % viel näher an 78 % als an 0 % liegt.“ Er kommt zu dem Schluss, dass das Ergebnis des Begutachtungsprozesses größtenteils willkürlich ist. Bei NeurIPS 2021 wiederholten die Programmleiter das Experiment von 2014 und fanden ähnliche Grade an Begutachtungsinkonsistenz; 23 % der duplizierten Einreichungen erhielten unterschiedliche Annahme-/Ablehnungsentscheidungen, und 50,6 % der angenommenen Papiere wären bei einer erneuten Begutachtung abgelehnt worden.
Veranstaltungsorte
- 1987–2000: Denver, Colorado, USA
- 2001–2010: Vancouver, British Columbia, Kanada
- 2011: Granada, Spanien
- 2012 & 2013: Stateline, Nevada, USA
- 2014 & 2015: Montréal, Quebec, Kanada
- 2016: Barcelona, Spanien
- 2017: Long Beach, Kalifornien, USA
- 2018: Montréal, Quebec, Kanada
- 2019: Vancouver, British Columbia, Kanada
- 2020: Vancouver, British Columbia, Kanada (virtuelle Konferenz)
- 2021: Virtuelle Konferenz
- 2022 & 2023: New Orleans, Louisiana, USA
- 2024: Vancouver, British Columbia, Kanada
- 2025: San Diego, Kalifornien, USA und Mexiko-Stadt, Mexiko
- 2026: Sydney, New South Wales, Australien, mit Satellitenveranstaltungen in Atlanta und Paris