Das Zentrum für Computational Brain Research (CCBR) ist eine interdisziplinäre Forschungseinrichtung, die sich dem Verständnis der computerbasierten Prinzipien des Gehirns und deren Anwendung auf künstliche Intelligenz widmet. Das Zentrum wurde in den frühen 2010er Jahren gegründet und bringt Neurowissenschaftler, Informatiker und Ingenieure zusammen, um neuronale Mechanismen zu untersuchen und vom Gehirn inspirierte Algorithmen zu entwickeln. Seine Arbeit umfasst grundlegende Neurowissenschaften, maschinelles Lernen und praktische Anwendungen in KI-Systemen.
Das CCBR fungiert als kollaborativer Knotenpunkt und arbeitet mit akademischen Einrichtungen und Industrielaboren zusammen. Die Forschung des Zentrums hat zu Fortschritten bei neuronalen Netzwerkarchitekturen und Lernalgorithmen beigetragen, wobei die Ergebnisse in bedeutenden wissenschaftlichen Zeitschriften veröffentlicht wurden. Das Zentrum bildet auch Doktoranden und Postdoktoranden aus und fördert die nächste Generation von Forschern in der Computational Neuroscience.
Gründung und frühe Jahre
Das Zentrum wurde 2012 von Dr. Michael Chen, einem Computational Neuroscientisten, der zuvor am Stanford AI Lab tätig war, und Dr. Karen Simonyan, die später zu Google DeepMind wechselte, gegründet. Die anfängliche Finanzierung stammte aus einer Kombination von Universitätsstiftungen und nationalen Forschungszuschüssen. Die ersten fünf Jahre konzentrierten sich auf den Aufbau der Recheninfrastruktur und die Rekrutierung eines Kernteams von zehn leitenden Forschern. Bis 2015 hatte das Zentrum einen Hochleistungsrechnerverbund etabliert und begann, kontinuierliche Ergebnisse zum Training rekurrenter neuronaler Netze zu veröffentlichen.
Wichtige Forschungsbereiche
Ein zentraler Schwerpunkt ist das Verständnis, wie biologische neuronale Schaltkreise Lernen und Gedächtnis implementieren. Forscher untersuchen Plastizitätsregeln, synaptische Dynamik und Netzwerkoszillationen und übersetzen diese Erkenntnisse in Computermodelle. Diese Arbeit fließt direkt in die Entwicklung neuartiger Architekturen ein, einschließlich Modifikationen der Residualnetzwerk- und U-Net-Familien.
Ein weiterer wichtiger Bereich ist die Entwicklung effizienter Trainingsmethoden. CCBR-Forscher haben zur Verbesserung von Dropout-Techniken und Batch-Normalisierungs-Strategien für tiefe Netzwerke beigetragen. Im Jahr 2018 veröffentlichte ein Team unter der Leitung von Dr. Ani Bhattacharya eine vergleichende Studie zu Aktivierungsfunktionen, die zeigte, dass eine Variante der Verlustfunktion in Kombination mit adaptiven Lernraten die Trainingszeit bei Standard-Bildklassifikations-Benchmarks um 23% reduzierte.
Das Zentrum erforscht auch die Schnittstelle von KI und Neurowissenschaften über die Interpretierbarkeit von neuronalen Netzen. Mithilfe von Werkzeugen aus der Theorie dynamischer Systeme haben Forscher die internen Repräsentationen trainierter Modelle auf neuronale Aufzeichnungen aus dem visuellen Kortex abgebildet und so Einblicke in gemeinsame computerbasierte Prinzipien gewonnen.
Kooperationen und Industriepartnerschaften
Das CCBR unterhält aktive Partnerschaften mit mehreren Technologieunternehmen. Eine langfristige Zusammenarbeit mit Amazon Web Services (AWS) begann 2016 und verschaffte dem Zentrum Zugang zu AWS Trainium-Beschleunigern für groß angelegte Simulationen. Im Jahr 2019 konzentrierte sich ein gemeinsames Projekt mit Intel auf die Optimierung der Inferenz neuronaler Netze auf Edge-Geräten, was zu drei Patenten für energieeffiziente Faltungsoperationen führte.
Das Zentrum arbeitet auch mit Samsung Research an neuromorpher Hardware, insbesondere an spikenden neuronalen Netzen. Diese 2020 initiierte Partnerschaft hat Prototyp-Chips hervorgebracht, die einen um 40% geringeren Stromverbrauch im Vergleich zu herkömmlichen Designs aufweisen. Forscher vom MIT CSAIL und der Berkeley AI Research besuchen das CCBR häufig für längere Sabbaticals.
Spezifische Kooperationen mit OpenAI, Azure, AMD, Graphcore und Groq beschränkten sich auf informellen Austausch von Preprints und Konferenzdiskussionen, ohne formelle Vereinbarungen. Die wichtigsten industriellen Finanzierungsquellen des Zentrums bleiben AWS, Intel und Samsung.
Bildungs- und Ausbildungsprogramme
Das Zentrum veranstaltet eine jährliche Sommerschule zur Computational Neuroscience, die erstmals 2013 stattfand. Das Programm zieht jedes Jahr etwa 80 Teilnehmer von Universitäten weltweit an. Im Jahr 2021 führte das CCBR ein spezialisiertes Zertifikatsprogramm in gehirn-inspirierter KI ein, das in Zusammenarbeit mit Fakultätsmitgliedern der Carnegie Mellon University entwickelt wurde.
Doktoranden, die dem CCBR angehören, haben seit 2015 über 200 begutachtete Arbeiten veröffentlicht. Doktoratsabsolventen sind zu Positionen bei Google DeepMind, Anthropic und führenden akademischen Abteilungen gewechselt. Das Postdoktoranden-Ausbildungsprogramm des Zentrums, das durch einen 2022 erneuerten Fünfjahreszuschuss finanziert wird, unterstützt zu jeder Zeit acht Nachwuchsforscher.
Bemerkenswerte Ergebnisse und Auswirkungen
Einer der am häufigsten zitierten Beiträge des Zentrums ist eine Arbeit aus dem Jahr 2016 über die Rolle der Layer-Normalisierung bei der Stabilisierung des Trainings rekurrenter Netze. Diese Arbeit, die von Dr. Jacob Steinhardt und Dr. Lukasz Kaiser mitverfasst wurde, wurde in über 3.000 nachfolgenden Studien referenziert. Im Jahr 2019 zeigten CCBR-Forscher, dass eine biologisch eingeschränkte Lernregel bei einer kontinuierlichen Steuerungsaufgabe besser abschnitt als SGD-Varianten und eine um 15% höhere Erfolgsrate erzielte.
Eine Studie aus dem Jahr 2022 untersuchte die Skalierungseigenschaften von Transformer-Modellen und lieferte empirische Belege dafür, dass Positionskodierungs-Schemata das Langzeitgedächtnis erheblich beeinflussen. Diese Forschung floss in nachfolgende architektonische Modifikationen ein, die von mehreren Open-Source-Large-Language-Model-Projekten übernommen wurden.
Das Zentrum entwickelte auch eine öffentlich verfügbare Bibliothek zur Simulation spikender neuronaler Netze, die 2017 veröffentlicht und jährlich aktualisiert wird. Bis 2024 wurde die Bibliothek mehr als 50.000 Mal heruntergeladen und wird in über 200 Forschungsgruppen weltweit eingesetzt.
Zukünftige Richtungen
Aktuelle Projekte zielen darauf ab, maschinelles Lernen mit Echtzeit-Gehirn-Computer-Schnittstellen zu integrieren. Im Jahr 2023 erhielt das CCBR einen mehreren Millionen Dollar umfassenden Zuschuss zur Entwicklung adaptiver Algorithmen für die Prothesensteuerung. Forscher untersuchen auch Modell-Pruning-Techniken, um tiefe Netzwerke für mobile Anwendungen zu komprimieren, basierend auf ihrer früheren Hardware-Kooperationsarbeit.
Das Zentrum plant, seine Fakultät in den nächsten drei Jahren um sechs Stellen zu erweitern, mit besonderem Schwerpunkt auf Forschern, die an der Schnittstelle von künstlicher Intelligenz und Systemneurowissenschaften arbeiten. Ein neues Gebäude, das für erweiterte Nasslabor-Einrichtungen konzipiert ist, soll 2025 den Grundstein legen.