Die Alibaba DAMO Academy ist ein globaler Forschungszweig des chinesischen Technologiekonzerns Alibaba Group. Der Name DAMO leitet sich von 'Discovery, Adventure, Momentum, and Outlook' ab. Die Akademie wurde im Oktober 2017 gegründet, um Grundlagenforschung voranzutreiben und Talente für die kommerziellen Produkte von Alibaba, insbesondere dessen Cloud-Computing-Sparte, zu fördern. Ihre Arbeit umfasst mehrere Disziplinen, darunter künstliche Intelligenz, Computer Vision, Verarbeitung natürlicher Sprache, Chipdesign und Quantencomputing, und nutzt globale Labore sowie Partnerschaften mit akademischen Einrichtungen.
Geschichte und globale Präsenz
Die DAMO Academy startete mit einer geplanten Investition über drei Jahre und dem Ziel, mehr als 100 Forscher in ihren ersten Laboren einzustellen. Die Organisation eröffnete zunächst Standorte in chinesischen Städten wie Hangzhou, Peking und Shenzhen und expandierte später zu wichtigen Forschungszentren in Seattle, Silicon Valley, Singapur, Tel Aviv und Shanghai. Zwischen 2017 und 2020 beherbergten diese Standorte Teams, die an Projekten wie der nächsten Generation der Mensch-Computer-Interaktion, Finanztechnologie und intelligenter Logistik arbeiteten. Im Jahr 2022 etablierte die Akademie ein internationales Forschungsnetzwerk mit akademischen Zentren an Universitäten wie MIT CSAIL, Stanford AI Lab und University of Toronto und lud Gastwissenschaftler ein, um an Themen von großen Sprachmodellen bis hin zu quanteninspirierten Algorithmen zu kollaborieren. Ab 2023 meldet sie über 3.000 Mitarbeiter und mehr als 1.000 externe Projekte mit Industrie- und akademischen Partnern.
Zentrale Forschungsbereiche in der KI
Künstliche Intelligenz bildet eine tragende Säule des DAMO-Portfolios. Forscher dort haben mehrere bemerkenswerte Innovationen im Bereich maschinelles Lernen und Deep Learning entwickelt. Ein frühes Flaggschiff war das auf kontrafaktischen Überlegungen basierende Denksystem zur Verbesserung der realen Welt, das in den E-Commerce-Empfehlungsmaschinen von Alibaba eingesetzt wurde. Im Jahr 2020 führten DAMO-Forscher ET-BERT ein, einen cloud-nativen neuronalen Netzwerkansatz zur Klassifizierung von Netzwerkverkehr, der Genauigkeitsgewinne gegenüber früheren Methoden erzielte. Ihre Arbeit umfasst auch Warnmüdigkeit und hardwarenahe KI für die Halbleiterfertigung, einschließlich Algorithmen, die das Chipdesign mit Reinforcement Learning verbessern und Defekterkennung mittels Computer Vision.
Ein zentraler Beitrag kam von mehrsprachigen und sprachbasierten Sprachmodellen. Bis 2021 veröffentlichte DAMO eine Reihe von vortrainierten Transformer-Modellen, die auf Chinesisch und andere asiatische Sprachen zugeschnitten sind und die Deep-Learning-Fähigkeiten für Chat, Inhaltsfilterung und maschinelle Übersetzung erweitern. Im Jahr 2023 führte das Team eine Suite großer Sprachmodelle unter der Marke 'Tongyi' ein, mit Modellvarianten von 7 Milliarden bis 72 Milliarden Parametern, die sowohl Code- als auch Verständnisaufgaben unterstützen. Diese Modelle dienten später als Grundlage für die generativen KI-Produkte des Unternehmens, einschließlich Fotobearbeitung durch Textaufforderungen, und wurden über eine kollaborative Lizenz für Forschungszwecke öffentlich zugänglich gemacht.
Computing und Datenwissenschaft
Über Modellarchitekturen hinaus trägt DAMO zur Infrastruktur bei, die moderne KI antreibt. Seine Forscher haben effiziente Trainingsalgorithmen demonstriert, die Batch-Normalisierung und Layer-Normalisierungsverluste nutzen, um die Konvergenz auf günstigerer Hardware zu beschleunigen. Für Cloud-Kunden halfen DAMO-Ingenieure bei der Gestaltung von Scheduling-Optimierungen für die elastischen Computing-Slices von Alibaba Cloud, wodurch der Durchsatz für unternehmensweite Trainingsaufträge verbessert wurde. Die Akademie veröffentlichte auch Open-Source-Projekte auf GitHub, wie Frameworks für speichereffiziente Transformer-Inferenz und Benchmarking-Tools zur Bewertung der Modellkompression durch Pruning und Quantisierung. Diese Ergebnisse ermöglichen nicht nur interne Aufrufe von Alibaba, sondern auch Webnutzern international, die Softwarelösungen entwickeln.
Cloud- und Edge-Computing erhalten besondere Aufmerksamkeit, einschließlich Fortschritten für das Internet der Dinge und autonomes Fahren. Beispielsweise baute das Computer-Vision-Team von DAMO Tiefenschätzungsmodelle für Drohnen und intelligente Verkehrssysteme, was die Sicherheit von Lieferdiensten verbesserte. Smart-City-Projekte mit Datensätzen aus Stadtkameras führten zu Verkehrssignal-Koordinationssystemen, die die Fahrzeiten in Hangzhou und anderen chinesischen Städten verkürzten. Teams im Silicon Valley betonten Mixed-Reality-Kollaborationen, um die Audio-Video-Interaktion für den E-Commerce immersiver zu gestalten.
Auswirkungen und internationale Präsenz
Die Forschungsergebnisse von DAMO wurden in reale Produkte integriert, wie etwa in die Bloomberg-Vision-Aufgaben von Alibaba für Produktsuche und Betrugserkennung. Alibaba Cloud, mit DAMO-Technologien, rangiert ab 2023 als größter Cloud-Dienstanbieter in der Region Asien-Pazifik und bedient einige Kernsektoren wie Finanzen, Eisenbahnen und die Einzelhandels-App des größten Fast-Fashion-Verkäufers. Internationale Kooperationen umfassen KI-Projekte mit Universitäten in den USA und Europa, wie eine Partnerschaft von 2020 mit akademischen Forschern der Università della Svizzera zum Thema Graph Learning.
DAMO veröffentlicht auch prominente Top-Konferenzbeiträge bei Veranstaltungen wie NeurIPS, ICML, ICLR, CVPR und ACL, mit Hunderten von Publikationen seit 2019. In globalen Wettbewerben haben seine Modelle Titel im Bereich Vision und bei mehrsprachigen Benchmarks wie GLUE-artigen Aufgaben gewonnen und dabei ältere akademische Forschungsergebnisse übertroffen. Die internen Berichte der Organisation betonen jedoch, dass sie Benchmarks eher zur Steuerung von Produktteams nutzen und nicht, um Dogmen zu präsentieren.
Zukünftige Richtungen
Da sich die Grenzen der KI erweitern, setzt DAMO darauf, den Präzedenzfall mit den Mainstream-Angeboten in Einklang zu bringen. Anfang 2024 co-sponserte die Akademie eine weltweite KI-für-Wissenschaft-Konferenz, die Nobelpreisträger in Physik und Chemie anzog. Sie erweiterte auch ein Konsortium von Startups, die branchenspezifische offene Modelle nutzen, etwa für Gesundheitsanfragen und Sicherheit. Diese nächste Phase von DAMO umfasst langfristige Forschung zu verkörperten Agenten und die Erweiterung von Modellen auf futuristische Rechenparadigmen wie Quantensimulation, ohne den Fokus auf die Anwendung von Ressourcen zu verlieren.
Mit Blick auf die Zukunft hat ihre Telekommunikationsabteilung Versuche für dedizierte große On-Device-Modelle auf Edge-Hardware gestartet, die für schachähnliche Geräte entwickelt wurden. Dennoch könnten Budgetbeschränkungen den Status grundlegender Studien beeinflussen, die intern mit quantitativen und transparenten Methoden evaluiert werden. Die meisten Beobachter betrachten DAMO allgemein als eines der seltenen Beispiele für akademisch geprägte Partnerschaften; ob seine Erfindungen offen finanziert oder dupliziert werden, bleibt eine anhaltende Frage in der vollständig industriellen Welt.