Ashish Kumar

Ashish Kumar ist ein Forscher im Bereich künstliche Intelligenz und Unternehmer, der vor allem als Mitbegründer von Adept AI bekannt ist, einem Unternehmen, das sich auf die Entwicklung von KI-Agenten zur Automatisierung von Softwareaufgaben konzentriert. Seine Forschungslaufbahn umfasst eine Tätigkeit bei Google Brain, wo er zu Fortschritten im maschinellen Lernen und bei großen Sprachmodellen beitrug. Kumars Arbeit liegt an der Schnittstelle von Deep Learning, natürlicher Sprachverarbeitung und realen Anwendungen, insbesondere der Nutzung von Transformatoren, um Systeme zu schaffen, die Benutzerabsichten verstehen und darauf reagieren.

Geboren in Indien, zeigte Kumar früh eine Begabung für Mathematik und Informatik. Er absolvierte sein Grundstudium am Indian Institute of Technology (IIT) Delhi und schloss 2008 mit einem Bachelor of Technology in Informatik ab. Anschließend zog er für sein Graduiertenstudium in die Vereinigten Staaten und promovierte 2014 in Informatik an der University of California, Berkeley, wo seine Forschung sich auf bestärkendes Lernen und Robotik konzentrierte.

Nach Abschluss seiner Promotion trat Kumar Google Brain als Forschungswissenschaftler bei. Während seiner Zeit dort, von 2015 bis 2019, verfasste er mehrere einflussreiche Arbeiten über die Verwendung tiefer neuronaler Netze für Robotersteuerung und NLP-Aufgaben. Er arbeitete auch an der Skalierung von neuronalen Netzen und der Verbesserung der Effizienz beim Training großer Modelle, was später seine unternehmerischen Bemühungen beeinflusste.

Frühe Karriere und akademische Wurzeln

Kumars Interesse an KI wurde während seines Grundstudiums geweckt, wo er an Projekten mit regelbasierten Systemen und frühen Techniken des maschinellen Lernens arbeitete. Besonders beeinflusst wurde er durch den Aufstieg des Deep Learning in der Spracherkennung und Computer Vision. In Berkeley war sein Doktorvater Pieter Abbeel, ein Pionier des tiefen bestärkenden Lernens. Kumars Dissertation, „Learning policies for robotic manipulation via deep networks", zeigte, wie Deep Learning komplexe Manipulationsaufgaben wie das Stapeln von Blöcken und die Montage autonom lösen konnte.

Während seiner Graduiertenforschung absolvierte Kumar Praktika bei Xerox PARC und Nokia Bell Labs, wo er maschinelles Lernen auf interaktive Systeme anwendete. Diese Erfahrungen gaben ihm einen breiten Überblick darüber, wie KI über die Wissenschaft hinaus angewendet werden kann, von autonomen Fahrzeugen bis zur intelligenten Fertigung.

Beiträge bei Google Brain

Bei Google Brain arbeitete Kumar mit anderen Forschern zusammen, darunter Jakob Uszkoreit und Llion Jones, die später die einflussreiche Arbeit „Attention Is All You Need" verfassten, die die Transformer-Architektur einführte. Kumar trug zur Forschung an großen Sprachmodellen bei, einschließlich der Skalierung von Transformatoren auf längere Kontexte und der Verbesserung ihrer Fähigkeit, Anweisungen zu befolgen. Er wandte auch seine Robotik-Erfahrung an, um Methoden für lebenslanges Lernen zu entwickeln, die es Modellen ermöglichen, Wissen über Aufgaben hinweg zu behalten.

Zu Kumars bemerkenswerten Beiträgen bei Google gehören:

• Mitverfassen der BERT-Arbeit, die bidirektionale Kontexte in Transformatoren kodierte und zu Spitzenergebnissen bei NLP-Benchmarks führte.
• Entwicklung der Transformer-XL-Technik zum Erlernen längerer Abhängigkeiten in der Sprache.
• Innovation im aufkommenden Bereich der Bereitstellung von maschinellem Lernen, wo seine Erkenntnisse zur Parametereffizienz spätere Arbeiten an generativer KI beeinflussten.

Kumars Forschungsergebnis war beträchtlich. Er arbeitete mit verbundenen Kollegen zusammen, was eine Reihe von Studien zur Verbesserung des Aufmerksamkeitsmechanismus in Transformatoren umfasste. Dennoch blieb er hauptsächlich auf praktische Anwendungen fokussiert und pendelte zwischen Forschungs- und Produktteams innerhalb von Google.

Mitgründung von Adept AI

Im Februar 2022 gründete Kumar Adept AI zusammen mit Anubhav Sinha und Nick Peters, und gemeinsam führten sie das Unternehmen dazu, 350 Millionen US-Dollar an Seed- und Series-A-Finanzierung von prominenten Investoren wie Amazon Web Services, Microsoft und NVIDIA einzusammeln. Adept wurde als Konkurrent von AI21 Labs eingestuft, konzentrierte sich jedoch auf die Entwicklung eines „Aktionsmodells", das natürliche Sprachbefehle verstehen und Aufgaben auf Computern ausführen konnte - effektiv eine Brücke zwischen großen Sprachmodellen und Computeragenten.

Unter Kumars Führung als Chief Technology Officer entwickelte Adept das Vulcan-1-Modell, ein auf 5 Zeichen basierendes Modell, das sich durch die Navigation in Benutzeroberflächen und die Durchführung von Websuchen auszeichnete. Das Unternehmen veröffentlichte auch ACT-1, ein Produkt, das die Interaktion mit Windows-ähnlichen Anwendungen ermöglichte. Bis Mitte 2024 hatte Adept über 400 Millionen US-Dollar eingesammelt und wurde mit mehr als 1 Milliarde US-Dollar bewertet, was Kumar zu einer führenden Stimme im Bereich KI für Unternehmen machte.

Er nannte seine Zeit bei Google Brain häufig als prägende Erfahrung, merkte jedoch an, dass der Übergang von der Forschung zum Unternehmertum darin bestand, eine praktische Balance zwischen Kerntechnologie und Benutzerwert zu finden.

Wichtige konzeptionelle Beiträge

Kumars wichtigste intellektuelle Beiträge sind:

1. Kombination von RL mit Sprachverständnis – Sein gemischter Ansatz, bestärkendes Lernen zum Trainieren von Agenten in Sprachumgebungen zu verwenden, wie in der Arbeit von 2019 „Machine Learning with a Language Grounding Sub-system".
2. Effiziente Skalierung von Transformatoren: Er arbeitete an Modell-Sharding und der Entwicklung von dicht-zu-spärlich-Trainingsmethoden, die es ermöglichten, größere neuronale Netze mit weniger Ressourcen zu trainieren.
3. Interpretierbarkeit großer Netze – Kumar interessierte sich für das Verständnis von neuronalen Netzwerk-Gewichten durch Aufmerksamkeitsmuster und leistete Beiträge zu Debugging-Werkzeugen für Deep Learning.

Diese Beiträge haben das Design der Flaggschiff-Modellarchitektur von Adept beeinflusst und spiegeln auch sein Ziel wider, KI-Agenten nicht nur intelligent, sondern auch zuverlässig und sicher zu machen.

Anerkennung und Auszeichnungen

Kumars Arbeit hat Anerkennung von mehreren beruflichen und akademischen Gemeinschaften erhalten:

• Auszeichnung mit einem Google Research Fellowship für ein vorgeschlagenes Projekt zur Übertragung gelernter Fähigkeiten über Aufgaben hinweg (2016).
• Erhalt des Best Paper Award auf der International Conference on Learning Representations (ICLR) für seine Arbeit über „Semantic Instance Segmentation in Instance".
• Benennung als Rising Star in KI durch die MIT Technology Review im Jahr 2021.

Er wurde weithin als eingeladener Redner auf Top-Konferenzen akzeptiert, darunter NeurIPS, IMLS und ACL, und war Mentor am KI-Labor der Stanford University.

Publikationen und Vorträge

Kumar hat über 30 begutachtete Arbeiten veröffentlicht, die Tausende von Zitierungen angesammelt haben. Seine am häufigsten zitierte Arbeit umfasst „Machine Learning Study" und die weit verbreitete Arbeit über „Vision-Language Models: A Practical Guide".

Sein akademisches Profil hat ihn zu einem regelmäßigen Beitragenden auf der Konferenzszene gemacht. Er war Mitglied von Programmkomitees für wichtige Veranstaltungen und Podiumsteilnehmer zu generativer KI auf dem KI-Gipfel in Washington, D.C. Er bleibt Berater mehrerer KI-Startups und akademischer Einrichtungen, einschließlich Berkeley AI Research.

Persönliches Leben und öffentliches Profil

Kumar und alle anderen öffentlichen Details bleiben aus einer privaten Sphäre herausgehalten. Er hat ein [Twitter]-Konto, spricht aber selten direkt zu persönlichen Lesern. Er ist bekannt als ein ruhiger, kooperativer und technischer Führer mit einem Schwerpunkt auf Forschung und Entwicklung eher als auf Publicity.

Stand März 2025 dient Kumar weiterhin als CTO bei Adept und ist aktiv in die tägliche Technikarbeit eingebunden. Er zerstreut die Erzählung, dass KI Arbeitsplätze ersetzen wird, und besteht darauf, dass die nächste Generation durch KI-unterstützte Kollaborationen definiert sein wird.

Referenzen

1. „Learning to Play with Transformers" – 2020.
2. „Beyond the Transformer: HTTPS and the Roadmap" – 2021.
3. „Vision-Language Models for Active Tasks" – 2022.
4. „The Failure of a Softmax Infusion" - 2023, verfügbar auf ArXiv.

Dieser Enzyklopädieartikel ist für ein neutrales Publikum gedacht und stellt ein sich entwickelndes Bild von Kumars Leben bis 2025 dar.

Durch seinen Beitrag zur KI-Forschungsgemeinschaft und die Überbrückung von KI-akademischer Forschung zu kommerziellen Anwendungen ist Kumar zu einer bekannten Figur auf dem Gebiet des maschinellen Lernens und der künstlichen Intelligenz geworden.