Ce Zhang ist ein Informatiker und Wissenschaftler, der für seine Beiträge zu Machine-Learning-Systemen und Datenmanagement bekannt ist. Er ist außerordentlicher Professor an der University of Chicago und Mitbegründer von Together AI, einem Unternehmen, das sich auf Open-Source-Infrastruktur für generative KI konzentriert. Seine Forschung verbindet künstliche Intelligenz mit Datenbank- und Systemdesign, um maschinelles Lernen effizienter und zugänglicher zu machen.
Zhangs Arbeit wurde mit mehreren Auszeichnungen gewürdigt, darunter ein Sloan Research Fellowship und ein NSF CAREER Award. Er hat umfangreich in führenden Konferenzen wie SIGMOD, VLDB und NeurIPS publiziert, und seine Forschung hat sowohl akademische als auch industrielle Praktiken bei der Bereitstellung großer KI-Modelle beeinflusst.
Frühe Karriere und Bildung
Zhang promovierte in Informatik an der University of Toronto, wo er unter der Leitung von Renée J. Miller arbeitete. Seine Doktorarbeit konzentrierte sich auf Datenintegration und -bereinigung, was später sein Interesse an der Anwendung dieser Techniken auf Machine-Learning-Pipelines prägte. Bevor er an die University of Chicago kam, war er Postdoktorand am Stanford AI Lab, wo er mit Christopher Ré am DeepDive-System zusammenarbeitete, das statistische Inferenz zur Informationsextraktion aus unstrukturierten Daten nutzte.
Forschungsbeiträge
Zhangs Forschung konzentriert sich auf die Schnittstelle von Datenmanagement und maschinellem Lernen. Er hat Systeme entwickelt, die das Training und die Inferenz von Deep-Learning-Modellen optimieren, indem sie Datenbankprinzipien wie Indizierung, Komprimierung und Abfrageoptimierung nutzen. Ein bemerkenswertes Projekt ist die parallele SGD-Implementierung im "Hogwild!"-Stil, die zeigte, wie SGD-Varianten auf Multicore-Systemen ohne Sperren skaliert werden können, was nahezu lineare Beschleunigungen erreicht.
Er trug auch zur Entwicklung von "Cerebro" bei, einem System für die groß angelegte Modellauswahl und -verwaltung, das Datenwissenschaftlern ermöglicht, Hyperparameter-Räume effizient zu erkunden. Seine Arbeiten zu "LazyBatching"- und "DataSkipping"-Techniken haben die Leistung des Trainings von neuronalen Netzen auf relationalen Daten verbessert, indem sie I/O- und Rechenkosten reduzierten. Diese Beiträge wurden weithin zitiert und haben die nachfolgende Forschung im Bereich der ML-Systeme beeinflusst.
Together AI und industrieller Einfluss
Im Jahr 2022 gründete Zhang Together AI zusammen mit anderen Forschern und Ingenieuren. Das Unternehmen bietet Cloud-Infrastruktur für das Training und den Betrieb von großen Sprachmodellen mit einem Fokus auf Open-Source-Modelle und -Werkzeuge. Die Plattform von Together AI unterstützt beliebte Modelle wie Llama und Mistral und bietet Dienste für Feinabstimmung, Inferenz und Bereitstellung an. Das Unternehmen hat erhebliche Finanzmittel eingeworben und ist zu einem wichtigen Akteur im generativen KI-Ökosystem geworden, das mit größeren Cloud-Anbietern konkurriert, indem es spezialisierte, kostengünstige Lösungen anbietet.
Zhangs Rolle bei Together AI umfasst die Leitung der technischen Ausrichtung, insbesondere bei der Optimierung der Leistung von Transformer-Architekturen auf verteilten Systemen. Seine akademischen Erkenntnisse haben direkt den Ansatz des Unternehmens zum Aufbau skalierbarer KI-Infrastruktur geprägt, und er verbindet weiterhin Forschung und industrielle Praxis.
Lehre und Mentoring
An der University of Chicago unterrichtet Zhang Kurse zu Machine-Learning-Systemen und Datenmanagement. Er hat zahlreiche Doktoranden und Postdoktoranden betreut, von denen viele Positionen in der Wissenschaft und Industrie übernommen haben. Seine Lehre betont praktische Erfahrungen mit dem Aufbau und der Bereitstellung von KI-Systemen und ermutigt die Studierenden, sowohl theoretische Grundlagen als auch praktische technische Herausforderungen zu verstehen.
Zhang war auch aktiv in der Organisation akademischer Konferenzen und Workshops und war in Programmkomitees für wichtige Veranstaltungen wie NeurIPS, ICML und SIGMOD tätig. Er ist ein starker Befürworter der Reproduzierbarkeit in der KI-Forschung, und sein Labor pflegt Open-Source-Code und Benchmarks für die von ihm entwickelten Systeme.
Anerkennung und Auszeichnungen
Zhangs Beiträge wurden mit mehreren Ehrungen gewürdigt. Er erhielt 2021 das Sloan Research Fellowship, das an vielversprechende Wissenschaftler in der frühen Karriere vergeben wird. Er erhielt auch den NSF CAREER Award, ein prestigeträchtiges Stipendium für Nachwuchswissenschaftler. Sein Papier über "Cerebro" gewann den Best Paper Award bei ICDE 2020, und seine Arbeit an Algorithmen im "Hogwild!"-Stil wurde als grundlegender Beitrag zum parallelen maschinellen Lernen anerkannt.
Er wurde eingeladen, Keynote-Vorträge auf verschiedenen Konferenzen und Workshops zu halten, und seine Forschung wurde in Medienberichten über KI-Fortschritte hervorgehoben. Seine Arbeit mit Together AI wurde auch in Branchenberichten über die wachsende Landschaft von KI-Infrastrukturanbietern hervorgehoben.
Zukünftige Richtungen
Zhang erforscht weiterhin neue Grenzen in Machine-Learning-Systemen, einschließlich effizienter Trainingsmethoden für Residualnetzwerke und andere Architekturen sowie Techniken für Modellbereinigung und Datenerweiterung. Er ist daran interessiert, KI nachhaltiger zu machen, indem die für das Training großer Modelle erforderlichen Rechenressourcen reduziert werden. Seine laufende Forschung zielt darauf ab, Systeme zu entwickeln, die sich an sich ändernde Datenverteilungen anpassen und Echtzeit-Inferenz in großem Maßstab unterstützen können.
Als Mitbegründer von Together AI konzentriert sich Zhang auch darauf, den Zugang zu KI zu demokratisieren und sicherzustellen, dass Forscher und Entwickler leistungsstarke Modelle ohne prohibitive Kosten nutzen können. Seine doppelte Rolle als Akademiker und Unternehmer positioniert ihn, um sowohl die theoretische als auch die praktische Entwicklung der künstlichen Intelligenz in den kommenden Jahren zu beeinflussen.