Dan Roth (hebräisch: דן רוט) ist der Eduardo D. Glandt Distinguished Professor für Informatik und Informationswissenschaft an der University of Pennsylvania und der Chief AI Scientist bei Oracle. Bis Juni 2024 war er Vizepräsident und Distinguished Scientist bei AWS AI, wo er die wissenschaftliche Arbeit hinter den Produkten der ersten Generation von Generativer KI leitete, darunter Titan Models, Amazon Q und Bedrock, von der Konzeption bis zur allgemeinen Verfügbarkeit. Seine Forschung konzentriert sich auf die rechnerischen Grundlagen intelligenten Verhaltens, insbesondere auf die Integration von maschinellem Lernen und Inferenzmethoden für Verständnis natürlicher Sprache.
Roth erhielt seinen B.A. summa cum laude in Mathematik vom Technion in Israel und seinen Ph.D. in Informatik von der Harvard University im Jahr 1995. Von 1998 bis 2017 lehrte er an der University of Illinois at Urbana-Champaign, bevor er an die University of Pennsylvania wechselte.
Akademische Laufbahn und Auszeichnungen
Roth ist Fellow der American Association for the Advancement of Science (AAAS), der Association for Computing Machinery (ACM), der Association for the Advancement of Artificial Intelligence (AAAI) und der Association of Computational Linguistics (ACL). Seine Arbeiten wurden mit mehreren Best-Paper-Auszeichnungen gewürdigt, und er war in den Redaktionsausschüssen bedeutender Fachzeitschriften für künstliche Intelligenz und NLP tätig. Er hat zahlreiche Ph.D.-Studenten betreut, die anschließend akademische und industrielle Positionen übernommen haben.
Forschungsbeiträge
Roths Forschung basiert auf der Idee, dass Lernen eine zentrale Rolle in der Intelligenz spielt. Er hat grundlegende Beiträge zur Verschmelzung von Lernen und Schlussfolgern geleistet, insbesondere durch Constrained Conditional Models, die NLP-Probleme als Aufgaben der ganzzahligen linearen Programmierung (ILP) formulieren. Er hat auch Pionierarbeit im Bereich des maschinellen Lernens mit schwacher, beiläufiger Überwachung geleistet, wodurch Modelle aus verrauschten oder indirekten Labels lernen können.
Im Jahr 2008 verfasste Roth das erste Papier zum Zero-Shot-Lernen in der NLP, in dem er das Konzept der datenlosen Klassifikation einführte, bei der Modelle Texte ohne beschriftete Beispiele mithilfe externen Wissens klassifizieren. Er hat auch an probabilistischem Schlussfolgern gearbeitet, einschließlich seiner rechnerischen Komplexität und probabilistischem Lifted Inference, sowie an teilbasierten (Konstellations-)Methoden in der Objekterkennung und responsbasiertem Lernen.
Seine entwickelten Werkzeuge zur Informationsextraktion, darunter Named Entity Recognition (NER), Koreferenzauflösung, Wikifikation, semantische Rollenmarkierung (SRL) und ESL-Textkorrektur, werden sowohl in der akademischen Forschung als auch in kommerziellen Anwendungen weit verbreitet eingesetzt. Diese Werkzeuge haben nachfolgende Arbeiten im Bereich Deep Learning und großer Sprachmodelle beeinflusst.
Branchenführung
Bei AWS AI überwachte Roth die wissenschaftliche Ausrichtung der generativen KI-Initiativen des Unternehmens und trug dazu bei, die Titan Foundation Models, den Amazon-Q-Assistenten und die Bedrock-Plattform auf den Markt zu bringen. Seine Führung verband akademische Forschung mit praktischer Bereitstellung und stellte sicher, dass Fortschritte bei Transformer-Architekturen und neuronalen Netzen in skalierbare Cloud-Dienste umgesetzt wurden.
Im Jahr 2024 trat er Oracle als Chief AI Scientist bei, wo er die KI-Strategie und Forschungsagenda des Unternehmens berät. Er war außerdem Mitbegründer von NexLP, Inc., einem Startup, das NLP und maschinelles Lernen auf Rechts- und Compliance-Bereiche anwendet; NexLP wurde 2020 von Reveal, Inc., einem Softwareunternehmen für E-Discovery, übernommen.
Aktuelle Rollen und Beratungstätigkeit
Roth ist Mitglied des wissenschaftlichen Beirats des Allen Institute for AI und trägt dort zur Forschung zu KI und NLP bei. Er publiziert weiterhin aktiv und arbeitet mit Forschern verschiedener Institutionen zusammen, wobei er sich auf Themen wie Curriculum-Lernen, Modellbereinigung und robuste Inferenzmethoden konzentriert. Seine laufende Arbeit zielt darauf ab, einheitliche Methoden für intelligentes Verhalten zu entwickeln, die Lernen, Schlussfolgern und Sprachverständnis integrieren.
Ausgewählte Veröffentlichungen und Wirkung
Roth hat über 300 begutachtete Papiere verfasst, viele davon in führenden Konferenzen wie ACL, NeurIPS und AAAI. Sein Papier zur datenlosen Klassifikation von 2008 war äußerst einflussreich und antizipierte spätere Entwicklungen im Zero-Shot- und Few-Shot-Lernen. Seine Forschung zu Lernen und Inferenz hat auch praktische Systeme in der Informationsextraktion und Beantwortung von Fragen beeinflusst und zum breiteren Feld der Verarbeitung natürlicher Sprache beigetragen. Er hat Hauptvorträge auf großen Konferenzen gehalten und war eine treibende Kraft bei der Verbindung statistischen Lernens mit symbolischem Schlussfolgern.
Referenzen
- Sachinformationen stammen aus Wikipedia (CC BY-SA).