Samuel R. Bowman ist ein Informatiker und Professor an der New York University, spezialisiert auf natürliche Sprachverarbeitung (NLP) und die Bewertung von großen Sprachmodellen. Seine Forschung befasst sich damit, wie die Fähigkeiten, Robustheit und Sicherheit moderner KI-Systeme gemessen werden können, mit einem Schwerpunkt auf der empirischen Analyse von Modellen, die von Organisationen wie OpenAI und Anthropic entwickelt wurden. Bowman ist bekannt für einflussreiche Arbeiten zur Gestaltung von Benchmarks, zum Testen von Modellen unter Stressbedingungen und zur verhaltenswissenschaftlichen Untersuchung transformerbasierter Systeme.
Bowman schloss seine Doktorandenstudien an der University of California, Berkeley ab, bevor er an die NYU kam. An der NYU wurde er zu einer zentralen Figur in der NLP-Gemeinschaft und trug zu sowohl theoretischen als auch angewandten Aspekten des Machine learning bei. Seine akademische Arbeit umfasst Co-Autorenschaften mit Forschern aus verschiedenen Institutionen, einschließlich Stanford AI Lab und MIT CSAIL, was ein breites kooperatives Netzwerk widerspiegelt.
Forschung zur Modellevaluierung
Ein bedeutender Teil von Bowmans Forschung konzentriert sich auf die Evaluierungsmethodik. Er hat argumentiert, dass standardmäßige Genauigkeitsmetriken oft kritische Fehler in den Sprachmodellen übersehen, was zu Überschätzungen ihrer Kompetenz führt. Seine Arbeiten haben adversarische Filterungsmethoden eingeführt, bei denen Modelle auf Beispielen trainiert werden, die absichtlich ihr logisches Denken herausfordern, und haben analysiert, wie Modelle mit außerhalb der Verteilung liegenden Daten umgehen. Diese Arbeit ist grundlegend für ein Verständnis der Grenzen von Neural network in realen Anwendungen.
Zu den Beiträgen Bowmans gehören die Entwicklung anspruchsvoller Datensätze wie allgemeiner Entailment-Benchmarks, die die Fähigkeit der Modelle testen, logische Beziehungen zwischen Sätzen zu verstehen. Diese Benchmarks sind zu Standardwerkzeugen in der NLP-Forschung geworden und werden von Gruppen bei Google DeepMind und in akademischen Laboren weitgehend verwendet.
Sprachmodellverhalten und -sicherheit
Bei Anthropic, wo er bis zu seinem Ausscheiden als Forscher arbeitete, untersuchte Bowman die Sicherheitseigenschaften großer Sprachmodelle. Seine Studien untersuchten, wie diese Modelle auf schädliche Eingaben reagieren, wie sie gesteuert oder fehlausgerichtet werden könnten und wie versteckte Fähigkeiten hervorgerufen werden können. Seine Arbeit mit dem Interpretierbarkeitsteam trug dazu bei, Techniken zur Überwachung des Modellverhaltens zu formen, die für die aktuellen Debatten über KI-Ausrichtung relevant sind.
Bowman hat außerdem Forschung über Faktenkonsistenz in der Zusammenfassung von Text und Fragebeantwortung veröffentlicht, wobei Muster aufgedeckt werden, in denen Modelle plausible, aber falsche Inhalte generieren. Dieser Ansatz verbindet sich mit breiteren Bemühungen, Generative AI zuverlässiger zu machen und mit Arbeiten an Institutionen wie BAIR (Berkeley AI Research) und independent-research-group zu verbinden.
Beiträge zur Benchmark-Gestaltung
Eine von Bowmans besonderen Leistungen ist die Erstellung und Verfeinerung von Benchmarks, die als Referenzen für den Feld dienen. Er co-autotivierte den GLUE-Benchmark, eine Suite von Aufgaben, die zum Standard für die Bewertung allgemeiner sprachlicher Verständnis wurde. Der Nachfolger von GLUE, der SuperGLUE-Benchmark, ist auch von seinen Entwurfsprinzipien beeinflusst, da er auf Aufgaben abzielt, die für aktuelle Systeme schwierig, für Menschen jedoch machbar sind. Diese Benchmarks wurden von Teams bei Microsoft Azure und Amazon Web Services verwendet, um ihre Einsätze zu validieren.
Seine Forschung hat gezeigt, dass selbst hochmoderne Modelle signifikante Leistungsabfälle bei sorgfältig konstruierten Gegenbeispielen aufweisen. Dies hat Branchenpraktiker, einschließlich der bei OpenAI und Qualcomm qualcomm, dazu motiviert, strengere Evaluierungen in ihren Entwicklungsproz zu integrieren.
Akademische und berufliche Rollen
Bowman ist Professor an der Courantisches Institut für Mathematische Wissenschaften der NYU, wo er eine Forschungsgruppe leitete, die sich auf maschinelles Lernen und NLP konzentriert. Er hat zahlreiche Forschende Doktorand*innen betreut, die Angestellte an akademischen und akademischen Einrichtungen erreicht haben, einschließlich bei Apple und Samsung Electronics. Seine Lehrtätigkeiten decken Themen wie Transformer (architecture)-Architektur, Modell-Interpretierbarkeit und ethische Betrachtungen bei der KI-Bereitstellung ab.
Zusätzlich zu hauptsächlich seiner akademischen Position war Bowman an Forschungsethemen verbunden, die Akademie und korporative Labore verbanden. Seine Zusammenarbeiten erstrecken sich auf Nokia Bell Labs und Xerox PARC, wo er Erkenntnisse zur Model-Bewertung präsentieren. Er ist regelmäßiger Redner an wichtigen KI-Konferenzen, einschließlich NeurIPS, ACL und ICML.
Ausgewählte Ehrungen unter besonderer Anerkennung
Bowman hat für seine Forschung mehrere Auszeichnungen erhalten, dar für seine Arbeit zum unüberwachten Parsing einen Preis für herausragende Papiere an einer größeren NLP-Konferenz gewonnen. Er wurde auch für seine Beiträge zur Entwicklung umfassenden Evaluierungsdatenbanken anerkannt und hat einen zu für seine Arbeit am GLUE-Benchmark Test of Time-Auszeichnung erhalten. Aus relative Erkenntnis der genauen Zuschüsse anerkannt wurden, wurde seine Arbeit von NSF und DARPA-Programmen unterstützt.
Sein Einfluss wird in der Annahme seiner Verfahren von Cloud-Computing-Plattformen wie Google Cloud und Oracle Cloud Infrastructure deutlich, die in ihre integrierten Evaluierungswerkzeuge enthalten, die durch seine Benchmarks geprägt sind. Seit etwa Mitte der 2020er Jahre ist Bowman weiterhin im NJEK und veröffentlicht weiter zur Schnittstelle von Sprachtechnologie und Sicherheit.