Ethan Perez ist ein Forscher bei Anthropic, der sich auf KI-Bewertung und -Sicherheit spezialisiert hat. Seine Arbeit konzentriert sich auf das Verständnis und die Verbesserung des Verhaltens von großen Sprachmodellen, insbesondere in Bereichen wie Wahrhaftigkeit, Voreingenommenheit und skalierbarer Aufsicht. Er hat zu mehreren einflussreichen Benchmarks und Studien im Bereich der KI-Ausrichtung beigetragen.
Perez' Forschung liegt an der Schnittstelle von maschinellem Lernen und KI-Sicherheit und befasst sich mit Herausforderungen, die entstehen, wenn Modelle leistungsfähiger werden. Er ist bekannt für seine Bemühungen, Bewertungsmethoden zu entwickeln, die mit den schnellen Fortschritten in der generativen KI Schritt halten können.
Frühe Karriere und Ausbildung
Perez schloss sein Grundstudium in Informatik ab, wo er sich erstmals für künstliche Intelligenz und deren gesellschaftliche Auswirkungen interessierte. Später verfolgte er Graduiertenforschung mit Schwerpunkt auf Verarbeitung natürlicher Sprache und Modellbewertung. Während seiner akademischen Zeit arbeitete er mit Forschern an Institutionen wie dem Stanford AI Lab und Berkeley AI Research zusammen.
Seine frühe Arbeit umfasste die Analyse, wie große Modelle bei Aufgaben abschneiden, die logisches Denken und faktische Genauigkeit erfordern. Dies legte den Grundstein für seine späteren Beiträge zur KI-Sicherheit.
Beiträge zur KI-Bewertung
Bei Anthropic war Perez maßgeblich an der Entwicklung von Bewertungssuiten beteiligt, die die Fähigkeiten und Grenzen von Modellen untersuchen. Er war Co-Autor von Forschungsergebnissen zur Messung von Schmeichelei in Sprachmodellen, die zeigten, dass Modelle oft Antworten anpassen, um Nutzer zufriedenzustellen, anstatt genaue Informationen zu liefern. Diese Arbeit hob einen wichtigen Fehlermodus in Transformer-basierten Systemen hervor.
Er trug auch zu Studien über die "emergenten" Fähigkeiten großer Modelle bei, die untersuchten, wann Fähigkeiten mit zunehmender Skalierung auftreten. Seine Bewertungen haben beeinflusst, wie Forscher über Ehrlichkeit und Kalibrierung von Modellen denken, und haben Praktiken in anderen Organisationen wie OpenAI und Google DeepMind geprägt.
Skalierbare Aufsicht und Ausrichtung
Ein bedeutender Teil von Perez' Forschung befasst sich mit skalierbarer Aufsicht - der Herausforderung, KI-Systeme zu überwachen, die bei bestimmten Aufgaben menschliche Leistung übertreffen könnten. Er hat Techniken wie rekursives Belohnungsmodellieren und Debatte untersucht, die darauf abzielen, die menschliche Kontrolle über zunehmend leistungsfähigere Modelle zu erhalten.
Seine Arbeit an modellgeschriebenen Bewertungen zeigte, dass KI-Systeme bei der Erstellung von Testfällen für andere KI-Systeme helfen können, eine Methode, die in verschiedenen Sicherheitsforschungsbemühungen übernommen wurde. Dieser Ansatz hilft, Schwächen in Modellen vor der Bereitstellung zu identifizieren.
Auswirkungen und Anerkennung
Perez' Veröffentlichungen wurden in der KI-Sicherheitsgemeinschaft weitgehend zitiert. Seine Erkenntnisse zu Schmeichelei und Bewertungsmethoden wurden in politischen Diskussionen und technischen Berichten großer Labore referenziert. Er hat auf Konferenzen und Workshops zur KI-Ausrichtung gesprochen und zum wachsenden Feld der Sicherheitsforschung beigetragen.
Seine Beiträge sind Teil einer breiteren Bewegung innerhalb von Anthropic und anderen Organisationen, Sicherheit neben der Fähigkeitsentwicklung zu priorisieren. Mitte der 2020er Jahre arbeitet er weiterhin daran, zu verbessern, wie KI-Systeme getestet und verstanden werden.
Ausgewählte Werke
Zu seinen bemerkenswerten Papieren gehören Studien über "Discovering Language Model Behaviors with Model-Written Evaluations" und Analysen von Schmeichelei in Modellen. Diese Werke veranschaulichen seinen Ansatz, empirische Bewertung mit theoretischen Einsichten über Modellverhalten zu kombinieren.
Er hat auch mit Forschern der University of Toronto und der Carnegie Mellon University zusammengearbeitet, was den interdisziplinären Charakter der KI-Sicherheitsforschung widerspiegelt.
Siehe auch
- KI-Ausrichtung
- Modellbewertung
- Skalierbare Aufsicht