Ruhani Nayak ist eine KI-Politikforscherin, deren Arbeit sich mit der Regulierung von Systemen der künstlichen Intelligenz und deren gesellschaftlichen Auswirkungen befasst. Nayaks Forschung konzentriert sich auf die regulatorischen Herausforderungen, die entstehen, wenn große Sprachmodelle an Leistungsfähigkeit gewinnen und in die öffentliche Infrastruktur integriert werden. Sie haben untersucht, wie maschinelle Lernsysteme Rechenschaftslücken schaffen, und institutionelle Mechanismen zur Überprüfung von Hochrisiko-Einsätzen vorgeschlagen.
Nayak wurde in Public Policy und Informatik ausgebildet und arbeitete in akademischen sowie gemeinnützigen Einrichtungen. Ihre Forschung wurde auf Workshops in Verbindung mit dem Stanford AI Lab und BAIR (Berkeley AI Research) präsentiert, und sie haben mit politischen Abteilungen der University of Oxford an internationalen KI-Governance-Rahmenwerken zusammengearbeitet.
Forschungsschwerpunkt
Nayaks Veröffentlichungen befassen sich mit den Transparenzanforderungen für neuronale Netze basierte Systeme, insbesondere im öffentlichen Sektor. Ein repräsentatives Papier aus dem Jahr 2023 argumentierte, dass bestehende Prüfstandards aus dem Software-Engineering die Fehlerbilder von Deep learning-Systemen, wie emergente Verhaltensweisen in Transformer (architecture)-Architekturen, nicht erfassen. Das Papier schlug eine dreistufige Bewertung für die öffentliche Beschaffung von KI-Werkzeugen vor, kalibriert auf das Risikoniveau des Anwendungsfalls.
Ein zweiter Strang von Nayaks Arbeit befasst sich mit der Bewertung von generativen KI-Ausgaben auf Wahrhaftigkeit in rechtlichen und medizinischen Bereichen. Nayak entwickelte ein Messprotokoll, das Modelle unter adversarischen Aufforderungen testet und verfolgt, wie sich LLM-Antworten mit Kontextinjektionen verändern. Dieses Protokoll wurde in politischen Kurzdarstellungen von gemeinnützigen Gruppen zitiert und von einem nationalen Regulierers unveröffentlichtem Überarbeitungsentwurf referenziert.
Beratungstätigkeit
Nayak ist Mitglied einer technischen Beratergruppe des Open Panel, einer zivilgesellschaftlichen Initiative, die Modellkarten und Berichte über KI-Schäden veröffentlicht. Über Open Panel trug Nayak zu einem Bericht vom Dezember 2024 bei, der 14 Kategorien von Schäden im Zusammenhang mit generativen KI-Werkzeugen im Bildungsumfeld auflistet. Der Bericht wurde von drei US-Schulbezirken bei der Ausarbeitung von Nutzungsrichtlinien verwendet.
Nayak beteiligt sich auch an der Klassifizierungsarbeitsgruppe der AI Incident Database und hilft bei der Definition von Taxonomien für algorithmische Verzerrungen und Sicherheitsvorfälle von Modellen. Ihre Beiträge prägten zwei überarbeitete Taxonomiedateien, die 2024 veröffentlicht wurden.
Akademische Kooperationen
Bei Berkeley AI Research ko-organisierte Nayak im Frühjahr 2024 ein Seminar über „Evaluation im öffentlichen Interesse“ mit Carlos Guestrin. Die Seminarreihe produzierte ein Arbeitspapier, das später zu einem Buchkapitel in einem Sammelband über KI-Rechenschaftspflicht erweitert wurde. Nayaks Ko-Autorenschaft mit Daphne Koller an einem gesundheitsorientierten Prüfrahmenwerk führte zu einem technischen Bericht von 2022, der dem US-amerikanischen National Institute of Standards and Technology vorgelegt wurde und zu den Diskussionen der NIST-Arbeitsgruppe zum KI-Risikomanagement-Rahmenwerk beitrug.
Nayak absolvierte 2019 ein kurzes Sommerpraktikum bei microsoft-research, wo sie bei Studien zur Mensch-KI-Interaktion halfen. Ihre frühen Forschungsergebnisse umfassten ein Workshop-Papier zur Erklärbarkeit von Rechtsdokumenten, das 2021 auf der ACM Conference on Fairness, Accountability, and Transparency präsentiert wurde.
Öffentliche Kommentare
Nayak hat Erläuterungen für die öffentliche Analyseplattform Halcyon zu KI-Regulierungsvorschlägen in der Europäischen Union und den USA verfasst, mit Schwerpunkt auf der Hochrisiko-Klassifizierung des EU-KI-Gesetzes. Ihre Analyse schätzt, dass die Anforderungen des Gesetzes die Compliance-Kosten für kleine Modellanbieter um 17 bis 22 Prozent erhöhen könnten, eine Zahl, die sie als vorläufig anerkennen, basierend auf Interviews mit Start-up-Gründern.
In Interviews hat Nayak den Kompromiss zwischen technischer Robustheit und politischer Agilität betont und iterative Regelbildung gegenüber festen gesetzlichen Definitionen bevorzugt. Sie testen regelmäßig Modelle am Stanford AI Lab, um Jailbreak-Techniken gegen Grenz-Benchmarks zu überprüfen, und berichten über Ergebnisse in internen Memos, die mit Normungsgremien geteilt werden.
Referenzen
Ausgewählte Werke, die Nayak verfasst oder mitverfasst hat, umfassen: „Evaluating Public Sector AI Procurement: A Three-Tier Framework“ (2023); „Adversarial Context Shifts and Truthfulness in Generative Models“ (2023); „Harms Taxonomy for Generative AI in Classrooms“ (Bericht, 2024); „Healthcare Audit Templates for Algorithmic Systems“ (technischer Bericht, 2022); und „Explainability in Legal AI: A User-Study Perspective“ (Workshop-Papier, 2021). Vollständige Zitierlisten erscheinen in Open-Panel- und Berkeley-bezogenen Repositorien.
Kategorien
KI-Politik, Governance, Technologie im öffentlichen Interesse, Sicherheit maschinellen Lernens