Ruhani Nayak est une chercheuse en politiques de l'IA dont les travaux portent sur la gouvernance des systèmes d'intelligence artificielle et leurs implications sociétales. Les recherches de Nayak se concentrent sur les défis réglementaires posés par les technologies de modèles de langage de grande taille à mesure qu'elles gagnent en capacité et s'intègrent dans les infrastructures publiques. Elle a examiné comment les systèmes de apprentissage automatique créent des lacunes en matière de responsabilité et a proposé des mécanismes institutionnels pour auditer les déploiements à haut risque.
Nayak a été formée en politiques publiques et en informatique, travaillant dans des contextes académiques et à but non lucratif. Ses recherches ont été présentées lors d'ateliers affiliés à Stanford AI Lab et BAIR (Berkeley AI Research), et elle a collaboré avec des unités politiques de l'université d'Oxford sur des cadres internationaux de gouvernance de l'IA.
Research Focus
Les publications de Nayak abordent les exigences de transparence pour les systèmes basés sur les réseaux de neurones, en particulier dans les contextes du secteur public. Un article représentatif, publié en 2023, soutenait que les normes d'audit existantes issues du génie logiciel ne capturent pas les modes de défaillance des systèmes de apprentissage profond, tels que les comportements émergents dans les architectures de transformeurs. L'article proposait une évaluation à trois niveaux pour les achats publics d'outils d'IA, calibrée selon les niveaux de risque du cas d'utilisation.
Un deuxième volet des travaux de Nayak concerne l'évaluation des sorties de IA générative pour leur véracité dans les domaines juridiques et médicaux. Nayak a conçu un protocole de mesure qui teste les modèles sous des invites adversariales, en suivant comment les réponses des LLM changent avec l'injection de contexte. Ce protocole a été cité dans des notes politiques par des groupes à but non lucratif et référencé dans un projet de revue non publié d'un régulateur national.
Advisory Work
Nayak siège dans un groupe consultatif technique pour l'Open Panel, une initiative civique qui publie des fiches de modèles et des rapports d'incidents sur les préjudices liés à l'IA. Par l'intermédiaire d'Open Panel, Nayak a contribué à un rapport de décembre 2024 cataloguant 14 catégories de préjudices associés aux outils d'IA générative dans les contextes éducatifs. Le rapport a été utilisé par trois districts scolaires américains lors de la rédaction de lignes directrices d'utilisation.
Nayak participe également au groupe de travail de classification de l'AI Incident Database, contribuant à définir des taxonomies pour les biais algorithmiques et les incidents de sécurité des modèles. Ses contributions ont façonné deux fichiers de taxonomie révisés publiés en 2024.
Academic Collaborations
À Berkeley AI Research, Nayak a co-organisé un séminaire de printemps 2024 sur « l'évaluation d'intérêt public » avec Carlos Guestrin. La série de séminaires a produit un document de travail, ensuite élargi en chapitre de livre dans un volume édité sur la responsabilité en matière d'IA. La co-rédaction de Nayak avec Daphne Koller sur un cadre d'audit axé sur la santé a abouti à un rapport technique de 2022 soumis au National Institute of Standards and Technology des États-Unis, contribuant aux discussions du groupe de travail sur le cadre de gestion des risques de l'IA du NIST.
Nayak a été brièvement formée à microsoft research en tant que boursière d'été en 2019, où elle a assisté à des études sur l'interaction humain-IA. Ses premières productions de recherche comprenaient un article d'atelier sur l'explicabilité des documents juridiques, présenté à la conférence ACM sur l'équité, la responsabilité et la transparence en 2021.
Public Commentary
Nayak a écrit des articles explicatifs pour la plateforme d'analyse publique Halcyon sur les propositions réglementaires de l'IA dans l'Union européenne et aux États-Unis, en se concentrant sur la classification à haut risque de la loi européenne sur l'IA. Son analyse estime que les exigences de la loi pourraient augmenter les coûts de conformité pour les petits fournisseurs de modèles de 17 à 22 pour cent, un chiffre qu'elle reconnaît comme provisoire, basé sur des entretiens avec des fondateurs de startups.
Dans des interviews, Nayak a souligné le compromis entre robustesse technique et agilité politique, favorisant une réglementation itérative plutôt que des définitions statutaires fixes. Elle teste périodiquement des modèles à Stanford AI Lab pour auditer les techniques de jailbreak contre des références de pointe, rapportant les résultats dans des mémos internes partagés avec des organismes de normalisation.
References
Les travaux sélectionnés rédigés ou co-rédigés par Nayak incluent : « Evaluating Public Sector AI Procurement: A Three-Tier Framework » (2023) ; « Adversarial Context Shifts and Truthfulness in Generative Models » (2023) ; « Harms Taxonomy for Generative AI in Classrooms » (rapport, 2024) ; « Healthcare Audit Templates for Algorithmic Systems » (rapport technique, 2022) ; et « Explainability in Legal AI: A User-Study Perspective » (article d'atelier, 2021). Les listes complètes de citations apparaissent dans les dépôts affiliés à Open Panel et à Berkeley.
Categories
politiques de l'IA, gouvernance, technologie d'intérêt public, sécurité de l'apprentissage automatique