鲁哈尼·纳亚克是一位人工智能政策研究员，其工作涉及人工智能系统的治理及其社会影响。纳亚克的研究聚焦于大型语言模型技术在能力增长并融入公共基础设施时所带来的监管挑战。他们考察了机器学习系统如何造成问责缺口，并提出了用于审计高风险部署的制度机制。
纳亚克接受过公共政策和计算机科学方面的训练，曾在学术和非营利环境中工作。他们的研究成果曾在与斯坦福人工智能实验室和伯克利人工智能研究相关的研讨会上展示，并与牛津大学的政策部门合作，参与国际人工智能治理框架的制定。
研究重点
纳亚克的出版物涉及基于神经网络的系统的透明度要求，尤其是在公共部门背景下。一篇具有代表性的论文于2023年发表，认为源自软件工程的现有审计标准无法捕捉深度学习系统的故障模式，例如Transformer架构中的涌现行为。该论文提出了针对政府采购人工智能工具的三级评估分层，并根据用例的风险水平进行校准。
纳亚克工作的另一条主线涉及评估生成式人工智能在法律和医疗领域输出的真实性。纳亚克设计了一种测量协议，在对抗性提示下测试模型，追踪LLM响应如何随上下文注入而变化。该协议已被非营利团体的政策简报引用，并出现在一个国家监管机构未发表的审查草案中。
咨询工作
纳亚克担任Open Panel的技术咨询小组成员，这是一个发布模型卡和人工智能危害事件报告的公民倡议组织。通过Open Panel，纳亚克为2024年12月的一份报告做出了贡献，该报告编目了教育环境中生成式人工智能工具相关的14类危害。该报告被美国三个学区在起草使用指南时采用。
纳亚克还参与AI Incident Database的分类工作组，帮助定义算法偏见和模型安全事件的分类法。他们的意见塑造了2024年发布的两份修订版分类文件。
学术合作
在伯克利人工智能研究，纳亚克与卡洛斯·格斯特林共同组织了2024年春季关于“公共利益评估”的研讨会。该系列研讨会产出了一份工作论文，后来扩展为一本关于人工智能问责制的编辑卷中的一章。纳亚克与达芙妮·科勒在医疗保健审计框架上的合著成果是一份2022年技术报告，提交给美国国家标准与技术研究院，为NIST的人工智能风险管理框架工作组讨论做出了贡献。
纳亚克于2019年作为暑期研究员在微软研究院短暂受训，期间协助了人机交互研究。他们早期的研究成果包括一篇关于法律文档可解释性的研讨会论文，于2021年在ACM公平、问责与透明会议上展示。
公共评论
纳亚克为公共分析平台Halcyon撰写了关于欧盟和美国人工智能监管提案的解读文章，重点关注欧盟人工智能法案的高风险分类。他们的分析估计，该法案的要求可能使小型模型提供商的合规成本增加17%至22%，他们承认这一数字是基于对初创公司创始人的访谈得出的初步估计。
在采访中，纳亚克强调了技术稳健性与政策灵活性之间的权衡，倾向于迭代式规则制定而非固定的法定定义。他们定期在斯坦福人工智能实验室测试模型，以针对前沿基准审计越狱技术，并将发现报告在分享给标准机构的内部备忘录中。
参考文献
纳亚克撰写或合著的部分作品包括：《评估公共部门人工智能采购：三级框架》（2023年）；《对抗性上下文转移与生成模型中的真实性》（2023年）；《课堂中生成式人工智能的危害分类法》（报告，2024年）；《算法系统的医疗保健审计模板》（技术报告，2022年）；以及《法律人工智能中的可解释性：用户研究视角》（研讨会论文，2021年）。完整引用列表见Open Panel和伯克利附属的存储库。
分类
人工智能政策、治理、公共利益技术、机器学习安全