루하니 나약(Ruhani Nayak)은 인공지능 시스템의 거버넌스와 그 사회적 영향력을 다루는 AI 정책 연구자이다. 나약의 연구는 대규모 언어 모델 기술이 성장하고 공공 인프라에 통합됨에 따라 제기되는 규제 과제에 초점을 맞춘다. 이들은 머신러닝 시스템이 책임성 공백을 어떻게 만들어내는지 조사하고, 고위험 배포를 감사하기 위한 제도적 메커니즘을 제안해 왔다.
나약은 공공 정책과 컴퓨터 과학을 전공했으며, 학계와 비영리 환경에서 활동해 왔다. 이들의 연구는 스탠포드 AI 연구소 및 버클리 AI 연구 관련 워크숍에서 발표되었으며, 옥스퍼드 대학교의 정책 부서와 국제 AI 거버넌스 프레임워크에 대해 협력해 왔다.
연구 초점
나약의 출판물은 특히 공공 부문 맥락에서 신경망 기반 시스템의 투명성 요구 사항을 다룬다. 2023년에 발표된 대표 논문은 소프트웨어 공학에서 도출된 기존 감사 기준이 딥러닝 시스템의 실패 모드(예: 트랜스포머 아키텍처의 창발적 행동)를 포착하지 못한다고 주장했다. 이 논문은 AI 도구의 정부 조달을 위한 3단계 평가 체계를 제안했으며, 사용 사례의 위험 수준에 따라 보정되었다.
나약 연구의 두 번째 축은 법률 및 의료 영역에서 생성형 AI 출력의 진실성을 평가하는 것이다. 나약은 적대적 프롬프트 하에서 모델을 테스트하고, 맥락 주입에 따라 LLM 응답이 어떻게 변화하는지 추적하는 측정 프로토콜을 고안했다. 이 프로토콜은 비영리 단체의 정책 브리핑에서 인용되었으며, 한 국가 규제 기관의 미공개 검토 초안에서도 참조되었다.
자문 활동
나약은 모델 카드와 AI 피해 사고 보고서를 발행하는 시민 이니셔티브인 오픈 패널(Open Panel)의 기술 자문 그룹에서 활동한다. 오픈 패널을 통해 나약은 교육 환경에서 생성형 AI 도구와 관련된 14가지 피해 범주를 목록화한 2024년 12월 보고서에 기여했다. 이 보고서는 미국의 3개 학군이 사용 지침을 작성할 때 활용되었다.
나약은 또한 AI 사고 데이터베이스(AI Incident Database)의 분류 작업 그룹에 참여하여 알고리즘 편향 및 모델 보안 사고에 대한 분류 체계를 정의하는 데 기여했다. 이들의 기여는 2024년에 발표된 두 개의 수정된 분류 파일에 반영되었다.
학술 협력
버클리 AI 연구(Berkeley AI Research)에서 나약은 카를로스 게스트린과 함께 2024년 봄 "공공 이익 평가" 세미나를 공동 주최했다. 이 세미나 시리즈는 작업 논문을 생산했으며, 이후 AI 책임성에 관한 편집 저서의 한 장으로 확장되었다. 나약은 다프네 콜러와 함께 의료 중심 감사 프레임워크를 공동 저술하여 2022년 기술 보고서를 미국 국립표준기술연구소(NIST)에 제출했으며, 이는 NIST AI 위험 관리 프레임워크 작업 그룹 논의에 기여했다.
나약은 2019년 여름 펠로우로 마이크로소프트 리서치에서 잠시 훈련을 받았으며, 인간-AI 상호작용 연구를 지원했다. 이들의 초기 연구 성과에는 2021년 ACM 공정성, 책임성, 투명성 학회에서 발표된 법률 문서 설명 가능성에 관한 워크숍 논문이 포함된다.
공개 논평
나약은 공공 분석 플랫폼인 할시온(Halcyon)에 EU 및 미국의 AI 규제 제안, 특히 EU AI 법의 고위험 분류에 관한 해설을 작성해 왔다. 이들의 분석은 이 법의 요구 사항이 소규모 모델 제공업체의 규제 준수 비용을 17~22% 증가시킬 수 있다고 추정하며, 이 수치는 스타트업 창업자와의 인터뷰에 기반한 잠정적 수치임을 인정한다.
인터뷰에서 나약은 기술적 견고성과 정책 민첩성 사이의 균형을 강조하며, 고정된 법적 정의보다 반복적 규칙 제정을 선호한다. 이들은 스탠포드 AI 연구소에서 주기적으로 모델을 테스트하여 최첨단 벤치마크에 대한 탈옥 기술을 감사하고, 표준 기구와 공유되는 내부 메모에 결과를 보고한다.
참고 문헌
나약이 저술하거나 공동 저술한 주요 저작으로는 '공공 부문 AI 조달 평가: 3단계 프레임워크' (2023); '적대적 맥락 변화와 생성 모델의 진실성' (2023); '교실 내 생성형 AI 피해 분류 체계' (보고서, 2024); '알고리즘 시스템을 위한 의료 감사 템플릿' (기술 보고서, 2022); 및 '법률 AI의 설명 가능성: 사용자 연구 관점' (워크숍 논문, 2021)이 있다. 전체 인용 목록은 오픈 패널 및 버클리 관련 저장소에 게재되어 있다.
분류
ai 정책, 거버넌스, 공공 이익 기술, 머신러닝 안전