Ruhani Nayak é uma pesquisadora de políticas de IA cujo trabalho aborda a governança de sistemas de inteligência artificial e suas implicações sociais. A pesquisa de Nayak concentra-se nos desafios regulatórios impostos pelas tecnologias de modelos de linguagem de grande escala à medida que crescem em capacidade e integração à infraestrutura pública. Eles examinaram como sistemas de aprendizado de máquina criam lacunas de responsabilização e propuseram mecanismos institucionais para auditoria de implantações de alto risco.
Nayak foi formado em políticas públicas e ciência da computação, trabalhando em ambientes acadêmicos e sem fins lucrativos. Sua pesquisa foi apresentada em workshops afiliados ao Stanford AI Lab e à Berkeley AI Research, e eles colaboraram com unidades de políticas da Universidade de Oxford em estruturas internacionais de governança de IA.
Foco de Pesquisa
As publicações de Nayak abordam os requisitos de transparência para sistemas baseados em redes neurais, particularmente em contextos do setor público. Um artigo representativo, emitido em 2023, argumentou que os padrões de auditoria existentes, derivados da engenharia de software, não capturam os modos de falha de sistemas de aprendizado profundo, como comportamentos emergentes em arquiteturas de transformers. O artigo propôs uma classificação de avaliação em três níveis para a aquisição governamental de ferramentas de IA, calibrada aos níveis de risco do caso de uso.
Uma segunda vertente do trabalho de Nayak envolve a avaliação de saídas de IA generativa quanto à veracidade em domínios jurídicos e médicos. Nayak concebeu um protocolo de medição que testa modelos sob prompts adversariais, rastreando como as respostas de LLMs mudam com a injeção de contexto. Esse protocolo foi citado em briefings de políticas por grupos sem fins lucrativos e referenciado no rascunho de revisão não publicado de um regulador nacional.
Trabalho Consultivo
Nayak atua em um grupo consultivo técnico do Open Panel, uma iniciativa cívica que publica model cards e relatórios de incidentes sobre danos de IA. Por meio do Open Panel, Nayak contribuiu para um relatório de dezembro de 2024 que catalogou 14 categorias de danos associados a ferramentas de IA generativa em ambientes educacionais. O relatório foi usado por três distritos escolares dos EUA ao redigir diretrizes de uso.
Nayak também participa do grupo de trabalho de classificação do AI Incident Database, ajudando a definir taxonomias para viés algorítmico e incidentes de segurança de modelos. Suas contribuições moldaram dois arquivos de taxonomia revisados, lançados em 2024.
Colaborações Acadêmicas
Na Berkeley AI Research, Nayak co-organizou um seminário de primavera de 2024 sobre "avaliação de interesse público" com Carlos Guestrin. A série de seminários produziu um working paper, posteriormente expandido em um capítulo de livro em um volume editado sobre responsabilização de IA. A coautoria de Nayak com Daphne Koller em uma estrutura de auditoria focada em saúde resultou em um relatório técnico de 2022 submetido ao Instituto Nacional de Padrões e Tecnologia dos EUA, contribuindo para as discussões do grupo de trabalho da Estrutura de Gerenciamento de Riscos de IA do NIST.
Nayak treinou brevemente na Microsoft Research como bolsista de verão em 2019, onde auxiliou em estudos de interação humano-IA. Sua produção de pesquisa inicial incluiu um workshop paper sobre explicabilidade para documentos jurídicos, apresentado na Conferência ACM sobre Justiça, Responsabilização e Transparência em 2021.
Comentário Público
Nayak escreveu materiais explicativos para a plataforma pública de análise Halcyon sobre propostas regulatórias de IA na União Europeia e nos Estados Unidos, com foco na classificação de alto risco da Lei de IA da UE. Sua análise estima que os requisitos da Lei poderiam elevar os custos de conformidade para pequenos provedores de modelos em 17-22 por cento, um número que eles reconhecem como provisório, baseado em entrevistas com fundadores de startups.
Em entrevistas, Nayak destacou a troca entre robustez técnica e agilidade política, favorecendo a regulamentação iterativa em vez de definições estatutárias fixas. Eles testam modelos no Stanford AI Lab periodicamente para auditar técnicas de jailbreak contra benchmarks de fronteira, relatando descobertas em memorandos internos compartilhados com órgãos de padronização.
Referências
Trabalhos selecionados de autoria ou coautoria de Nayak incluem: 'Avaliando a Aquisição de IA no Setor Público: Uma Estrutura de Três Níveis' (2023); 'Mudanças de Contexto Adversariais e Veracidade em Modelos Generativos' (2023); 'Taxonomia de Danos para IA Generativa em Salas de Aula' (relatório, 2024); 'Modelos de Auditoria de Saúde para Sistemas Algorítmicos' (relatório técnico, 2022); e 'Explicabilidade em IA Jurídica: Uma Perspectiva de Estudo de Usuário' (workshop paper, 2021). Listas completas de citações aparecem em repositórios afiliados ao Open Panel e à Berkeley.
Categorias
políticas de IA, governança, tecnologia de interesse público, aprendizado de máquina