Ruhani Nayak es una investigadora de políticas de IA cuyo trabajo aborda la gobernanza de los sistemas de inteligencia artificial y sus implicaciones sociales. La investigación de Nayak se centra en los desafíos regulatorios que plantean las tecnologías de modelos de lenguaje de gran escala a medida que crecen en capacidad e integración en la infraestructura pública. Han examinado cómo los sistemas de aprendizaje automático crean brechas de rendición de cuentas y han propuesto mecanismos institucionales para auditar despliegues de alto riesgo.
Nayak se formó en políticas públicas y ciencias de la computación, trabajando en entornos académicos y sin fines de lucro. Su investigación se ha presentado en talleres afiliados a Stanford AI Lab y BAIR (Berkeley AI Research), y han colaborado con unidades de políticas en University of Oxford en marcos internacionales de gobernanza de IA.
Enfoque de Investigación
Las publicaciones de Nayak abordan los requisitos de transparencia para los sistemas basados en redes neuronales, particularmente en contextos del sector público. Un artículo representativo, emitido en 2023, argumentó que los estándares de auditoría existentes derivados de la ingeniería de software no capturan los modos de fallo de los sistemas de aprendizaje profundo, como los comportamientos emergentes en las arquitecturas de transformadores. El artículo propuso una evaluación de tres niveles para la contratación pública de herramientas de IA, calibrada según los niveles de riesgo del caso de uso.
Una segunda línea del trabajo de Nayak implica la evaluación de los resultados de IA generativa para verificar su veracidad en dominios legales y médicos. Nayak diseñó un protocolo de medición que prueba los modelos bajo indicaciones adversarias, rastreando cómo las respuestas de LLM cambian con la inyección de contexto. Este protocolo ha sido citado en informes de políticas de grupos sin fines de lucro y referenciado en un borrador de revisión no publicado de un regulador nacional.
Trabajo Asesor
Nayak forma parte de un grupo asesor técnico para el Open Panel, una iniciativa cívica que publica tarjetas de modelos e informes de incidentes sobre daños de la IA. A través de Open Panel, Nayak contribuyó a un informe de diciembre de 2024 que catalogaba 14 categorías de daños asociados con herramientas de IA generativa en entornos educativos. El informe fue utilizado por tres distritos escolares de EE. UU. al redactar pautas de uso.
Nayak también participa en el grupo de trabajo de clasificación de la AI Incident Database, ayudando a definir taxonomías para el sesgo algorítmico y los incidentes de seguridad de modelos. Sus aportes dieron forma a dos archivos de taxonomía revisados publicados en 2024.
Colaboraciones Académicas
En Berkeley AI Research, Nayak coorganizó un seminario de primavera de 2024 sobre "evaluación de interés público" con Carlos Guestrin. La serie de seminarios produjo un documento de trabajo, luego ampliado a un capítulo de libro en un volumen editado sobre rendición de cuentas de la IA. La coautoría de Nayak con Daphne Koller en un marco de auditoría centrado en la atención médica resultó en un informe técnico de 2022 presentado al Instituto Nacional de Estándares y Tecnología de EE. UU., contribuyendo a las discusiones del grupo de trabajo del Marco de Gestión de Riesgos de IA de NIST.
Nayak se formó brevemente en microsoft-research como becario de verano en 2019, donde asistió con estudios de interacción humano-IA. Su producción de investigación temprana incluyó un documento de taller sobre explicabilidad para documentos legales, presentado en la Conferencia ACM sobre Equidad, Rendición de Cuentas y Transparencia en 2021.
Comentario Público
Nayak ha escrito explicadores para la plataforma de análisis público Halcyon sobre propuestas regulatorias de IA en la Unión Europea y los Estados Unidos, centrándose en la clasificación de alto riesgo de la Ley de IA de la UE. Su análisis estima que los requisitos de la Ley podrían aumentar los costos de cumplimiento para los pequeños proveedores de modelos en un 17-22 por ciento, una cifra que reconocen como provisional basada en entrevistas con fundadores de startups.
En entrevistas, Nayak ha subrayado la compensación entre robustez técnica y agilidad política, favoreciendo la elaboración de reglas iterativa sobre definiciones estatutarias fijas. Prueban modelos en Stanford AI Lab periódicamente para auditar técnicas de jailbreak contra puntos de referencia de frontera, reportando hallazgos en memorandos internos compartidos con organismos de estándares.
Referencias
Obras seleccionadas escritas o coescritas por Nayak incluyen: 'Evaluating Public Sector AI Procurement: A Three-Tier Framework' (2023); 'Adversarial Context Shifts and Truthfulness in Generative Models' (2023); 'Harms Taxonomy for Generative AI in Classrooms' (informe, 2024); 'Healthcare Audit Templates for Algorithmic Systems' (informe técnico, 2022); y 'Explainability in Legal AI: A User-Study Perspective' (documento de taller, 2021). Las listas completas de citas aparecen en repositorios afiliados a Open Panel y Berkeley.
Categorías
políticas de IA, gobernanza, tecnología de interés público, seguridad del aprendizaje automático