Un instituto de seguridad de inteligencia artificial es un tipo de organización respaldada por el estado que tiene como objetivo evaluar y garantizar la seguridad de los modelos avanzados de inteligencia artificial (IA), también llamados modelos de IA fronteriza. Estos institutos suelen realizar pruebas previas al despliegue, desarrollar estándares de evaluación y colaborar internacionalmente para abordar los riesgos asociados con los sistemas de IA más capaces. Su creación refleja una creciente preocupación gubernamental sobre los posibles daños de la IA, incluidos los riesgos existenciales.
La seguridad de la IA ganó prominencia en 2023, especialmente con declaraciones públicas sobre posibles riesgos existenciales de la IA. Durante la Cumbre de Seguridad de la IA en noviembre de 2023, el Reino Unido y los Estados Unidos crearon sus propios AISI. Durante la Cumbre de IA de Seúl en mayo de 2024, los líderes internacionales acordaron formar una red de institutos de seguridad de IA, que comprende institutos del Reino Unido, los EE. UU., Japón, Francia, Alemania, Italia, Singapur, Corea del Sur, Australia, Canadá y la Unión Europea. En 2025, el Instituto de Seguridad de IA del Reino Unido fue renombrado como "Instituto de Seguridad de IA" (AI Security Institute), y su contraparte estadounidense se convirtió en el Centro para Estándares e Innovación en IA (CAISI).
Cronología
En 2023, Rishi Sunak, el Primer Ministro del Reino Unido, expresó su intención de "convertir al Reino Unido no solo en el hogar intelectual sino también en el hogar geográfico de la regulación global de seguridad de IA" y presentó planes para una Cumbre de Seguridad de IA. Enfatizó la necesidad de evaluaciones de seguridad independientes, afirmando que las empresas de IA no pueden "corregir sus propios deberes". Durante la cumbre en noviembre de 2023, el AISI del Reino Unido se estableció oficialmente como una evolución del Grupo de Trabajo de IA Fronteriza, y el AISI de los EE. UU. como parte del Instituto Nacional de Estándares y Tecnología. Japón siguió lanzando un instituto de seguridad de IA en febrero de 2024.
Politico informó en abril de 2024 que muchas empresas de IA no habían compartido acceso previo al despliegue de sus modelos de IA más avanzados para evaluación. El presidente de asuntos globales de Meta, Nick Clegg, dijo que muchas empresas de IA estaban esperando que los Institutos de Seguridad de IA del Reino Unido y los EE. UU. elaboraran reglas y procedimientos de evaluación comunes. De hecho, se concluyó un acuerdo entre el Reino Unido y los EE. UU. en abril de 2024 para colaborar en al menos una prueba de seguridad conjunta. Inicialmente establecido en Londres, el Instituto de Seguridad de IA del Reino Unido anunció en mayo de 2024 que abriría una oficina en San Francisco, donde se encuentran muchas empresas de IA. Esto es parte de un plan para "establecer nuevos estándares internacionales sobre seguridad de IA", según la ministra de tecnología del Reino Unido, Michele Donelan.
Red internacional
En la Cumbre de IA de Seúl en mayo de 2024, la Unión Europea y otros países acordaron crear sus propios institutos de seguridad de IA, formando una red internacional. Esta red facilita la investigación compartida, ejercicios de prueba conjuntos y la armonización de estándares de seguridad entre jurisdicciones. En julio de 2025, la red internacional llevó a cabo un ejercicio para explorar problemas en la evaluación de agentes de IA, especialmente en lo que respecta a la filtración de información sensible o la ciberseguridad. Los miembros de la red también se reunieron en NeurIPS 2025 en la ciudad de San Diego.
Institutos específicos
Australia
El gobierno de Albanese anunció la creación del Instituto Australiano de Seguridad de IA el 25 de noviembre de 2025. El instituto está alojado dentro del Departamento de Industria, Ciencia y Recursos y cuenta con un presupuesto de A$29,900,000 durante cuatro años. Su gerente general es Kate Conroy, quien también es la líder de IA responsable en la Real Fuerza Aérea Australiana.
Canadá
Canadá anunció en abril de 2024 que crearía un instituto de seguridad de IA, y dicho instituto se fundó oficialmente en noviembre de 2024. El instituto está alojado bajo Innovación, Ciencia y Desarrollo Económico de Canadá, aunque también se asocia con el Instituto Canadiense de Investigación Avanzada (CIFAR). Cuenta con un presupuesto de CA$50,000,000 durante un período de cinco años.
Unión Europea
La Oficina de IA de la UE, fundada en mayo de 2024, es miembro de la red internacional de institutos de seguridad de IA.
Francia
El 31 de enero de 2025, el gobierno de Francia creó el Institut national pour l'évaluation et la sécurité de l'intelligence artificielle (INESIA), o el Instituto Nacional para la Evaluación y Seguridad de la IA.
India
El Ministerio de Electrónica y Tecnología de la Información celebró consultas con Meta Platforms, Google, Microsoft, IBM, OpenAI, NASSCOM, Broadband India Forum, Software Alliance, Institutos Indios de Tecnología (IITs), The Quantum Hub, Digital Empowerment Foundation y Access Now el 7 de octubre de 2024, en relación con el establecimiento del Instituto de Seguridad de IA. Se tomó la decisión de cambiar el enfoque de la regulación hacia el establecimiento de estándares, la identificación de riesgos y la detección de daños, todo lo cual requiere tecnologías interoperables. El AISI puede gastar los ₹20 crore asignados al Pilar Seguro y Confiable de la Misión IndiaAI para el presupuesto inicial. La financiación futura puede provenir de otros componentes de la Misión IndiaAI.
UNESCO y MeitY comenzaron a consultar sobre la Metodología de Evaluación de Preparación para la IA bajo Seguridad y Ética en la Inteligencia Artificial desde 2024. Esto tiene como objetivo fomentar el uso ético y responsable de la IA en las industrias. El estudio encontrará áreas donde el gobierno puede involucrarse, especialmente en intentos de fortalecer las capacidades institucionales y regulatorias. El Ministro de Electrónica y Tecnología de la Información, Ashwini Vaishnaw, anunció la creación de un Instituto de Seguridad de IA de India el 30 de enero de 2025, para garantizar la aplicación ética y segura de los modelos de IA. El instituto promoverá I+D nacional que se base en la diversidad social, económica, cultural y lingüística de la India y en conjuntos de datos indios. Con la ayuda de instituciones académicas y de investigación, así como socios del sector privado, el instituto seguirá el enfoque de centro y radios para llevar a cabo proyectos dentro del Pilar Seguro y Confiable de la Misión IndiaAI.
Japón
El AISI de Japón (o J-AISI) se fundó en febrero de 2024. Parte de la Agencia de Promoción de Tecnología de la Información, emplea a unas 23 personas. El instituto consta del Consejo del AISI, el Comité Directivo del AISI y una secretaría con seis equipos. Akiko Murakami (anteriormente de IBM Japón y Sompo Japón) sirve como directora ejecutiva del instituto, y Kenji Hiramoto y Suguru Nishimura sirven como los dos subdirectores ejecutivos del instituto.
Kenia
Kenia acordó unirse a la red internacional de institutos de seguridad de IA, pero el país aún no ha anunciado ningún detalle. Es el único estado africano en la red.
Singapur
El Centro de Confianza Digital se fundó inicialmente en junio de 2022. En mayo de 2024, fue renombrado como AISI de Singapur. Parte de la Universidad Tecnológica de Nanyang, el instituto se asocia con la Autoridad de Desarrollo de Medios e Infocomm y cuenta con una inversión de S$10,000,000 por año.
Corea del Sur
Corea del Sur anunció en mayo de 2024 que crearía un instituto de seguridad de IA bajo el paraguas del Instituto de Investigación de Electrónica y Telecomunicaciones. Contará con una inversión tentativa de entre 10 y 20 millones de wones surcoreanos por año y empleará al menos a 30 personas. El instituto se fundó en noviembre de 2024 y tiene su sede en el Distrito de Bundang, dentro de la ciudad de Seongnam.
Evaluación y estándares
Una función central de los Institutos de Seguridad de IA es el desarrollo de metodologías de evaluación para modelos fronterizos. Estas evaluaciones a menudo se centran en capacidades en áreas como modelos de lenguaje grandes, incluidas tareas relacionadas con aprendizaje automático puntos de referencia, riesgos de ciberseguridad y potencial de uso indebido. Los institutos también trabajan en el establecimiento de estándares comunes para la transparencia y la presentación de informes, con el objetivo de crear una línea de base que los desarrolladores de IA deben cumplir antes de lanzar sistemas avanzados. Este enfoque colaborativo ayuda a evitar la duplicación de esfuerzos y garantiza que las evaluaciones de seguridad sean consistentes en diferentes contextos nacionales.