La seguridad de la IA es un campo interdisciplinario centrado en prevenir accidentes, usos indebidos u otras consecuencias perjudiciales que surjan de los sistemas de inteligencia artificial. Abarca la alineación de la IA, que busca garantizar que los sistemas de IA se comporten según lo previsto, la supervisión de los sistemas de IA para detectar riesgos y la mejora de su robustez. El campo se preocupa particularmente por los riesgos existenciales que plantean los modelos de IA avanzados, pero también aborda problemas a corto plazo como el sesgo, la vigilancia y las amenazas cibernéticas.
Más allá de la investigación técnica, la seguridad de la IA implica el desarrollo de normas y políticas que promuevan la seguridad, incluida la promoción de regulaciones en diferentes niveles de gobierno. El campo ganó popularidad significativa en 2023, con el rápido progreso de la IA generativa y las preocupaciones públicas expresadas por investigadores y directores ejecutivos sobre los peligros potenciales. Durante la Cumbre de Seguridad de la IA de 2023, los Estados Unidos y el Reino Unido establecieron cada uno su propio Instituto de Seguridad de la IA. Sin embargo, los investigadores han expresado su preocupación de que las medidas de seguridad de la IA no estén a la par con el rápido desarrollo de las capacidades de la IA.
Motivaciones
Los académicos discuten los riesgos actuales derivados de fallos críticos de los sistemas, el sesgo y la vigilancia habilitada por la IA, así como los riesgos emergentes como el desempleo tecnológico, la manipulación digital, la armamentización, los ciberataques habilitados por la IA y el bioterrorismo. También discuten los riesgos especulativos de perder el control de futuros agentes de inteligencia general artificial (AGI), o de que la IA permita dictaduras perpetuamente estables.
Seguridad existencial
Algunos han criticado las preocupaciones sobre la AGI, como Andrew Ng, quien las comparó en 2015 con "preocuparse por la superpoblación en Marte cuando aún no hemos puesto un pie en el planeta". Stuart J. Russell, por otro lado, insta a la precaución, argumentando que "es mejor anticipar el ingenio humano que subestimarlo".
Los investigadores de IA tienen opiniones muy diversas sobre la gravedad y las fuentes principales de riesgo que plantea la tecnología de IA, aunque las encuestas sugieren que los expertos se toman en serio los riesgos de alta consecuencia. En dos encuestas a investigadores de IA, el encuestado mediano era optimista sobre la IA en general, pero asignaba una probabilidad del 5% a un resultado "extremadamente malo (por ejemplo, la extinción humana)" de la IA avanzada. En una encuesta de 2022 a la comunidad de procesamiento del lenguaje natural, el 37% estuvo de acuerdo o débilmente de acuerdo en que es plausible que las decisiones de la IA puedan conducir a una catástrofe que sea "al menos tan mala como una guerra nuclear total".
Historia
Los riesgos de la IA comenzaron a discutirse seriamente al inicio de la era de la computación. En 1951, Alan Turing escribió: "Además, si nos movemos en la dirección de crear máquinas que aprendan y cuyo comportamiento sea modificado por la experiencia, debemos enfrentar el hecho de que cada grado de independencia que le demos a la máquina es un grado de posible desafío a nuestros deseos". En 1988, Blay Whitby publicó un libro que describía la necesidad de que la IA se desarrollara siguiendo líneas éticas y socialmente responsables.
De 2008 a 2009, la Asociación para el Avance de la Inteligencia Artificial (AAAI) encargó un estudio para explorar y abordar las posibles influencias sociales a largo plazo de la investigación y el desarrollo de la IA. El panel era generalmente escéptico de las opiniones radicales expresadas por los autores de ciencia ficción, pero estuvo de acuerdo en que "sería valiosa una investigación adicional sobre métodos para comprender y verificar la gama de comportamientos de los sistemas computacionales complejos para minimizar resultados inesperados".
En 2011, Roman Yampolskiy introdujo el término "ingeniería de seguridad de la IA" en la conferencia de Filosofía y Teoría de la Inteligencia Artificial, enumerando fallos previos de los sistemas de IA y argumentando que "la frecuencia y la gravedad de tales eventos aumentarán constantemente a medida que las IA se vuelvan más capaces".
En 2014, el filósofo Nick Bostrom publicó el libro Superinteligencia: Caminos, Peligros, Estrategias. Él opina que el surgimiento de la AGI tiene el potencial de crear varios problemas sociales, que van desde el desplazamiento de la fuerza laboral por la IA, la manipulación de las estructuras políticas y militares, hasta incluso la posibilidad de la extinción humana. Su argumento de que los futuros sistemas avanzados podrían representar una amenaza para la existencia humana impulsó a Elon Musk, Bill Gates y Stephen Hawking a expresar preocupaciones similares.
En 2015, docenas de expertos en inteligencia artificial firmaron una carta abierta sobre la inteligencia artificial pidiendo investigación sobre los impactos sociales de la IA y describiendo direcciones concretas. Hasta la fecha, la carta ha sido firmada por más de 8000 personas, incluidos Yann LeCun, Shane Legg, Yoshua Bengio y Stuart Russell. En el mismo año, un grupo de académicos liderado por el profesor Stuart J. Russell fundó el Centro para una IA Compatible con los Humanos en la Universidad de California, Berkeley, y el Future of Life Institute otorgó $6.5 millones en subvenciones para investigación destinada a "garantizar que la inteligencia artificial (IA) permanezca segura, ética y beneficiosa".
En 2016, la Oficina de Política Científica y Tecnológica de la Casa Blanca y la Universidad Carnegie Mellon anunciaron el Taller Público sobre Seguridad y Control para la Inteligencia Artificial, que fue uno de una secuencia de cuatro talleres de la Casa Blanca destinados a investigar "las ventajas y desventajas" de la IA. En el mismo año, se publicó Problemas Concretos en la Seguridad de la IA, una de las primeras y más influyentes agendas técnicas de seguridad de la IA.
En 2017, el Future of Life Institute patrocinó la Conferencia de Asilomar sobre IA Beneficiosa, donde más de 100 líderes de opinión formularon principios para una IA beneficiosa, incluida la "Prevención de la Carrera: Los equipos que desarrollan sistemas de IA deben cooperar activamente para evitar atajos en los estándares de seguridad".
En 2018, el equipo de seguridad de DeepMind describió los problemas de seguridad de la IA en especificación, robustez y garantía. Al año siguiente, los investigadores organizaron un taller en ICLR que se centró en estas áreas problemáticas. En 2021, se publicó Problemas No Resueltos en la Seguridad del Aprendizaje Automático, que describía direcciones de investigación en robustez, monitoreo, alineación y seguridad sistémica.
En 2023, Rishi Sunak dijo que quería que el Reino Unido fuera el "hogar geográfico de la regulación global de la seguridad de la IA" y que albergara la primera cumbre mundial sobre seguridad de la IA. La cumbre de seguridad de la IA tuvo lugar en noviembre de 2023 y se centró en los riesgos de uso indebido y pérdida de control asociados con los modelos de IA de frontera. Durante la cumbre, se anunció la intención de crear el Informe Científico Internacional sobre la Seguridad de la IA Avanzada.
En 2024, los EE. UU. y el Reino Unido forjaron una nueva asociación sobre la ciencia de la seguridad de la IA. El Memorando de Entendimiento fue firmado el 1 de abril de 2024 por la secretaria de Comercio de los EE. UU., Gina Raimondo, y la secretaria de Tecnología del Reino Unido, Michelle Donelan, para desarrollar conjuntamente pruebas de modelos de IA avanzados, tras los compromisos anunciados en una Cumbre de Seguridad de la IA en Bletchley Park en noviembre.
En 2025, un equipo internacional de 96 expertos presidido por Yoshua Bengio publicó el primer Informe Internacional de Seguridad de la IA. El informe, encargado por 30 naciones y las Naciones Unidas, representa la primera revisión científica global de los riesgos potenciales asociados con la inteligencia artificial avanzada. Detalla las amenazas potenciales derivadas del uso indebido, el mal funcionamiento y la disrupción social, con el objetivo de informar las políticas a través de hallazgos basados en evidencia.
Enfoques Técnicos
La investigación técnica en seguridad de la IA abarca varios subcampos. La robustez tiene como objetivo garantizar que los sistemas de IA funcionen de manera confiable bajo cambios de distribución, ataques adversarios y entradas fuera de la distribución. El monitoreo implica detectar y predecir comportamientos dañinos, como el uso de detección de anomalías o herramientas de interpretabilidad. La alineación se centra en hacer que los objetivos y comportamientos de los sistemas de IA sean consistentes con los valores e intenciones humanas. Esto incluye la especificación (definir lo que queremos), la garantía (verificar el cumplimiento) y la corregibilidad (permitir la corrección).
Problemas Concretos en la Seguridad de la IA (2016) identificó cinco áreas de investigación: efectos secundarios negativos, hackeo de recompensas, supervisión escalable, exploración segura y cambio distribucional. Estos problemas siguen siendo centrales para el campo. El trabajo posterior se ha expandido para incluir la interpretabilidad, que tiene como objetivo comprender los mecanismos internos de modelos como los modelos de lenguaje grandes, y la seguridad sistémica, que aborda los riesgos de las interacciones multiagente y los impactos sociales.
Instituciones y Gobernanza
La investigación en seguridad de la IA se lleva a cabo en instituciones académicas y laboratorios industriales. El Centro para una IA Compatible con los Humanos en UC Berkeley, el Future of Humanity Institute en la Universidad de Oxford y el Machine Intelligence Research Institute son centros académicos notables. Los esfuerzos de la industria incluyen el equipo de seguridad de DeepMind, la investigación de alineación de OpenAI y el enfoque de IA constitucional de Anthropic. Organismos gubernamentales como el Instituto de Seguridad de la IA de los EE. UU. y el Instituto de Seguridad de la IA del Reino Unido se establecieron en 2023 para evaluar los modelos de frontera.
La cooperación internacional ha crecido, ejemplificada por el Informe Internacional de Seguridad de la IA (2025) y acuerdos bilaterales como la asociación EE. UU.-Reino Unido. Sin embargo, la gobernanza sigue fragmentada, con debates sobre el nivel apropiado de regulación y el ritmo de la investigación en seguridad en relación con el desarrollo de capacidades.
Desafíos y Críticas
La seguridad de la IA enfrenta varios desafíos. Las dificultades técnicas incluyen la complejidad de especificar los valores humanos, la opacidad de las redes neuronales y la dificultad de verificar la alineación en sistemas avanzados. También hay desafíos sociales, como el riesgo de que las medidas de seguridad sean eludidas en entornos competitivos y la necesidad de colaboración interdisciplinaria.
Los críticos argumentan que las preocupaciones sobre el riesgo existencial son exageradas y desvían la atención de los daños más inmediatos como el sesgo y la vigilancia. Otros sostienen que la investigación en seguridad está subfinanciada y que el campo carece de métricas claras para el éxito. El rápido avance de la IA generativa ha intensificado estos debates, con algunos investigadores pidiendo moratorias en ciertos desarrollos.
Direcciones Futuras
Es probable que la investigación futura en seguridad de la IA se centre en la supervisión escalable, la interpretabilidad y la alineación robusta para sistemas cada vez más capaces. El desarrollo de una IA que pueda auto-mejorarse plantea nuevas preguntas sobre el control y el bloqueo de valores. La coordinación internacional y el establecimiento de estándares de seguridad serán cruciales. A medida que los sistemas de IA se integren más en la sociedad, el campo deberá abordar no solo los riesgos técnicos, sino también las dimensiones éticas, legales y políticas.
El Informe Internacional de Seguridad de la IA (2025) enfatiza la necesidad de políticas basadas en evidencia e investigación continua. Se espera que el campo crezca, con más instituciones y gobiernos invirtiendo en medidas de seguridad. Sin embargo, la brecha entre las capacidades de la IA y la investigación en seguridad sigue siendo una preocupación, como lo señalan muchos expertos.