DeepMind Safety Research es la división de Google DeepMind dedicada a estudiar y mitigar los riesgos asociados con los sistemas de inteligencia artificial. Como parte del laboratorio en general, trabaja para garantizar que las tecnologías avanzadas de IA, incluidos los modelos de lenguaje grandes y la IA generativa, se desarrollen y utilicen de manera segura, ética y alineada con los valores humanos. La división se apoya en campos como el aprendizaje automático, el aprendizaje profundo y las redes neuronales para abordar desafíos como la robustez, la transparencia y el control.
El esfuerzo de investigación en seguridad está arraigado en la misión fundacional de DeepMind, que se estableció en 2010 por Demis Hassabis, Shane Legg y Mustafa Suleyman. Legg, en particular, ha sido un defensor destacado de la seguridad de la IA, y la empresa ha mantenido durante mucho tiempo equipos e iniciativas dedicados a esta área. Tras la fusión con Google Brain en abril de 2023 para formar Google DeepMind, la investigación en seguridad se consolidó y expandió, reflejando la creciente importancia del desarrollo seguro de la IA en la industria.
Historia y evolución
El compromiso de DeepMind con la seguridad de la IA es anterior a su adquisición por Google en 2014. En 2013, la empresa publicó investigaciones sobre un sistema de IA que superaba las habilidades humanas en juegos como Pong y Breakout, lo que supuestamente contribuyó al interés de Google. Después de la adquisición, DeepMind estableció un consejo de ética de la IA, aunque su membresía no se reveló. En 2017, la empresa lanzó la unidad DeepMind Ethics and Society, que se centró en las implicaciones sociales y éticas de la IA, con el filósofo Nick Bostrom como asesor.
En los años siguientes, la investigación en seguridad de DeepMind se expandió junto con sus logros técnicos. El desarrollo de AlphaGo, que derrotó al campeón mundial de Go Lee Sedol en 2016, destacó el potencial del aprendizaje por refuerzo y planteó preguntas sobre la toma de decisiones de la IA. Sistemas posteriores como AlphaZero y MuZero demostraron habilidades generales de juego, mientras que AlphaFold logró avances en la predicción del plegamiento de proteínas, todo lo cual informó las consideraciones de seguridad.
La fusión con Google Brain en 2023 reunió a dos importantes grupos de investigación en IA, creando una organización unificada con un mayor enfoque en la seguridad. Esta medida fue en parte una respuesta al lanzamiento público de ChatGPT por parte de OpenAI, que aceleró la atención de la industria sobre los riesgos y la gobernanza de la IA.
Áreas clave de investigación
DeepMind Safety Research aborda una variedad de desafíos técnicos y sociales. Un área central es la alineación, que implica garantizar que los sistemas de IA actúen de acuerdo con las intenciones humanas. Esto incluye el desarrollo de métodos como el aprendizaje por refuerzo con retroalimentación humana, como RLHF, y el estudio de funciones de pérdida y optimización para mejorar la robustez.
Otro enfoque es la interpretabilidad, que busca comprender cómo toman decisiones las redes neuronales. La investigación en esta área incluye el análisis de mecanismos de atención y transformadores, así como el desarrollo de herramientas para visualizar y explicar el comportamiento de los modelos. La investigación en seguridad también explora la robustez adversarial, la poda de modelos y la aumento de datos para hacer que los sistemas sean más resilientes ante entradas inesperadas.
Además, la división investiga los impactos sociales de la IA, incluyendo cuestiones de equidad, privacidad y el potencial de uso indebido. Colabora con instituciones académicas y otras organizaciones, como Anthropic y OpenAI, para compartir conocimientos y mejores prácticas.
Contribuciones notables
DeepMind Safety Research ha producido varios documentos y herramientas influyentes. Por ejemplo, el trabajo de la empresa sobre AlphaGo y sus sucesores se ha utilizado para estudiar la toma de decisiones bajo incertidumbre. El proyecto AlphaFold, que predijo más de 200 millones de estructuras de proteínas para julio de 2022, demostró el potencial de la IA para el descubrimiento científico, pero también planteó preguntas sobre los riesgos de doble uso.
La división también ha contribuido al desarrollo de marcos de evaluación y seguridad. En 2018, DeepMind publicó investigaciones sobre el entrenamiento de IA para jugar Quake III Arena, que incluyeron estudios sobre cooperación y competencia. Más recientemente, el equipo ha trabajado en la seguridad de los modelos de lenguaje grandes, incluidos los modelos de peso abierto Gemma, para garantizar que sea menos probable que generen contenido dañino.
Colaboración e impacto
DeepMind Safety Research opera dentro de la organización más amplia de Google DeepMind, que tiene centros de investigación en Estados Unidos, Canadá, Francia, Alemania y Suiza, con sede en Londres. La división colabora con otras empresas de Alphabet, como Google Cloud, y con socios externos como la Universidad de Oxford y MIT CSAIL.
Desde 2020, DeepMind ha publicado más de mil artículos, incluidos trece en Nature o Science, muchos de los cuales abordan temas relacionados con la seguridad. El trabajo de la división ha influido en las prácticas de la industria, y sus investigadores participan frecuentemente en debates sobre políticas y organismos asesores. Sin embargo, el campo de la seguridad de la IA sigue evolucionando, y DeepMind continúa adaptando su agenda de investigación a los desafíos emergentes, como el desarrollo de modelos de IA generativa más capaces.
Direcciones futuras
De cara al futuro, DeepMind Safety Research tiene como objetivo abordar el objetivo a largo plazo de garantizar que la inteligencia artificial general (AGI), si se logra, sea beneficiosa para la humanidad. Esto implica avanzar en métodos técnicos para la alineación y el control, así como fomentar la cooperación internacional en la gobernanza de la IA. La división también está explorando las implicaciones de la IA en áreas como la atención médica, donde DeepMind ha trabajado con el NHS, y en la investigación científica, donde la IA puede acelerar los descubrimientos pero también introducir nuevos riesgos.
A mediados de la década de 2020, la división forma parte de un esfuerzo industrial más amplio para desarrollar IA segura, con competidores y pares como Anthropic y OpenAI también invirtiendo fuertemente en investigación de seguridad. La evolución continua de las técnicas de aprendizaje automático, incluido el aprendizaje profundo y las redes neuronales, probablemente dará forma al futuro de este campo.