La seguridad de la IA en Berkeley abarca iniciativas de investigación en la Universidad de California, Berkeley, dedicadas a garantizar que los sistemas avanzados de inteligencia artificial sigan siendo beneficiosos para la humanidad. La entidad principal es el Centro para la Inteligencia Artificial Compatible con los Humanos (CHAI), fundado en 2016 por un grupo de académicos liderados por el profesor de ciencias de la computación de Berkeley, Stuart J. Russell, coautor del libro de texto ampliamente utilizado Inteligencia Artificial: Un Enfoque Moderno. CHAI se centra en desarrollar métodos para alinear el comportamiento de la IA con los valores humanos, abordando los riesgos que plantean los sistemas de inteligencia artificial cada vez más capaces.
Fundación y Financiación
CHAI se estableció en 2016 con la misión de reorientar la investigación en IA hacia la seguridad y la compatibilidad humana. El profesorado fundador incluyó a investigadores prominentes de múltiples instituciones: Russell, Pieter Abbeel y Anca Dragan de Berkeley; Bart Selman y Joseph Halpern de la Universidad de Cornell; Michael Wellman y Satinder Singh Baveja de la Universidad de Míchigan; y Tom Griffiths y Tania Lombrozo de la Universidad de Princeton. En su año inaugural, el Proyecto de Filantropía Abierta recomendó que Good Ventures proporcionara a CHAI $5,555,550 en apoyo durante cinco años. Las subvenciones posteriores de OpenPhil y Good Ventures han superado los $12,000,000, incluida la financiación para colaboraciones con el Foro Económico Mundial y el Consejo Global de IA.
Enfoque de Investigación
La investigación de CHAI se centra en la alineación de valores, particularmente mediante el uso de aprendizaje por refuerzo inverso, donde los sistemas de IA infieren valores humanos al observar el comportamiento en lugar de seguir instrucciones explícitas. Este enfoque tiene como objetivo crear una IA que pueda aprender y adaptarse a las preferencias humanas en escenarios complejos del mundo real. El centro también ha investigado la interacción humano-máquina, incluido el diseño de sistemas donde una IA pueda ser interrumpida o apagada de manera segura, incluso si la IA tiene la capacidad de anular dichos controles. Estos temas se conectan con desafíos más amplios en aprendizaje automático y aprendizaje profundo, donde garantizar la seguridad es cada vez más crítico a medida que los modelos aumentan en capacidad.
Contexto Más Amplio
El trabajo de seguridad de la IA en Berkeley es parte de un movimiento académico e industrial más amplio. Otras instituciones, como el Instituto para el Futuro de la Humanidad y el Instituto de Investigación en Inteligencia de Máquinas, abordan preocupaciones similares. La investigación de CHAI complementa los esfuerzos de organizaciones como OpenAI y Anthropic, que también priorizan la alineación. El enfoque del centro en la IA compatible con los humanos ha influido en los debates sobre el riesgo existencial de la inteligencia artificial general, como se destaca en el libro de Russell Human Compatible.
Impacto y Colaboraciones
A través de asociaciones con el Foro Económico Mundial y el Consejo Global de IA, CHAI ha extendido su influencia más allá del ámbito académico, involucrando a responsables políticos y líderes de la industria. La financiación del centro por parte de OpenPhil y Good Ventures subraya su papel en el impulso filantrópico por la seguridad de la IA. A mediados de la década de 2020, CHAI continúa publicando investigaciones y formando estudiantes, contribuyendo a un creciente cuerpo de conocimiento que busca garantizar que IA generativa y otros sistemas avanzados permanezcan bajo control humano.
Véase También
- Riesgo existencial de la inteligencia artificial general
- Instituto para el Futuro de la Humanidad
- Instituto para el Futuro de la Vida
- Human Compatible
- Instituto de Investigación en Inteligencia de Máquinas