La sécurité de l'IA à Berkeley englobe des initiatives de recherche à l'Université de Californie à Berkeley visant à garantir que les systèmes d'intelligence artificielle avancés restent bénéfiques pour l'humanité. L'entité principale est le Center for Human-Compatible Artificial Intelligence (CHAI), fondé en 2016 par un groupe d'universitaires dirigé par le professeur d'informatique de Berkeley, Stuart J. Russell, co-auteur du manuel largement utilisé Artificial Intelligence: A Modern Approach. Le CHAI se concentre sur le développement de méthodes pour aligner le comportement de l'IA sur les valeurs humaines, en abordant les risques posés par des systèmes d'intelligence-artificielle de plus en plus capables.
Fondation et financement
Le CHAI a été créé en 2016 avec pour mission de recentrer la recherche en IA sur la sécurité et la compatibilité humaine. Les professeurs fondateurs comprenaient des chercheurs éminents de plusieurs institutions : Russell, Pieter Abbeel et Anca Dragan de Berkeley ; Bart Selman et Joseph Halpern de l'Université Cornell ; Michael Wellman et Satinder Singh Baveja de l'Université du Michigan ; et Tom Griffiths et Tania Lombrozo de l'Université de Princeton. Au cours de son année inaugurale, le Open Philanthropy Project a recommandé que Good Ventures fournisse au CHAI un soutien de 5 555 550 $ sur cinq ans. Des subventions ultérieures d'OpenPhil et de Good Ventures ont totalisé plus de 12 000 000 $, y compris un financement pour des collaborations avec le Forum économique mondial et le Global AI Council.
Axe de recherche
La recherche du CHAI se concentre sur l'alignement des valeurs, en particulier en utilisant l'apprentissage par renforcement inverse, où les systèmes d'IA déduisent les valeurs humaines en observant le comportement plutôt qu'en suivant des instructions explicites. Cette approche vise à créer une IA capable d'apprendre et de s'adapter aux préférences humaines dans des scénarios complexes du monde réel. Le centre a également étudié l'interaction homme-machine, y compris la conception de systèmes où une IA peut être interrompue ou désactivée en toute sécurité, même si l'IA a la capacité de contourner ces contrôles. Ces sujets sont liés à des défis plus larges dans l'apprentissage-automatique et l'apprentissage-profond, où garantir la sécurité devient de plus en plus critique à mesure que les modèles gagnent en capacité.
Contexte plus large
Le travail sur la sécurité de l'IA à Berkeley fait partie d'un mouvement académique et industriel plus large. D'autres institutions, comme le Future of Humanity Institute et le Machine Intelligence Research Institute, abordent des préoccupations similaires. La recherche du CHAI complète les efforts d'organisations comme OpenAI et Anthropic, qui privilégient également l'alignement. L'accent mis par le centre sur l'IA compatible avec les humains a influencé les discussions sur le risque existentiel lié à l'intelligence générale artificielle, comme le souligne le livre de Russell Human Compatible.
Impact et collaborations
Grâce à des partenariats avec le Forum économique mondial et le Global AI Council, le CHAI a étendu son influence au-delà du monde académique, en engageant les décideurs politiques et les leaders de l'industrie. Le financement du centre par OpenPhil et Good Ventures souligne son rôle dans la poussée philanthropique pour la sécurité de l'IA. Au milieu des années 2020, le CHAI continue de publier des recherches et de former des étudiants, contribuant à un corpus croissant de connaissances visant à garantir que l'ia-generative et d'autres systèmes avancés restent sous contrôle humain.
Voir aussi
- Risque existentiel lié à l'intelligence générale artificielle
- Future of Humanity Institute
- Future of Life Institute
- Human Compatible
- Machine Intelligence Research Institute