Le Center for Human-Compatible Artificial Intelligence (CHAI) est un centre de recherche situé à l'université de Californie à Berkeley, dont l'objectif est de développer des méthodes garantissant que les systèmes avancés d'intelligence artificielle sont alignés sur les valeurs et les intentions humaines. Fondé en 2016, le centre aborde le défi à long terme de créer une IA qui reste bénéfique à mesure que ses capacités augmentent, avec un accent particulier sur l'alignement des valeurs et le comportement contrôlable des machines.
Le centre a été créé par un groupe d'universitaires dirigé par Stuart J. Russell, professeur d'informatique à Berkeley et co-auteur du manuel largement utilisé Artificial Intelligence: A Modern Approach. Russell a été une voix éminente dans les discussions sur la sécurité de l'IA, soutenant que le paradigme actuel d'optimisation d'objectifs fixes pourrait produire des systèmes dont le comportement diverge des préférences humaines authentiques.
Axes de recherche
La stratégie de recherche principale de CHAI se concentre sur l'alignement des valeurs, notamment par l'apprentissage par renforcement inverse. Dans cette approche, les systèmes d'IA déduisent les valeurs humaines non pas à partir d'instructions explicites ou de fonctions de récompense, mais en observant le comportement humain. L'objectif est de créer une IA capable d'apprendre ce que les gens veulent réellement, y compris des préférences qu'ils peuvent avoir du mal à exprimer directement.
Le centre a également étudié la dynamique de l'interaction homme-machine dans des scénarios où un agent intelligent dispose d'un « interrupteur d'arrêt » qu'il pourrait outrepasser. Cette ligne de recherche examine comment l'IA pourrait être conçue pour rester soumise au contrôle humain, en apprenant essentiellement aux systèmes à reconnaître quand ils devraient se laisser éteindre.
Corps professoral et collaborateurs
Le corps professoral de CHAI s'étend sur plusieurs institutions. Aux côtés de Russell, les membres basés à Berkeley incluent Pieter Abbeel et Anca Dragan. Le centre comprend également Bart Selman et Joseph Halpern de l'université Cornell, Michael Wellman et Satinder Singh Baveja de l'université du Michigan, ainsi que Tom Griffiths et Tania Lombrozo de l'université de Princeton. Cette composition interdisciplinaire rassemble une expertise en informatique, en sciences cognitives et en philosophie.
Le centre a établi des partenariats au-delà du monde académique, notamment des collaborations avec le Forum économique mondial et son Conseil mondial sur l'IA. Ces connexions visent à traduire les résultats de recherche en discussions politiques et en pratiques industrielles.
Historique du financement
Le financement initial de CHAI est venu en 2016, lorsque l'Open Philanthropy Project a recommandé que Good Ventures fournisse 5 555 550 $ de soutien sur cinq ans. Depuis lors, CHAI a reçu des subventions supplémentaires d'OpenPhil et de Good Ventures dépassant 12 000 000 $ au total. Ce soutien financier durable a permis au centre de soutenir des étudiants diplômés, des chercheurs postdoctoraux et des efforts de recherche multi-institutionnels.
Publications et production
Les chercheurs affiliés à CHAI ont publié abondamment sur des sujets tels que l'apprentissage des récompenses, la corrigibilité et les limites de la spécification dans les systèmes d'IA. Les travaux du centre ont été présentés lors de grandes conférences sur l'apprentissage automatique et l'IA, et ses résultats ont alimenté des débats plus larges sur le risque existentiel lié à l'intelligence artificielle générale. Le livre de Russell de 2019, Human Compatible, synthétise de nombreuses idées du centre, présentant sous une forme accessible l'argument selon lequel l'IA devrait être conçue avec l'incertitude sur les préférences humaines comme principe fondamental.
Impact et héritage
Le centre a contribué à la croissance de la sécurité de l'IA en tant que domaine reconnu au sein de la apprentissage profond et de la recherche en IA. Son accent sur des cadres formels rigoureux a influencé la manière dont les chercheurs abordent des problèmes tels que le piratage de récompenses et le jeu de spécification. À mesure que les grands modèles de langage et d'autres systèmes avancés sont devenus plus capables, les questions que CHAI a initialement posées sur l'alignement sont passées d'une préoccupation théorique à un défi d'ingénierie pratique, avec des implications pour des organisations comme OpenAI et Anthropic.
Voir aussi
- Risque existentiel lié à l'intelligence artificielle générale
- Machine Intelligence Research Institute
- Future of Humanity Institute
- Future of Life Institute
Liens externes
Site web officiel