Berkeley AI Safety umfasst Forschungsinitiativen an der University of California, Berkeley, die darauf abzielen, sicherzustellen, dass fortschrittliche Systeme der künstlichen Intelligenz für die Menschheit vorteilhaft bleiben. Die primäre Einrichtung ist das Center for Human-Compatible Artificial Intelligence (CHAI), das 2016 von einer Gruppe von Akademikern unter der Leitung des Berkeley-Professors für Informatik Stuart J. Russell gegründet wurde, einem Mitautor des weit verbreiteten Lehrbuchs Artificial Intelligence: A Modern Approach. CHAI konzentriert sich auf die Entwicklung von Methoden, um das Verhalten von KI mit menschlichen Werten in Einklang zu bringen, und adressiert Risiken, die von zunehmend leistungsfähigen Systemen der künstlichen Intelligenz ausgehen.
Gründung und Finanzierung
CHAI wurde 2016 mit dem Auftrag gegründet, die KI-Forschung auf Sicherheit und menschliche Kompatibilität auszurichten. Zu den Gründungsfakultätsmitgliedern gehörten prominente Forscher mehrerer Institutionen: Russell, Pieter Abbeel und Anca Dragan von Berkeley; Bart Selman und Joseph Halpern von der Cornell University; Michael Wellman und Satinder Singh Baveja von der University of Michigan; sowie Tom Griffiths und Tania Lombrozo von der Princeton University. Im Gründungsjahr empfahl das Open Philanthropy Project, dass Good Ventures CHAI über fünf Jahre eine Unterstützung von 5.555.550 US-Dollar bereitstellt. Nachfolgende Zuschüsse von OpenPhil und Good Ventures beliefen sich auf über 12.000.000 US-Dollar, einschließlich Finanzierung für Kooperationen mit dem Weltwirtschaftsforum und dem Global AI Council.
Forschungsschwerpunkt
Die Forschung von CHAI konzentriert sich auf Wertausrichtung, insbesondere unter Verwendung von inversem Reinforcement Learning, bei dem KI-Systeme menschliche Werte durch Beobachtung von Verhalten ableiten, anstatt expliziten Anweisungen zu folgen. Dieser Ansatz zielt darauf ab, KI zu schaffen, die menschliche Präferenzen in komplexen, realen Szenarien lernen und sich an sie anpassen kann. Das Zentrum hat auch die Mensch-Maschine-Interaktion untersucht, einschließlich der Gestaltung von Systemen, in denen eine KI sicher unterbrochen oder abgeschaltet werden kann, selbst wenn die KI die Fähigkeit besitzt, solche Kontrollen zu überstimmen. Diese Themen verbinden sich mit breiteren Herausforderungen im maschinellen Lernen und Deep Learning, wo die Gewährleistung von Sicherheit zunehmend kritisch wird, da Modelle an Leistungsfähigkeit gewinnen.
Breiterer Kontext
Die KI-Sicherheitsarbeit in Berkeley ist Teil einer breiteren akademischen und industriellen Bewegung. Andere Institutionen, wie das Future of Humanity Institute und das Machine Intelligence Research Institute, befassen sich mit ähnlichen Anliegen. Die Forschung von CHAI ergänzt die Bemühungen von Organisationen wie OpenAI und Anthropic, die ebenfalls Wertausrichtung priorisieren. Der Fokus des Zentrums auf menschenkompatible KI hat Diskussionen über existenzielle Risiken durch allgemeine künstliche Intelligenz beeinflusst, wie in Russells Buch Human Compatible hervorgehoben wird.
Auswirkungen und Kooperationen
Durch Partnerschaften mit dem Weltwirtschaftsforum und dem Global AI Council hat CHAI seinen Einfluss über die akademische Welt hinaus ausgeweitet und politische Entscheidungsträger sowie Branchenführer eingebunden. Die Finanzierung des Zentrums durch OpenPhil und Good Ventures unterstreicht seine Rolle im philanthropischen Vorstoß für KI-Sicherheit. Bis Mitte der 2020er Jahre veröffentlicht CHAI weiterhin Forschung und bildet Studenten aus, was zu einem wachsenden Wissensbestand beiträgt, der darauf abzielt, dass generative KI und andere fortschrittliche Systeme unter menschlicher Kontrolle bleiben.
Siehe auch
- Existenzielle Risiken durch allgemeine künstliche Intelligenz
- Future of Humanity Institute
- Future of Life Institute
- Human Compatible
- Machine Intelligence Research Institute