A Segurança de IA de Berkeley abrange iniciativas de pesquisa na Universidade da Califórnia, Berkeley, dedicadas a garantir que sistemas avançados de inteligência artificial permaneçam benéficos para a humanidade. A principal entidade é o Centro para Inteligência Artificial Compatível com Humanos (CHAI), fundado em 2016 por um grupo de acadêmicos liderados pelo professor de ciência da computação de Berkeley, Stuart J. Russell, coautor do amplamente utilizado livro-texto Inteligência Artificial: Uma Abordagem Moderna. O CHAI foca no desenvolvimento de métodos para alinhar o comportamento da IA aos valores humanos, abordando riscos representados por sistemas de inteligência artificial cada vez mais capazes.
Fundação e Financiamento
O CHAI foi estabelecido em 2016 com a missão de reorientar a pesquisa em IA para a segurança e a compatibilidade humana. O corpo docente fundador incluía pesquisadores proeminentes de múltiplas instituições: Russell, Pieter Abbeel e Anca Dragan, de Berkeley; Bart Selman e Joseph Halpern, da Universidade Cornell; Michael Wellman e Satinder Singh Baveja, da Universidade de Michigan; e Tom Griffiths e Tania Lombrozo, da Universidade de Princeton. No ano inaugural, a Open Philanthropy Project recomendou que a Good Ventures fornecesse ao CHAI US$ 5.555.550 em apoio ao longo de cinco anos. Doações subsequentes da OpenPhil e da Good Ventures totalizaram mais de US$ 12.000.000, incluindo financiamento para colaborações com o Fórum Econômico Mundial e o Conselho Global de IA.
Foco em Pesquisa
A pesquisa do CHAI centra-se no alinhamento de valores, particularmente usando aprendizado por reforço inverso, no qual sistemas de IA inferem valores humanos ao observar o comportamento, em vez de seguir instruções explícitas. Essa abordagem visa criar uma IA que possa aprender e se adaptar às preferências humanas em cenários complexos do mundo real. O centro também investigou a interação humano-máquina, incluindo o design de sistemas nos quais uma IA possa ser interrompida ou desligada com segurança, mesmo que a IA tenha a capacidade de sobrepor tais controles. Esses tópicos se conectam a desafios mais amplos em aprendizado de máquina e aprendizado profundo, onde garantir a segurança é cada vez mais crítico à medida que os modelos crescem em capacidade.
Contexto Mais Amplo
O trabalho de segurança de IA de Berkeley faz parte de um movimento acadêmico e industrial mais amplo. Outras instituições, como o Instituto do Futuro da Humanidade e o Instituto de Pesquisa em Inteligência de Máquinas, abordam preocupações semelhantes. A pesquisa do CHAI complementa os esforços de organizações como OpenAI e Anthropic, que também priorizam o alinhamento. O foco do centro em IA compatível com humanos influenciou discussões sobre risco existencial da inteligência artificial geral, como destacado no livro de Russell, Compatível com Humanos.
Impacto e Colaborações
Por meio de parcerias com o Fórum Econômico Mundial e o Conselho Global de IA, o CHAI estendeu sua influência além da academia, engajando formuladores de políticas e líderes da indústria. O financiamento do centro pela OpenPhil e pela Good Ventures ressalta seu papel no impulso filantrópico pela segurança da IA. Em meados da década de 2020, o CHAI continua a publicar pesquisas e a treinar estudantes, contribuindo para um crescente corpo de conhecimento que visa garantir que IA generativa e outros sistemas avançados permaneçam sob controle humano.
Ver Também
- Risco existencial da inteligência artificial geral
- Instituto do Futuro da Humanidade
- Instituto do Futuro da Vida
- Compatível com Humanos
- Instituto de Pesquisa em Inteligência de Máquinas