O Projeto de Lei 1047 do Senado da Califórnia, conhecido como Lei de Inovação Segura e Protegida para Modelos de Inteligência Artificial de Fronteira, é uma lei estadual proposta que estabeleceria obrigações de segurança vinculativas para desenvolvedores de modelos de inteligência artificial em larga escala. Apresentado em fevereiro de 2024 pelo senador Scott Wiener, o projeto visa mitigar riscos catastróficos representados por sistemas avançados de IA, incluindo potenciais ataques cibernéticos, criação de armas biológicas e baixas em massa. Foi aprovado pelo Senado estadual da Califórnia em maio de 2024 e pela Assembleia em agosto de 2024, mas foi vetado pelo governador Gavin Newsom em 29 de setembro de 2024, tornando-se um dos esforços de regulamentação de IA mais debatidos nos Estados Unidos.
A legislação tem como alvo "modelos cobertos" - sistemas de IA treinados com poder computacional superior a 10^26 operações de ponto flutuante (FLOPs), um limite projetado para capturar modelos de fronteira como os desenvolvidos pela OpenAI, Anthropic e Google DeepMind. Os desenvolvedores devem implementar uma estrutura de segurança que inclua avaliação de riscos, relato de incidentes e um interruptor de desligamento para interromper a operação do modelo, se necessário. O projeto também impõe responsabilidade aos desenvolvedores por danos graves causados por seus modelos, com penalidades de até US$ 10 milhões por declarações falsas e até US$ 50 milhões por danos reais. Isenções se aplicam a modelos usados exclusivamente para pesquisa, modelos de código aberto com modificações e modelos abaixo do limite computacional, embora o projeto inclua uma disposição para o Departamento de Tecnologia da Califórnia ajustar o limite à medida que o poder computacional cresce.
Contexto e Contexto Legislativo
O projeto surgiu em meio a preocupações crescentes sobre o rápido avanço dos sistemas de IA generativa e modelos de linguagem de grande escala, que demonstraram capacidades em codificação, raciocínio e geração de conteúdo. Os defensores argumentaram que os compromissos voluntários dos laboratórios de IA eram insuficientes, citando incidentes como o uso indevido de IA para desinformação e o potencial de sistemas futuros evadirem o controle humano. A Califórnia, como lar de muitas empresas líderes de IA, era vista como um local natural para regulamentação pioneira, dado seu histórico de estabelecer padrões nacionais em áreas como emissões de veículos e privacidade de dados.
O senador Wiener apresentou o SB 1047 em 7 de fevereiro de 2024, com copatrocínio do Future of Life Institute e apoio de pesquisadores proeminentes de IA, incluindo Yoshua Bengio e Geoffrey Hinton. O projeto passou por múltiplas emendas durante audiências de comitês, abordando críticas sobre amplitude excessiva e consequências não intencionais. Notavelmente, a definição de "modelo coberto" foi refinada para excluir modelos que não são implantados ou disponibilizados ao público, e a cláusula de responsabilidade foi restringida para se aplicar apenas quando o desenvolvedor sabia ou deveria saber do risco.
Principais Disposições e Requisitos
Sob o SB 1047, os desenvolvedores de modelos cobertos devem apresentar uma "Estrutura de Segurança e Proteção" ao Departamento de Tecnologia da Califórnia antes de iniciar o treinamento. Esta estrutura deve detalhar os usos pretendidos do modelo, riscos potenciais e medidas de mitigação. Requisitos específicos incluem:
- Avaliação de Riscos: Os desenvolvedores devem conduzir uma avaliação de riscos pré-treinamento, avaliando o potencial do modelo de permitir ataques cibernéticos, armas químicas ou biológicas, ou outros danos catastróficos. A avaliação deve ser atualizada após o treinamento e antes da liberação pública.
- Relato de Incidentes: Qualquer "incidente de dano crítico" - definido como um evento que cause morte, baixas em massa ou danos materiais significativos - deve ser relatado ao procurador-geral do estado dentro de 72 horas. O relatório deve incluir detalhes técnicos e a resposta do desenvolvedor.
- Interruptor de Desligamento: A estrutura deve incluir uma capacidade de "desligamento imediato e completo", permitindo que o desenvolvedor interrompa imediatamente a operação do modelo se ele representar uma ameaça iminente.
- Auditorias de Terceiros: Os desenvolvedores devem contratar auditores independentes para verificar a conformidade com a estrutura, com relatórios de auditoria submetidos ao estado anualmente.
- Proteções para Denunciantes: Funcionários que relatam violações de segurança são protegidos contra retaliação, incentivando a transparência interna.
O projeto também proíbe os desenvolvedores de retaliar contra funcionários que levantem preocupações de segurança e exige que todos os modelos cobertos sejam desenvolvidos de maneira a minimizar o risco de "roubo de modelo" - acesso não autorizado aos pesos do modelo.
Responsabilidade e Execução
O SB 1047 estabelece um regime de responsabilidade inovador para desenvolvedores de IA. Se um modelo coberto causar danos graves - definidos como morte, baixas em massa ou danos materiais superiores a US$ 500 milhões - o desenvolvedor pode ser responsabilizado mesmo que não tenha causado intencionalmente o dano. Esta abordagem de "responsabilidade estrita" é semelhante às leis de responsabilidade por produtos defeituosos, mas se aplica a software, que tradicionalmente foi isento de tais padrões.
A execução seria tratada pelo procurador-geral da Califórnia, que pode buscar penalidades civis e medidas cautelares. O projeto também cria uma "Divisão de IA de Fronteira" dentro do Departamento de Tecnologia, encarregada de supervisionar a conformidade e manter um registro público de modelos cobertos. Penalidades por declarações falsas em estruturas de segurança são de até US$ 10 milhões por violação, enquanto danos reais podem resultar em multas de até US$ 50 milhões. No entanto, o projeto afirma explicitamente que não cria um direito de ação privado, o que significa que indivíduos não podem processar desenvolvedores diretamente sob esta lei.
Apoio e Oposição
O projeto gerou reações polarizadas. Os apoiadores, incluindo o Center for AI Safety e o Future of Life Institute, argumentaram que ele fornece salvaguardas essenciais para uma tecnologia com riscos existenciais. Eles apontaram para pesquisas mostrando que a maioria dos pesquisadores de IA acredita que há uma chance significativa de resultados catastróficos da IA avançada. Os apoiadores também notaram que o limite computacional do projeto garante que ele afete apenas os maiores laboratórios, poupando startups e instituições acadêmicas.
Os opositores vieram de duas principais vertentes. Grupos da indústria, incluindo a Câmara de Comércio e várias empresas de IA, argumentaram que o projeto sufocaria a inovação e levaria o desenvolvimento de IA para fora da Califórnia. Eles alegaram que o padrão de responsabilidade estrita desencorajaria o desenvolvimento de código aberto, já que até mesmo modelos modificados poderiam ser rastreados até o desenvolvedor original. Alguns tecnólogos, como Fei-Fei Li e Andrew Ng, assinaram cartas abertas contra o projeto, argumentando que ele se baseava em medos especulativos em vez de capacidades atuais.
Um segundo grupo de críticos, incluindo alguns pesquisadores de segurança de IA, argumentou que o projeto era fraco demais. Eles notaram que o limite de computação poderia ser contornado por treinamento distribuído ou pelo uso de algoritmos mais eficientes, e que as disposições de responsabilidade só se aplicam a danos "razoavelmente previsíveis", o que poderia ser difícil de comprovar. Alguns também criticaram o projeto por não abordar modelos menores que ainda poderiam ser perigosos em combinação com outras ferramentas.
Emendas e Compromissos
Durante o processo legislativo, o SB 1047 foi emendado para abordar algumas preocupações. A versão original exigia que os desenvolvedores certificassem que seus modelos não poderiam ser usados para criar armas de destruição em massa, o que os críticos chamaram de impossível de garantir. Isso foi alterado para um padrão de "garantia razoável". O projeto também adicionou uma isenção para modelos usados exclusivamente para fins militares ou de segurança nacional, e esclareceu que modelos de código aberto com menos de 10^26 FLOPs de computação de treinamento não são cobertos.
Outra emenda significativa foi a remoção de uma disposição que criaria uma nova agência estadual para regular a IA. Em vez disso, o projeto depende de departamentos existentes, com o Departamento de Tecnologia assumindo a liderança. Isso foi visto como uma concessão aos opositores que temiam excessos burocráticos.
Veto do Governador e Consequências
O governador Newsom vetou o SB 1047 em 29 de setembro de 2024, em uma medida que surpreendeu muitos observadores. Em sua mensagem de veto, Newsom argumentou que o projeto era "bem-intencionado", mas excessivamente amplo, e que imporia requisitos "rígidos, custosos e potencialmente fatais" aos desenvolvedores de IA sem coordenação federal adequada. Ele pediu uma abordagem mais "flexível", sugerindo que a Califórnia deveria trabalhar com o governo federal e outros estados para desenvolver um quadro regulatório unificado.
O veto foi celebrado por grupos da indústria e alguns acadêmicos, mas decepcionou defensores da segurança. O senador Wiener prometeu reintroduzir o projeto na próxima sessão legislativa, possivelmente com revisões. Enquanto isso, a Califórnia continuou a buscar outras regulamentações de IA, incluindo uma lei que exige transparência em conteúdo gerado por IA e uma força-tarefa que estuda o impacto da IA no emprego.
Implicações Mais Amplas
A trajetória do SB 1047 reflete o debate mais amplo sobre a regulamentação da IA nos Estados Unidos. Enquanto a União Europeia aprovou a Lei de IA em 2024, os EUA dependeram em grande parte de compromissos voluntários das empresas. O fracasso do projeto destaca a dificuldade de regular uma tecnologia em rápida evolução, onde definições podem se tornar obsoletas em questão de meses. No entanto, sua introdução já influenciou o comportamento corporativo, com vários grandes laboratórios de IA anunciando estruturas voluntárias de segurança que espelham os requisitos do SB 1047.
O projeto também levantou questões sobre o papel dos governos estaduais na regulamentação da tecnologia. Os apoiadores argumentaram que a Califórnia tem a responsabilidade de proteger seus cidadãos, enquanto os opositores alertaram para um mosaico de leis estaduais que sobrecarregariam as empresas. O debate provavelmente continuará, especialmente à medida que as capacidades de IA crescem e o potencial de dano se torna mais concreto. No início de 2025, nenhum projeto semelhante foi aprovado em qualquer outro estado, mas a questão continua sendo uma prioridade para os legisladores.
Considerações Técnicas e Éticas
O limite de computação de 10^26 FLOPs do projeto é notável porque se alinha com estimativas do custo de treinamento de modelos como o GPT-4, que se acredita ter usado cerca de 2,1e25 FLOPs. Isso significa que apenas um punhado de modelos seria coberto, incluindo aqueles desenvolvidos por OpenAI, Anthropic e Google DeepMind. No entanto, o limite não é estático; o projeto inclui uma disposição para o Departamento de Tecnologia ajustá-lo com base nas tendências do poder computacional, garantindo que permaneça relevante à medida que o hardware melhora.
Eticamente, o projeto levanta questões sobre a responsabilidade pelas ações da IA. Diferentemente do software tradicional, onde os desenvolvedores geralmente não são responsáveis pelo uso indevido dos usuários, o SB 1047 responsabilizaria os desenvolvedores por danos previsíveis. Essa mudança reflete um consenso crescente de que os sistemas de IA não são ferramentas neutras, mas têm agência, e que seus criadores têm um dever de cuidado. Os críticos argumentam que isso poderia levar a um desenvolvimento excessivamente cauteloso, retardando o progresso em aplicações benéficas como diagnóstico médico ou modelagem climática.
O projeto também aborda a questão da poda de modelos e da aumento de dados, já que os desenvolvedores podem tentar reduzir a pegada computacional de um modelo para evitar a regulamentação. No entanto, a definição de "modelo coberto" no projeto inclui qualquer modelo que seja derivado de um modelo coberto, dificultando a contornação. Essa cláusula de "derivado" foi um ponto-chave de contenção, com defensores do código aberto argumentando que ela esfriaria a inovação na comunidade open-panel.
Conclusão
O SB 1047 da Califórnia representa uma tentativa marcante de regulamentar a IA de fronteira, combinando elementos de segurança de produtos, direito ambiental e política tecnológica. Embora tenha sido vetado, o projeto estabeleceu um precedente para futuros esforços legislativos, tanto na Califórnia quanto em outros lugares. Suas ideias centrais - limites de computação, estruturas de segurança e responsabilidade por danos catastróficos - provavelmente reaparecerão de alguma forma, seja no nível estadual ou federal. O debate sobre o SB 1047 também energizou o discurso público sobre segurança da IA, trazendo questões como aprendizado por reforço com feedback humano e recorte de gradientes para a conversa mainstream. À medida que a IA continua a avançar, a questão de como governá-la permanecerá um dos desafios mais urgentes do século XXI.
Referências
- Senado Estadual da Califórnia. (2024). SB 1047: Lei de Inovação Segura e Protegida para Modelos de Inteligência Artificial de Fronteira. Resumo do Conselho Legislativo.
- Wiener, S. (2024). Comunicado de imprensa sobre a introdução do SB 1047.
- Newsom, G. (2024). Mensagem de veto para o SB 1047.
- Future of Life Institute. (2024). Análise do SB 1047.
- Center for AI Safety. (2024). Declaração sobre o SB 1047.