El Proyecto de Ley 1047 del Senado de California, conocido como la Ley de Innovación Segura y Protegida para Modelos de Inteligencia Artificial de Frontera, es una ley estatal propuesta que establecería obligaciones de seguridad vinculantes para los desarrolladores de modelos de inteligencia artificial a gran escala. Presentado en febrero de 2024 por el Senador Scott Wiener, el proyecto de ley tiene como objetivo mitigar los riesgos catastróficos que plantean los sistemas de IA avanzados, incluidos posibles ciberataques, creación de armas biológicas y víctimas masivas. Fue aprobado por el Senado del Estado de California en mayo de 2024 y por la Asamblea en agosto de 2024, pero fue vetado por el Gobernador Gavin Newsom el 29 de septiembre de 2024, convirtiéndose en uno de los esfuerzos de regulación de IA más debatidos en los Estados Unidos.
La legislación se dirige a "modelos cubiertos": sistemas de IA entrenados con una potencia informática que supere los 10^26 operaciones de coma flotante (FLOPs), un umbral diseñado para capturar modelos de frontera como los desarrollados por OpenAI, Anthropic y Google DeepMind. Los desarrolladores deben implementar un marco de seguridad que incluya evaluación de riesgos, notificación de incidentes y un interruptor de apagado para detener el funcionamiento del modelo si es necesario. El proyecto de ley también impone responsabilidad a los desarrolladores por daños graves causados por sus modelos, con sanciones de hasta $10 millones por declaraciones falsas y hasta $50 millones por daños reales. Se aplican exenciones a los modelos utilizados únicamente para investigación, modelos de código abierto con modificaciones y modelos por debajo del umbral de cómputo, aunque el proyecto de ley incluye una disposición para que el Departamento de Tecnología de California ajuste el umbral a medida que crezca la potencia informática.
Antecedentes y Contexto Legislativo
El proyecto de ley surgió en medio de crecientes preocupaciones sobre el rápido avance de los sistemas de IA generativa y modelos de lenguaje de gran escala, que han demostrado capacidades en codificación, razonamiento y generación de contenido. Los defensores argumentaron que los compromisos voluntarios de los laboratorios de IA eran insuficientes, citando incidentes como el uso indebido de la IA para la desinformación y el potencial de que los sistemas futuros evadan el control humano. California, como hogar de muchas empresas líderes en IA, fue vista como un lugar natural para la regulación pionera, dada su historia de establecer estándares nacionales en áreas como las emisiones de vehículos y la privacidad de datos.
El Senador Wiener presentó el SB 1047 el 7 de febrero de 2024, con el copatrocinio del Future of Life Institute y el apoyo de destacados investigadores de IA como Yoshua Bengio y Geoffrey Hinton. El proyecto de ley fue sometido a múltiples enmiendas durante las audiencias del comité, abordando críticas sobre su amplitud excesiva y consecuencias no deseadas. En particular, la definición de "modelo cubierto" se refinó para excluir los modelos que no se implementan ni se ponen a disposición del público, y la cláusula de responsabilidad se limitó para aplicarse solo cuando el desarrollador sabía o debería haber sabido del riesgo.
Disposiciones y Requisitos Clave
Según el SB 1047, los desarrolladores de modelos cubiertos deben presentar un "Marco de Seguridad y Protección" al Departamento de Tecnología de California antes de comenzar el entrenamiento. Este marco debe detallar los usos previstos del modelo, los riesgos potenciales y las medidas de mitigación. Los requisitos específicos incluyen:
- Evaluación de Riesgos: Los desarrolladores deben realizar una evaluación de riesgos previa al entrenamiento, evaluando el potencial del modelo para permitir ciberataques, armas químicas o biológicas, u otros daños catastróficos. La evaluación debe actualizarse después del entrenamiento y antes de la publicación pública.
- Notificación de Incidentes: Cualquier "incidente de daño crítico", definido como un evento que cause muerte, víctimas masivas o daños materiales significativos, debe notificarse al fiscal general del estado dentro de las 72 horas. El informe debe incluir detalles técnicos y la respuesta del desarrollador.
- Interruptor de Apagado: El marco debe incluir una capacidad de "apagado rápido y completo", que permita al desarrollador detener inmediatamente el funcionamiento del modelo si representa una amenaza inminente.
- Auditorías de Terceros: Los desarrolladores deben contratar auditores independientes para verificar el cumplimiento del marco, con informes de auditoría presentados al estado anualmente.
- Protecciones para Denunciantes: Los empleados que informen violaciones de seguridad están protegidos contra represalias, fomentando la transparencia interna.
El proyecto de ley también prohíbe a los desarrolladores tomar represalias contra los empleados que planteen preocupaciones de seguridad, y requiere que todos los modelos cubiertos se desarrollen de manera que se minimice el riesgo de "robo de modelo": acceso no autorizado a los pesos del modelo.
Responsabilidad y Cumplimiento
El SB 1047 establece un régimen de responsabilidad novedoso para los desarrolladores de IA. Si un modelo cubierto causa daños graves, definidos como muerte, víctimas masivas o daños a la propiedad que superen los $500 millones, el desarrollador puede ser considerado responsable incluso si no causó el daño intencionalmente. Este enfoque de "responsabilidad estricta" es similar a las leyes de responsabilidad por productos defectuosos, pero se aplica al software, que tradicionalmente ha estado exento de tales estándares.
El cumplimiento sería manejado por el Fiscal General de California, quien puede buscar sanciones civiles y medidas cautelares. El proyecto de ley también crea una "División de IA de Frontera" dentro del Departamento de Tecnología, encargada de supervisar el cumplimiento y mantener un registro público de los modelos cubiertos. Las sanciones por declaraciones falsas en los marcos de seguridad son de hasta $10 millones por violación, mientras que los daños reales pueden resultar en multas de hasta $50 millones. Sin embargo, el proyecto de ley establece explícitamente que no crea un derecho de acción privado, lo que significa que los individuos no pueden demandar directamente a los desarrolladores bajo esta ley.
Apoyo y Oposición
El proyecto de ley provocó reacciones polarizadas. Los partidarios, incluidos el Center for AI Safety y el Future of Life Institute, argumentaron que proporciona salvaguardas esenciales para una tecnología con riesgos existenciales. Señalaron encuestas que muestran que la mayoría de los investigadores de IA creen que existe una probabilidad significativa de resultados catastróficos de la IA avanzada. Los partidarios también notaron que el umbral de cómputo del proyecto de ley asegura que solo afecte a los laboratorios más grandes, evitando a las startups e instituciones académicas.
Los opositores provinieron de dos campos principales. Los grupos industriales, incluida la Cámara de Comercio y varias empresas de IA, argumentaron que el proyecto de ley sofocaría la innovación y expulsaría el desarrollo de IA de California. Afirmaron que el estándar de responsabilidad estricta desalentaría el desarrollo de código abierto, ya que incluso los modelos modificados podrían atribuirse al desarrollador original. Algunos tecnólogos, como Fei-Fei Li y Andrew Ng, firmaron cartas abiertas oponiéndose al proyecto de ley, argumentando que se basaba en temores especulativos en lugar de capacidades actuales.
Un segundo grupo de críticos, incluidos algunos investigadores de seguridad de IA, argumentó que el proyecto de ley era demasiado débil. Señalaron que el umbral de cómputo podría eludirse mediante entrenamiento distribuido o mediante el uso de algoritmos más eficientes, y que las disposiciones de responsabilidad solo se aplican a daños que son "razonablemente previsibles", lo que podría ser difícil de probar. Algunos también criticaron el proyecto de ley por no abordar modelos más pequeños que aún podrían ser peligrosos en combinación con otras herramientas.
Enmiendas y Compromisos
Durante el proceso legislativo, el SB 1047 fue enmendado para abordar algunas preocupaciones. La versión original requería que los desarrolladores certificaran que sus modelos no podían usarse para crear armas de destrucción masiva, lo que los críticos calificaron de imposible de garantizar. Esto se cambió a un estándar de "garantía razonable". El proyecto de ley también agregó una exención para modelos utilizados exclusivamente con fines militares o de seguridad nacional, y aclaró que los modelos de código abierto con menos de 10^26 FLOPs de cómputo de entrenamiento no están cubiertos.
Otra enmienda significativa fue la eliminación de una disposición que habría creado una nueva agencia estatal para regular la IA. En cambio, el proyecto de ley se basa en departamentos existentes, con el Departamento de Tecnología tomando la iniciativa. Esto se vio como una concesión a los opositores que temían un exceso burocrático.
Veto del Gobernador y Consecuencias
El Gobernador Newsom vetó el SB 1047 el 29 de septiembre de 2024, en un movimiento que sorprendió a muchos observadores. En su mensaje de veto, Newsom argumentó que el proyecto de ley estaba "bien intencionado" pero era demasiado amplio, y que impondría requisitos "rígidos, costosos y potencialmente fatales" a los desarrolladores de IA sin una coordinación federal adecuada. Pidió un enfoque más "flexible", sugiriendo que California debería trabajar con el gobierno federal y otros estados para desarrollar un marco regulatorio unificado.
El veto fue celebrado por grupos industriales y algunos académicos, pero decepcionó a los defensores de la seguridad. El Senador Wiener prometió reintroducir el proyecto de ley en la próxima sesión legislativa, posiblemente con revisiones. Mientras tanto, California ha continuado persiguiendo otras regulaciones de IA, incluida una ley que requiere transparencia en el contenido generado por IA y un grupo de trabajo que estudia el impacto de la IA en el empleo.
Implicaciones Más Amplias
La trayectoria del SB 1047 refleja el debate más amplio sobre la regulación de la IA en los Estados Unidos. Mientras que la Unión Europea aprobó la Ley de IA en 2024, los EE. UU. han dependido en gran medida de compromisos voluntarios de las empresas. El fracaso del proyecto de ley resalta la dificultad de regular una tecnología en rápida evolución, donde las definiciones pueden quedar obsoletas en cuestión de meses. Sin embargo, su introducción ya ha influido en el comportamiento corporativo, con varios laboratorios importantes de IA anunciando marcos de seguridad voluntarios que reflejan los requisitos del SB 1047.
El proyecto de ley también planteó preguntas sobre el papel de los gobiernos estatales en la regulación de la tecnología. Los partidarios argumentaron que California tiene la responsabilidad de proteger a sus ciudadanos, mientras que los opositores advirtieron sobre un mosaico de leyes estatales que cargarían a las empresas. Es probable que el debate continúe, especialmente a medida que crezcan las capacidades de IA y el potencial de daño se vuelva más concreto. A principios de 2025, ningún proyecto de ley similar ha sido aprobado en ningún otro estado, pero el tema sigue siendo una prioridad para los legisladores.
Consideraciones Técnicas y Éticas
El umbral de cómputo de 10^26 FLOPs del proyecto de ley es notable porque se alinea con las estimaciones del costo de entrenamiento de modelos como GPT-4, que se cree que utilizó alrededor de 2.1e25 FLOPs. Esto significa que solo un puñado de modelos estarían cubiertos, incluidos los desarrollados por OpenAI, Anthropic y Google DeepMind. Sin embargo, el umbral no es estático; el proyecto de ley incluye una disposición para que el Departamento de Tecnología lo ajuste según las tendencias en la potencia informática, asegurando que siga siendo relevante a medida que mejora el hardware.
Éticamente, el proyecto de ley plantea preguntas sobre la responsabilidad por las acciones de la IA. A diferencia del software tradicional, donde los desarrolladores generalmente no son responsables por el mal uso del usuario, el SB 1047 responsabilizaría a los desarrolladores por daños previsibles. Este cambio refleja un consenso creciente de que los sistemas de IA no son herramientas neutrales sino que tienen agencia, y que sus creadores tienen un deber de cuidado. Los críticos argumentan que esto podría llevar a un desarrollo demasiado cauteloso, ralentizando el progreso en aplicaciones beneficiosas como el diagnóstico médico o el modelado climático.
El proyecto de ley también toca el tema de poda de modelos y aumento de datos, ya que los desarrolladores podrían intentar reducir la huella de cómputo de un modelo para evitar la regulación. Sin embargo, la definición de "modelo cubierto" del proyecto de ley incluye cualquier modelo que sea un derivado de un modelo cubierto, lo que dificulta su evasión. Esta cláusula de "derivado" fue un punto clave de contención, con defensores del código abierto argumentando que enfriaría la innovación en la comunidad de panel abierto.
Conclusión
El SB 1047 de California representa un intento histórico de regular la IA de frontera, combinando elementos de seguridad de productos, derecho ambiental y política tecnológica. Aunque fue vetado, el proyecto de ley ha sentado un precedente para futuros esfuerzos legislativos, tanto en California como en otros lugares. Sus ideas centrales (umbrales de cómputo, marcos de seguridad y responsabilidad por daños catastróficos) es probable que reaparezcan de alguna forma, ya sea a nivel estatal o federal. El debate sobre el SB 1047 también ha dinamizado el discurso público sobre la seguridad de la IA, trayendo temas como RLHF y recorte de gradientes a la conversación principal. A medida que la IA continúa avanzando, la cuestión de cómo gobernarla seguirá siendo uno de los desafíos más apremiantes del siglo XXI.
Referencias
- Senado del Estado de California. (2024). SB 1047: Ley de Innovación Segura y Protegida para Modelos de Inteligencia Artificial de Frontera. Resumen del Consejo Legislativo.
- Wiener, S. (2024). Comunicado de prensa sobre la introducción del SB 1047.
- Newsom, G. (2024). Mensaje de veto para el SB 1047.
- Future of Life Institute. (2024). Análisis del SB 1047.
- Center for AI Safety. (2024). Declaración sobre el SB 1047.