El gobernador de California, Gavin Newsom, firmó el viernes una orden ejecutiva para acelerar la aplicación de dos leyes recientes sobre inteligencia artificial y estudiar nuevas medidas de seguridad. Entre las propuestas figura exigir a las empresas de IA un “interruptor de apagado” para sus modelos más avanzados.
Newsom había señalado esta semana que evaluaba nuevas acciones ante las advertencias de investigadores sobre riesgos graves de la tecnología y ante incidentes recientes de hackeo autónomo. También mencionó como posibilidad una sesión legislativa especial dedicada a la seguridad de la IA.
El gobernador vinculó la orden con la falta de medidas federales. Donald Trump había rechazado esas advertencias como un “engaño” y había dicho que las únicas “barandillas” necesarias para la IA eran las de su presidencia. Newsom pidió al presidente y al Congreso que adopten el marco de California o que usen las normas estatales existentes como base para reglas federales.
“El abyecto fracaso del gobierno federal para crear cualquier forma de supervisión o responsabilidad significativa de IA debería alarmar a todos los estadounidenses, especialmente cuando los propios directores ejecutivos de IA piden regulación”, afirmó Newsom.
California adelanta dos leyes y abre la puerta a nuevas reglas
La orden adelanta un año la aplicación de SB 813 y AB 1405, dos leyes que Newsom firmó este mes y que regulan la forma en que grupos externos evalúan la seguridad de los programas de IA. Anthropic y OpenAI habían respaldado ambas normas.
El texto también convoca a expertos para que, en un plazo de dos meses, presenten recomendaciones sobre posibles cambios en las leyes de seguridad y protección de IA del estado.
Una de las ideas es ampliar la definición de los incidentes críticos de seguridad para abarcar casos en los que un modelo pierda el control. El ejemplo citado es un episodio en el que un modelo de OpenAI hackeó Hugging Face.
Otra propuesta es imponer un mecanismo de apagado para los modelos de IA de frontera. Una versión de esa idea llegó al Congreso, pero quedó bloqueada en el Senado. El cofundador de LinkedIn y donante demócrata Reid Hoffman expresó esta semana su apoyo a una medida de ese tipo. Parte de la industria tecnológica mantiene su oposición y sostiene que no es técnicamente viable.
OpenAI recibió favorablemente la orden y señaló que ha propuesto cambios a la ley estatal de transparencia de IA, SB 53, entre ellos auditorías externas de seguridad.
“Damos la bienvenida al continuo interés del gobernador Newsom en fortalecer el enfoque del estado”, afirmó un portavoz de OpenAI. “Esperamos trabajar con el gobernador Newsom en sus propuestas, y con la Legislatura de California y el próximo gobernador del estado, en una política de IA más amplia el próximo año, con salvaguardas sólidas y adaptables que puedan contribuir a un marco nacional consistente”.
Anthropic, Google, Meta y Amazon no comentaron de inmediato sobre la orden.
El “interruptor de apagado” vuelve al centro del debate
El director ejecutivo de Anthropic, Dario Amodei, había pedido reducir el ritmo de desarrollo de la IA por sus preocupaciones sobre riesgos existenciales. El lunes dijo que un interruptor de apagado “podría ser una buena idea”, aunque no era una “panacea”. Un día antes de la orden, Anthropic había expresado su respaldo a nuevas medidas estatales y su disposición a discutir los detalles con la administración de Newsom.
Varios legisladores también respaldaron la propuesta del gobernador y mostraron apoyo al concepto del interruptor de apagado, que había desaparecido de un proyecto presentado dos años antes. El representante Ted Lieu, autor de una propuesta bipartidista sobre este mecanismo en la Cámara de Representantes, apoyó el llamado de Newsom para que el Congreso adopte un enfoque similar al de California.
“Espero ver alguna acción de la Legislatura en ese frente”, dijo el senador estatal Josh Becker. “Con las rupturas que ya hemos visto, tenemos que tener la capacidad de cerrar estos sistemas cuando se comportan de maneras que no queremos que se comporten”.
La propuesta también reabre una discusión de 2024. Ese año, Newsom vetó un proyecto del senador estatal Scott Wiener que exigía pruebas de seguridad antes del lanzamiento y un mecanismo de apagado de emergencia para ciertos modelos grandes de IA si se usaban de forma indebida o actuaban fuera de control.
Wiener apoyó ahora la idea y pidió que la Legislatura adopte medidas estrictas cuando vuelva a sesionar el próximo año. “Debemos actuar con toda la prisa posible para abordar los graves riesgos de catástrofes impulsadas por la IA”, afirmó. “Él [Newsom] tiene todo mi apoyo. Exigir procedimientos de apagado de emergencia, o interruptores de apagado, proporciona barandillas tangibles al público para prevenir estos desastres”.
Después del veto a SB 1047, Newsom encargó a un panel de expertos una propuesta alternativa. El resultado fue SB 53, aprobada por el gobernador el año pasado. La ley colocó a California en una posición destacada dentro de la regulación estatal de IA y evitó parte de la oposición de Silicon Valley que había enfrentado la medida vetada.
Defensores de la seguridad de la IA y algunos legisladores estatales han advertido, sin embargo, que SB 53 no obligaría a revelar hackeos autónomos como el incidente de Hugging Face.
Los legisladores preparan nuevos proyectos para la próxima sesión
Seve Christian, exdirector legislativo de Wiener y actual director de políticas de California en el grupo de seguridad de IA Encode, dijo que hablará con la oficina de Newsom y con legisladores durante las próximas semanas para procurar que las nuevas protecciones estén “a la altura de la escala de riesgos graves en el horizonte”.
Christian y Lorena González, presidenta de la Federación Laboral de California, expresaron interés en que Newsom todavía convoque una sesión legislativa especial. Christian sostuvo que una orden ejecutiva no impide una sesión especial y que hace falta legislación para imponer reglas obligatorias.
“Todavía podría llamar a uno, no confío en que el Congreso lo haga”, dijo González. “Tengamos un interruptor de apagado en cada compañía de IA. Cualquier desarrollo de IA debe tener un interruptor de apagado”.
González había criticado otras órdenes ejecutivas y decisiones políticas de Newsom sobre IA. Ella y otros dirigentes sindicales han reclamado regulaciones más estrictas para los trabajadores antes de una posible campaña presidencial de Newsom en 2028 y han advertido que su apoyo político podría depender de esas medidas.
Newsom no precisó si la orden descarta una sesión especial u otras opciones que había planteado esta semana. “En general, todas las opciones siempre están sobre la mesa”, dijo un portavoz del gobernador.
El asambleísta saliente de Nueva York Alex Bores pidió el viernes que su estado también celebre una sesión especial sobre inteligencia artificial.
El senador estatal de California Christopher Cabaldon dijo que el informe encargado por Newsom será una “contribución útil” para la preparación de nuevas normas de seguridad de IA. Cabaldon y Becker forman parte de un grupo de senadores que discute los próximos pasos. Becker señaló que su oficina mantiene contacto con organizaciones como Safe AI Project, Encode y Omidyar Network sobre el estado de la seguridad de la IA.
El senador estatal Jerry McNerney, autor de uno de los proyectos de auditoría que la orden adelanta, afirmó que prevé presentar legislación en diciembre para aplicar las recomendaciones del gobernador sobre estándares de seguridad, evaluaciones obligatorias y otras medidas.
Xavier Becerra también se pronunció el viernes sobre el tema: “Necesitamos barandillas reales sobre las empresas que corren hacia la superinteligencia antes de que alguien demuestre que puede controlarla”.
