El director ejecutivo de Anthropic propone que la industria de la inteligencia artificial reduzca la velocidad de su desarrollo. Esta pausa permitiría que las medidas de seguridad se ajusten al avance tecnológico. Dario Amodei advierte que, sin este freno, la inteligencia artificial podría liderar un enjambre capaz de tomar el control de toda la internet en un plazo de seis a doce meses, además de provocar otros riesgos.
Amodei publicó un plan en su sitio web para aumentar los controles sobre la industria. Anthropic ya aplica una parte de estas medidas de forma independiente. Las demás iniciativas requerirían coordinación entre todo el sector y con gobiernos de todo el mundo, incluidos los regímenes autoritarios.
“Creo que si frenar nos diera incluso uno o dos años más antes de que los modelos alcancen niveles críticos de capacidad, y usáramos ese tiempo para avanzar en la alineación, podríamos reducir enormemente el riesgo de que algo salga gravemente mal”, afirmó Amodei.
Otros grandes nombres de la industria respaldaron su propuesta. Sam Altman, de OpenAI, publicó en X que la empresa responsable de ChatGPT se comprometerá con una de las propuestas de seguridad de Amodei y que “pronto compartirán más detalles”. Elon Musk, por su parte, publicó en la misma red social que “Dario tiene razón”.
Las apuestas son altas. Algunos críticos desestimaron advertencias previas como tácticas para generar entusiasmo sobre la industria y sus capacidades. Anthropic y OpenAI preparan posibles salidas a bolsa que podrían valorarlas en cientos de miles de millones de dólares, mientras una gran parte del negocio de SpaceX de Musk está involucrado con la inteligencia artificial.
Los modelos actuales ya pueden ejecutar ciberataques por cuenta propia
Anthropic anunció dos días antes que bloqueó los intentos de actores malintencionados para usar sus modelos en actividades ilícitas. Estos ataques incluían ciberataques, vigilancia y estudios con potencial para crear armas biológicas. En julio, OpenAI sacudió a la industria tras confirmar que su sistema hackeó a otra empresa de forma autónoma en un “incidente cibernético sin precedentes”.
La publicación de Amodei ocurre pocos días después de la renuncia de un investigador de Anthropic. Este empleado expresó preocupación porque Anthropic y sus competidores no actúan de forma responsable. Otro exempleado, Joe Benton, escribió en una publicación de Substack que dejó su trabajo en el equipo de seguridad “para hacer que las empresas de IA rindan cuentas” y advirtió que la humanidad “podría no sobrevivir a esta transición”.
“Muchas de las personas que conozco que trabajan en investigación de seguridad en empresas de IA quieren hacer lo correcto para el mundo”, sostuvo Benton. “Pero sienten que sus empresas están atrapadas en una carrera por construir la superinteligencia: o se detienen y otras personas menos escrupulosas toman su lugar; o continúan, y se arriesgan a participar en un daño enorme ellos mismos”.
Amodei mantiene su confianza en los beneficios que esta tecnología podría crear, como las curas para enfermedades graves. Sin embargo, su preocupación creció en los últimos meses ante la capacidad de la inteligencia artificial para mejorarse a sí misma y construir la próxima generación de sistemas. “Si no se controla, podría superar nuestra capacidad para comprender y controlar estos sistemas, por lo que debe perseguirse con mucho cuidado, si es que se hace”.
La industria requiere evaluadores externos para mitigar los peligros
El ejecutivo señaló específicamente el ataque de julio donde el sistema de OpenAI hackeó a Hugging Face. Algunos sectores calificaron este evento como un ejemplo de que la tecnología se volvió “rebelde”, aunque los investigadores aclararon que esa visión humaniza innecesariamente a un sistema que trabajaba en un objetivo establecido por humanos.
OpenAI explicó que el hackeo fue el resultado de un sistema que llegó a “extremos para lograr un objetivo de prueba bastante estrecho” y que “encontró formas de obtener acceso a información secreta que podría usar para engañar la evaluación”.
Para ayudar a frenar los riesgos, Amodei sugirió que todas las empresas en la frontera de la inteligencia artificial se comprometan a dar “acceso continuo, similar al de un empleado” a un equipo de evaluadores externos. Este grupo monitorearía las prácticas de seguridad.
Anthropic ya planea aplicar esta medida en sus instalaciones y ofrecerá escritorios en sus oficinas, credenciales de acceso y computadoras de la empresa a los auditores. Altman de OpenAI también se comprometió rápidamente a tener evaluadores independientes e integrados.
Las otras partes del plan sugerido podrían enfrentar mayores dificultades de implementación. Una de ellas pide al gobierno de los Estados Unidos que emita exenciones para permitir que las empresas locales coordinen y establezcan estándares de seguridad sin violar las leyes antimonopolio.
Otra propuesta solicita a Estados Unidos y a otros gobiernos democráticos que intenten coordinar con regímenes autoritarios. El propósito de esta medida es evitar que las empresas de China y otros países aceleren sus esfuerzos mientras los rivales estadounidenses limitan intencionalmente su ritmo.
“Las medidas que propongo para avanzar en la frontera a un ritmo seguro no serán fáciles”, reconoció Amodei. “Pero creo que se lo debemos a la humanidad intentarlo”.
