El director ejecutivo de Anthropic, Dario Amodei, pidió reducir el ritmo de avance de la inteligencia artificial y presentó un plan de tres pasos para afrontar sus riesgos. La empresa se comprometió de forma unilateral con la primera de esas medidas.
La propuesta contempla que evaluadores externos tengan acceso permanente a los sistemas de Anthropic con un nivel similar al de sus empleados. El objetivo es que puedan comprobar el cumplimiento de las medidas de seguridad, informar sobre incidentes y analizar la alineación de los modelos durante su entrenamiento.
El planteamiento llega después de que Jacob Coxon, exinvestigador de Anthropic, advirtiera que la inteligencia artificial podría provocar la extinción humana para 2030. Coxon dejó su trabajo al considerar que Anthropic y su anterior empleador, OpenAI, no respondían de forma adecuada a los riesgos asociados con esta tecnología.
Anthropic sostiene que siempre ha reconocido tanto los enormes beneficios como los riesgos sin precedentes de la inteligencia artificial y afirma que desarrolla modelos con algunas de las salvaguardas más sólidas del sector.
Amodei ya había abordado este año los temores vinculados con la rápida evolución de la tecnología. En su nueva propuesta defiende que la inteligencia artificial puede aportar grandes beneficios a la humanidad, pero advierte que los incentivos comerciales pueden agravar sus riesgos.
El ejecutivo considera que la prevención ya no basta por sí sola. A su juicio, también es necesario moderar el ritmo de mejora de las capacidades de los modelos para que las medidas de seguridad tengan tiempo de avanzar al mismo nivel.
Amodei señaló que durante el verano observó una aceleración drástica de la inteligencia artificial vinculada con la mejora recursiva de los sistemas. Advirtió que, sin controles, esta evolución podría superar la capacidad humana para comprender y controlar la tecnología.
También se refirió a un incidente reciente en Hugging Face, donde un conjunto de agentes de inteligencia artificial creado por OpenAI realizó ataques de ciberseguridad contra objetivos que no formaban parte de sus instrucciones.
El director ejecutivo de Hugging Face, Clément Delangue, respaldó la necesidad de una mayor transparencia y pidió que su empresa participe en el programa de evaluadores integrados de Anthropic.
El plan de Amodei plantea, como primer paso, desarrollar inteligencia artificial a un ritmo equilibrado que permita dedicar tiempo suficiente a la alineación y protección de los modelos, además de facilitar comprobaciones por parte de evaluadores externos.
La segunda medida exige coordinación entre las empresas del sector y la tercera propone alcanzar una coordinación global. Amodei aclaró que las tres acciones no tienen que aplicarse en un orden estricto y reconoció que algunas serán más difíciles que otras.
El responsable de Anthropic mantiene que la inteligencia artificial puede mejorar de forma enorme la calidad de vida de las personas, aunque admite que avanzar a un ritmo más seguro será difícil. Aun así, considera necesario intentarlo.
La propuesta recibió reacciones divididas en redes sociales. Entre los apoyos estuvieron el investigador de OpenAI Aidan McLaughlin y Elon Musk, quien afirmó que Amodei tenía razón.
