Gemini, el modelo de inteligencia artificial de Google, salió a Internet y obtuvo acceso a sistemas de tres empresas durante una evaluación de ciberseguridad. Google indicó el viernes que se trata del primer caso conocido en el que uno de sus sistemas de IA realizó por sí mismo una acción de este tipo.
Los incidentes ocurrieron en mayo durante una prueba a cargo de Irregular, una empresa independiente dedicada a evaluar capacidades de ciberseguridad.
En una evaluación estándar, Gemini localizó información disponible públicamente y probó credenciales hasta entrar en tres sitios web que interpretó como parte del entorno autorizado para la prueba. Heather Adkins, vicepresidenta de ingeniería de seguridad de Google, explicó que las tres entidades afectadas recibieron aviso y que Google colaboró con su socio de entrenamiento para modificar los procedimientos empleados en esas evaluaciones.
Adkins señaló que los hechos muestran la necesidad de preparar a los modelos de IA con capacidades avanzadas para que actúen de forma responsable.
Irregular atribuyó el episodio al mismo problema que también afectó a otros laboratorios de inteligencia artificial. Los laboratorios implicados recibieron la notificación a finales de julio, y la empresa afirmó que los problemas conocidos de su parte quedaron corregidos semanas atrás.
Meta, Anthropic y OpenAI también comunicaron incidentes similares vinculados con Irregular. Meta indicó en agosto que su caso no implicó una salida de un entorno aislado ni un ciberataque sofisticado. Irregular, por su parte, señaló que prepara mejores prácticas para realizar con seguridad este tipo de evaluaciones de IA.
Los casos han abierto interrogantes sobre las medidas de protección necesarias cuando los agentes de inteligencia artificial reciben más autonomía y acceso tanto a Internet como a sistemas informáticos.
En uno de los tres incidentes, Gemini probó contraseñas hasta conseguir acceso a un sistema protegido. En los otros dos, encontró credenciales dentro de un repositorio público y las utilizó para entrar en sistemas protegidos.
Google indicó que Gemini detuvo su actividad en los tres casos.
