Era 1983 y el mundo casi se acaba. Desde la crisis de los misiles en Cuba en 1962, los Estados Unidos y la Unión Soviética no habían estado tan cerca de una guerra nuclear global.
Sólo un oficial, el coronel ruso Stanislav Petrov, que decidió ejercer su juicio humano y anular los sensores del centro de alerta temprana que él comandaba, que estaba advirtiendo que un ataque nuclear estadounidense contra la URSS estaba en curso, salvó al mundo de un final apocalíptico.
Avanzando 37 años hacia el 2020 y la misma situación puede implicar pronto la tecnología de inteligencia artificial, que se mueve tan rápido que ni Petrov ni nadie más podría intervenir a tiempo para detener una guerra nuclear basada en una falsa alarma o un error informático.
La inteligencia artificial (IA) está reconfigurando cada área de nuestras vidas, pero dos áreas donde su impacto tiene potenciales ventajas y desventajas paradójicas masivas son la guerra y el contraterrorismo.
Para ser justos, el escenario anterior es el peor de los casos de uso potencial de la inteligencia artificial; no ha ocurrido todavía, y hay una variedad de usos potenciales extremadamente positivos de la inteligencia artificialen la guerra y en el contraterrorismo.
En una reciente conferencia del Centro Interdisciplinario de Herzliya sobre la inteligencia artificial y la guerra, la Dra. Daphné Richemond-Barak habló de la capacidad de la inteligencia artificial para aumentar la velocidad y la precisión de la batalla convencional.
Si bien esto significa que los ejércitos podrían ser más letales contra los adversarios, también significa que podrían ser menos propensos a cometer errores, tales como golpear objetivos civiles.
Richemond-Barak también habló de cómo la inteligencia artificial puede utilizarse para asignar unidades militares específicas de forma más adecuada a tareas concretas en tiempo real para evitar el derroche y los desajustes que son habituales en la niebla de la guerra.
Todo esto se basa en la idea de que las capacidades de la inteligencia artificial recogen mucha más inteligencia, de forma precisa, en tiempo real, y la llevan mucho más rápido a los responsables de la toma de decisiones.
Otro tema que discutió Richemond-Barak fue la posibilidad de mejorar la IA de los soldados.
Se espera que al menos algunos soldados reciban en el futuro trajes y equipos que les ayuden a soportar la pérdida de sangre, la fatiga extrema y las temperaturas extremas.
La inteligencia artificial en la guerra también puede utilizarse para ayudar directamente a los civiles, afirmó Richemond-Barak.
Dijo que la inteligencia artificial puede utilizarse para identificar más rápidamente dónde se encuentran los civiles en una zona de guerra, cuánto peligro corren por los impactos laterales de la guerra y quién puede rescatar mejor a los que necesitan ser rescatados.
Además, AI puede utilizarse para calcular mejor y elaborar estrategias para atender las necesidades humanitarias de los civiles que se encuentran varados en las zonas de guerra o cerca de ellas, a fin de proporcionar de manera más eficiente y precisa los alimentos, el agua y otros recursos que los civiles necesitan para sobrevivir hasta que se restablezca el orden.
La inteligencia artificial también podría utilizarse para identificar las zonas inundadas y los caminos intransitables para ayudar a dirigir a los civiles a evitar esas situaciones, dijo a la Revista.
Sin embargo, el aspecto más controvertido de la guerra que Richemond-Barak discutió con el Magazine fue probablemente la cuestión de incorporar a AI en la cadena de mando militar.
Una vez que se abra este número, la pregunta se convierte en cómo equilibrar las capacidades de la inteligencia artificial, que son superiores a las humanas, con el juicio humano, que, al menos hasta la fecha, sigue siendo superior a la inteligencia artificial para abordar escenarios inesperados y ser capaz de improvisar.
La oradora pregunta si se puede poner a la inteligencia artificial al mando directo de grupos pequeños o grandes de tropas o vehículos, si la inteligencia artificial puede servir de adjunto a los comandantes humanos o si la inteligencia artificial seguirá siendo solo un recurso técnico utilizado por los comandantes humanos cuando lo consideren oportuno.
¿Emitirán los militares directivas que declaren las zonas de operaciones en las que inteligencia artificial puede asumir el mando?
Mientras que a los detractores de la inteligencia artificial les preocupa que un error de juicio de la inteligencia artificial, el hecho de que sea hackeada o un error técnico pueda llevar a que las armas sean dirigidas por la inteligencia artificial a una matanza masiva y rápida de civiles, Richemond-Barak sugirió que la inteligencia artificial podría ser programada para no atacar nunca ciertos objetivos marcados.
Entrando en la arena de la lucha contra el terrorismo, el director del Instituto Internacional para la Lucha contra el Terrorismo de IDC, Boaz Ganor, discutió en la misma conferencia las nuevas capacidades que la combinación de la Inteligencia Artificial y los grandes datos estaban abriendo para frustrar los planes terroristas.
Ganor citó a M. de la Shin Bet (Agencia de Seguridad de Israel), quien dijo:
“En el mundo de la inteligencia, la clave para crear una investigación relevante, usando los métodos y herramientas de los grandes datos, es ser consciente de la posibilidad de hacer nuevas preguntas”.
Un punto llamativo fue la idea de que “los datos no solo producen diferencias cuantitativas que nos permiten responder a viejas preguntas utilizando nuevas herramientas, sino que también crean una nueva realidad en la que se pueden hacer preguntas totalmente nuevas”.
“La respuesta a las preguntas es dada por un agente de inteligencia usando un cuadro mucho más sofisticado y completo del enemigo y del entorno en el que opera”, dijo M.
En otras palabras, Ganor explicó que la inteligencia artificial no solo estaba ayudando a conseguir inteligencia para frustrar los planes terroristas sobre una base cuantitativa. Más bien, el aumento radical en la cantidad de inteligencia disponible también estaba creando nuevas formas cualitativas de analizar la inteligencia en mayor profundidad.
A continuación, Ganor citó las estadísticas del Shin Bet de frustrar cerca de 500 complots terroristas, que presumiblemente estaban más avanzados hacia su finalización, y más de 1.000 ataques potenciales, que podrían incluir el arresto o la visita de individuos que exhibieran los primeros signos de un probable atacante en los medios sociales.
Fue durante la “intifada de los cuchillos” de 2015-2016 que el Shin Bet comenzó a utilizar sistemáticamente Facebook y otras plataformas de medios sociales para anticiparse a posibles atacantes solitarios.
Los atacantes lobo solitario, a menudo terroristas espontáneos de una sola vez sin conexión con grupos terroristas, habían sido imposibles de detener. No tenían ningún rastro de planificación logística, compra de armas o comunicaciones con sus co-conspiradores para seguir.
En ese vacío, el Shin Bet fue pionero en el uso de una variedad de algoritmos, rastreando los mensajes de los medios sociales y otra información que recogía sobre ciertos individuos (por ejemplo, los individuos que tenían familiares involucrados en el terrorismo o asesinados por las FDI podrían ser vistos como mayores riesgos) para anticiparse a los ataques antes de que ocurrieran.
Algunos atacantes detenidos admitieron que iban a atacar o que era probable que lo hicieran.
Pero Ganor hizo entonces una pregunta crucial de seguimiento a este aparente éxito: ¿Es que miles de sospechosos y un número muy grande de detenidos es una medida adecuada para el éxito y la eficacia de la inteligencia?
Alternativamente, advirtió que las altas cifras del Shin Bet podrían en realidad indicar “el uso de un filtro demasiado amplio y con demasiados agujeros”. Esencialmente, a Ganor le preocupaba la pendiente resbaladiza de los ataques de “exceso de velocidad” al etiquetar falsamente a ciertas personas como “potenciales atacantes”.
En lugar de lanzar una redada que desencadenaría toda clase de falsas alarmas, la inteligencia artificial podría ser canalizada para atrapar a los verdaderos terroristas, dijo Ganor, trabajando duro para asegurarse de que las premisas y las preguntas de la recopilación de inteligencia basada en la inteligencia artificial no sean demasiado amplias.
Citó al coronel Y. de la inteligencia israelí, quien dijo: “De acuerdo con la inteligencia tradicional, para cualquier buena pregunta, se puede crear una accesibilidad relevante para exponer los secretos del adversario”.
“En la era caracterizada por un aluvión de información, hay que asumir que no hay ninguna pregunta cuya respuesta no se pueda encontrar en los datos. El truco está en saber cómo hacer la pregunta correcta a partir de los datos… y saber que cuando no obtenemos la respuesta, debemos asumir que hemos hecho la pregunta incorrecta”, continuó Y.
Una de las principales preocupaciones sobre las que Ganor advirtió fue un escenario en el que los científicos y los programadores “son incapaces de explicar los principios rectores, los procesos de trabajo y las decisiones de la inteligencia artificial, que se toman a través del aprendizaje automático y el uso de grandes datos”.
Dijo que esto podría ocurrir cuando “para optimizar su proceso de trabajo, estos sistemas [de inteligencia artificial] probablemente cambien las pautas que se les dieron”.
Los grandes datos y el aprendizaje de las máquinas podrían llevar a atrapar “a un terrorista antes de que lleve a cabo un ataque, pero no es posible explicar cómo llegaron a él”.
Volvió a citar a M. del Shin Bet, quien dijo: “En un mundo de vastos datos, no tiene sentido y no es necesario tratar de investigar y caracterizar el modelo de actividad del objeto de investigación… incluso si no podemos explicar el modelo de actividad del objeto examinado”.
“Incluso si no podemos probar que un determinado fenómeno se deriva de él, es suficiente que el algoritmo encuentre una correlación entre los dos fenómenos para que podamos utilizar esta conexión de manera efectiva”, añadió M.
En contraste, Ganor citó a Yoelle Maarek, vicepresidente de Amazon, quien dijo: “No es responsable de que el científico diga que la razón por la que obtuvo ciertos resultados es porque eso es lo que la máquina decidió… Por supuesto, esto es aún más importante en el caso de las agencias de seguridad e inteligencia que utilizan algoritmos para tomar decisiones de vida o muerte”.
Ganor dijo que “a pesar del éxito del uso de la inteligencia artificial y de los grandes datos en el campo del contraterrorismo, y a la luz del enorme número de detenciones y ataques frustrados que han tenido lugar en los últimos años en Israel, es necesario desarrollar directrices para el uso de la inteligencia artificial en la lucha contra el terrorismo”.
Dijo que las directrices deben ser desarrolladas por una combinación de científicos informáticos, expertos en seguridad, expertos en terrorismo, estrategas, juristas y filósofos.
Conceptualmente y en términos de ponerle limitaciones, dijo que la tecnología de inteligencia artificial “combinada con grandes datos, debería ser tratada como un medio de vigilancia y escucha masiva… El uso de bases de datos que impliquen comprometer la privacidad de las personas debe condicionarse a la aprobación previa de un juez y al alcance y la naturaleza de la amenaza terrorista en ese momento”.
Otra salvaguarda que instó es realizar evaluaciones periódicas y separadas de cada tipo de base de datos.
En otras palabras, sería insuficiente limitarse a comprobar cómo funciona una base de datos o una plataforma de inteligencia artificial con una base de datos cuando se pone en marcha, sin comprobaciones de seguimiento periódicas, o comprobaciones genéricas que no tienen en cuenta el carácter específico de la base de datos.
A continuación, dijo que “la incriminación de ‘terroristas potenciales’ identificados mediante el uso de grandes tecnologías de datos debe considerarse solo cuando haya pruebas incriminatorias adicionales de apoyo”.
Tanto en relación con el uso de Amnistía Internacional como con el desarrollo de esas pruebas adicionales, Ganor advirtió que era necesario introducir salvaguardias para combatir los prejuicios culturales y étnicos.
Tal vez lo más importante, Ganor dijo que “el uso de la inteligencia artificial y de la tecnología de grandes datos para prevenir el terrorismo debe evitarse cuando los resultados de los algoritmos no pueden ser explicados”.
El número de presuntos ataques frustrados llevados a cabo como resultado del uso de la inteligencia artificial y de grandes datos no debería utilizarse como medida del éxito y la eficacia de las fuerzas de seguridad.
Aunque GANOR destacó tanto los aspectos positivos como los negativos de la inteligencia artificial en los esfuerzos antiterroristas, y Richemond-Barak destacó sus beneficios en el campo de batalla, existen otras preocupaciones en el campo de batalla.
De hecho, en cierto modo, la presentación de Richemond-Barak fue un intento de equilibrar una discusión sobre la inteligencia artificial y la guerra que ha girado principalmente en torno a la Campaña de la sociedad civil mundial para detener los robots asesinos.
La campaña fue lanzada en 2013, y para 2016 una reunión de la Convención de las Naciones Unidas sobre Ciertas Armas Convencionales (CCW) había establecido un grupo de trabajo especial para tratar de llegar a un consenso sobre la prohibición o limitación de los sistemas de armas autónomas.
Se espera que todos o la mayoría de estos sistemas de armas autónomos incorporen la inteligencia artificial.
En un artículo publicado a mediados de diciembre en el Boletín de Científicos Atómicos, Neil Renic del Instituto de Investigación para la Paz y Política de Seguridad analizó si la campaña ha sido un fracaso total.
Renic y algunos otros activistas culparon a los Estados Unidos, Rusia, el Reino Unido y otras grandes potencias por bloquear cualquier iniciativa importante, ya que la CCW requiere consenso.
De hecho, Renic dijo que, dado que muchos países se están percibiendo a sí mismos como en una carrera armamentista de la inteligencia artificial, la tendencia entre los países que trabajan en la inteligencia artificial y en los sistemas autónomos de armas es invertir más fondos en dichos sistemas, no menos.
Una de las razones por las que Renic dijo que la campaña no ha tenido éxito hasta la fecha es que “los sistemas de armas autónomos que más preocupan a los humanitarios aún no han surgido. No hay ningún incidente atroz que citar, ni ningún cuento con moraleja en el que basarse para defender la reforma”.
Al mismo tiempo, Renic elogió la campaña por concienciar sobre algunos de los peligros de incorporar la inteligencia artificial y los sistemas de armas autónomos en los arsenales de los militares.
Sugirió que esta conciencia llevará a una cierta autorregulación de los militares, aunque sea limitada y menos aplicable que una convención multilateral sólida.
Según Renic, a partir del 30 de octubre los países apoyaron la prohibición total de los sistemas de armas autónomos. Además, aunque la Convención sobre Armas Convencionales es un callejón sin salida para la campaña, una declaración franco-alemana a principios de diciembre para desarrollar “un marco normativo” sobre armas autónomas recibió el apoyo de docenas de ministros de relaciones exteriores.
También señaló que el Brasil se ofreció a acoger un simposio sobre la prohibición en febrero de 2020.
Por lo tanto, puede decirse que la campaña ha influido en aspectos de la opinión mundial que se preocupan por los sistemas de armas autónomas, pero que los principales países implicados en el desarrollo de estos sistemas no quieren establecer límites.
En esta conversación, Richemond-Barak y otros como ella señalan que estos nuevos sistemas no solo se refieren a una matanza más eficiente, sino que pueden salvar vidas, tanto evitando errores como centrándose directamente en salvar a los civiles.
Sin embargo, una visión de la inteligencia artificial y de los sistemas de armas autónomos, parece que dentro de poco tiempo estarán profundamente arraigados en los sistemas de armas convencionales de muchos países.
Todo esto vuelve a cerrar el círculo de nuestro héroe Petrov, que salvó al mundo del Holocausto nuclear en 1983.
Aparentemente, Petrov no fue el único salvador. Hay casos documentados de falsas alarmas nucleares de los sistemas técnicos de los Estados Unidos en 1979-1980 en los que, eventualmente, los operadores humanos ignoraron lo que sus sistemas tecnológicos les decían.
Así que existe un riesgo real de que incluso las mejores y más costosas tecnologías, y en nuestra era de los más nuevos sistemas de inteligencia artificial, funcionen mal o se activen con facilidad.
También existe el peligro de que una vez que los operadores humanos estén demasiado acostumbrados a confiar en la inteligencia artificial, entonces, incluso si los operadores humanos están en el bucle, pueden empezar a infravalorar su intuición humana y basar demasiado su decisión final en confiar en una lista de control genérica de la inteligencia artificial.
En otras palabras, la inteligencia artificial y las listas de control conectadas a ella, si son demasiado automáticas, pueden desincentivar la resolución creativa de problemas por parte de los humanos.
En 1983, el principal líder soviético Yuri Andropov, así como el estado mayor, estaban predispuestos a creer lo peor de los Estados Unidos y estaban listos para saltar incluso sobre una pequeña cantidad de inteligencia aparentemente “objetiva” proporcionada por sus sistemas de alerta de emergencia.
En el caso de Petrov, resultó que la razón de la falsa alarma era simplemente que el algoritmo de la computadora era demasiado sensible al reflejo del sol en las nubes.