Une analyse produite avec l’aide d’un chatbot a attribué à tort à un navire chinois le transport de composants destinés à un programme d’armement nucléaire. L’erreur aurait conduit l’armée américaine à préparer une interception avec arraisonnement et soutien aérien, avant que la fiabilité du renseignement ne soit remise en cause.
L’épisode illustre un risque particulièrement sensible : lorsqu’une réponse générée par une intelligence artificielle entre dans la chaîne du renseignement, une information inventée peut être prise pour une menace réelle.
Une cargaison chinoise mal identifiée par le chatbot
L’affaire repose sur le travail d’un analyste du Commandement des opérations spéciales des États-Unis. Celui-ci aurait utilisé un chatbot pour examiner plusieurs renseignements concernant le manifeste de cargaison d’un navire chinois.
L’outil aurait combiné des informations accessibles publiquement avec des renseignements électromagnétiques classifiés détenus par les autorités américaines. Le résultat a ensuite été intégré à un rapport présentant le bateau comme transportant du matériel lié à un programme nucléaire militaire.
Cette conclusion était pourtant entièrement fausse. D’après quatre personnes informées de l’épisode, le chatbot avait incorrectement identifié la nature des éléments présents à bord.
Une opération militaire stoppée avant l’interception
Avant la découverte de l’erreur, les forces américaines se préparaient à intercepter le navire. Le scénario envisagé comprenait une montée à bord ainsi qu’un appui aérien, ce qui aurait placé des militaires américains directement face à un bâtiment chinois.
L’opération n’a finalement pas été exécutée. Les responsables ont identifié le problème avant l’arraisonnement, évitant qu’une affirmation produite par une IA ne provoque un incident militaire entre les États-Unis et la Chine. Une source proche du dossier a estimé que cette séquence avait presque déclenché une guerre.
Le cas ne concerne donc pas une arme autonome ayant pris seule une décision. Il révèle plutôt une défaillance dans la vérification humaine d’un rapport utilisé pour préparer une action potentiellement lourde de conséquences.
L’armée américaine accélère pourtant l’usage de l’IA
Cette alerte intervient alors que le département américain de la Défense étend rapidement l’emploi de l’intelligence artificielle. Sa stratégie prévoit notamment de rendre davantage de données disponibles dans ses systèmes informatiques afin qu’elles puissent être exploitées par des outils d’IA.
Le Pentagone a également déployé une plateforme militaire d’intelligence artificielle générative, alimentée par plusieurs modèles commerciaux adaptés aux besoins gouvernementaux. En juin, un représentant du département de la Défense a déclaré devant le Congrès que ces technologies servaient notamment à préparer des rapports exigés par les parlementaires.
Il a aussi indiqué que 1,5 million de personnels actifs du département de la Défense avaient utilisé ses outils d’IA générative. Cette adoption massive rend la question du contrôle d’autant plus importante : un modèle peut produire une réponse convaincante tout en inventant des faits lorsqu’il ne dispose pas d’éléments suffisants.
Ce qu’il faut retenir
L’affaire montre que l’intervention d’un humain ne suffit pas si celui-ci ne vérifie pas les résultats. Pour les administrations comme pour le grand public, une réponse générée par IA ne doit jamais être considérée comme une preuve.
-
- Identifier les sources originales utilisées par l’outil.
- Recouper toute affirmation sensible avec des documents indépendants.
- Refuser qu’une décision grave repose sur une conclusion impossible à retracer ou à confirmer.
La règle à retenir est simple : plus les conséquences possibles sont importantes, plus la validation humaine doit être documentée, contradictoire et indépendante du chatbot.
