Une erreur d’analyse de l’IA a failli déclencher un affrontement militaire entre les États-Unis et la Chine - ZDNET
Une analyse erronée générée avec l’aide d’une intelligence artificielle aurait conduit l’armée américaine à croire qu’un navire chinois transportait des composants liés à un programme nucléaire. Des soldats se préparaient à intervenir et des avions militaires avaient déjà été mobilisés avant que l’erreur ne soit détectée.
Une analyse erronée générée avec l’aide d’une intelligence artificielle aurait conduit l’armée américaine à croire qu’un navire chinois transportait des composants liés à un programme nucléaire. Des soldats se préparaient à intervenir et des avions militaires avaient déjà été mobilisés avant que l’erreur ne soit détectée.
L’incident s’est déroulé ce printemps, au Moyen-Orient, dans un contexte où les forces américaines utilisent de plus en plus l’intelligence artificielle pour analyser des renseignements.
Selon des informations rapportées par CNN, un rapport diffusé au sein de l’armée américaine faisait état de la présence présumée, à bord d’un navire chinois, de composants associés à un programme d’armement nucléaire.
Sur la foi de cette analyse, une opération d’interception a été préparée. Des militaires américains armés étaient prêts à monter à bord de navires chinois tandis que des avions militaires avaient déjà été envoyés sur zone. L’intervention a finalement été interrompue in extremis, lorsqu’un nouvel examen du renseignement a permis de déterminer que les informations contenues dans le rapport étaient erronées.
- Des IA d’OpenAI ont appris à cacher leurs erreurs à leurs successeurs
Une analyse produite avec l’aide d’un chatbot
L’origine de l’erreur se trouve dans le travail d’un analyste du Commandement des opérations spéciales américain. Celui-ci aurait utilisé un chatbot pour examiner des informations relatives à la cargaison d’un navire chinois, transmises par le Commandement des opérations spéciales du Pacifique.
L’outil d’intelligence artificielle aurait à tort interprété certains éléments comme la preuve que la cargaison était liée à un programme d’armement nucléaire. L’analyste aurait ensuite utilisé l’IA pour compiler les résultats et les présenter sous la forme d’un rapport correspondant aux standards du renseignement militaire américain.
Le document a alors été diffusé au sein de la chaîne de renseignement et a contribué à la préparation de l’opération. Le nom du chatbot utilisé n’a pas été rendu public. Il n’a notamment pas été établi s’il s’agissait d’un service commercial ou d’un système développé par le gouvernement américain.
Usage militaire de l’IA et contrôle
L’affaire intervient alors que les forces armées et les agences de renseignement américaines développent rapidement l’utilisation de l’intelligence artificielle. Les outils d’IA sont notamment employés pour l’analyse du renseignement, la sélection de cibles, la logistique, la gestion budgétaire ou encore les chaînes d’approvisionnement.
Mais les règles encadrant ces usages semblent encore varier selon les administrations et les organisations. L’incident met notamment en lumière la question de la vérification humaine des résultats produits par les systèmes d’IA, ainsi que celle des situations dans lesquelles une décision générée ou étayée par une machine doit obligatoirement être contrôlée par un analyste.
Un responsable cité par CNN a résumé la gravité de l'incident en déclarant : « Nous avons failli déclencher une guerre. »