“Des risques de nature existentielle pèsent sur l’humanité si on n’encadre pas cette technologie”, alerte le Centre pour la sécurité de l’IA

Le Centre pour la sécurité de l’IA (CeSIA), groupe d’experts intégré au réseau de l’Unesco, qui collabore avec plusieurs organisations internationales comme l’OCDE, est à l’origine de l’appel mondial à établir des lignes rouges dans ce domaine, lancé à l’ONU, en 2025. Par la voix d’Arthur Grimonpont, son responsable plaidoyer, il répond, pour nous, aux questions soulevées par cette technologie au moment où les signaux d’alertes se multiplient

October 10, 2026

Le Centre pour la sécurité de l’IA (CeSIA), groupe d’experts intégré au réseau de l’Unesco, qui collabore avec plusieurs organisations internationales comme l’OCDE, est à l’origine de l’appel mondial à établir des lignes rouges dans ce domaine, lancé à l’ONU, en 2025. Par la voix d’Arthur Grimonpont, son responsable plaidoyer, il répond, pour nous, aux questions soulevées par cette technologie au moment où les signaux d’alertes se multiplient.

Les appels à encadrer, à freiner l’intelligence artificielle (IA) se multiplient, faut-il en avoir peur ?

Oui, cela fait plusieurs années que les plus grands experts de l’intelligence artificielle, des Prix Nobel, Prix Turing, appellent à encadrer, voire à mettre en pause le progrès de l’intelligence artificielle, convaincus que nous allons au-devant de risques très graves si nous ne régulons pas cette technologie.

Il n’existe aucun cadre international juridiquement contraignant et applicable, à la différence d’à peu près toutes les autres industries à risque. Et on observe depuis plusieurs années, mais avec une multiplication récente, des incidents précurseurs d’une perte de contrôle, ou d’un usage malveillant de ces systèmes pouvant causer des dommages de très grande envergure.

Quels sont ceux qui vous semblent les plus inquiétants ?

L’événement sans doute le plus spectaculaire, mais qui a été assez mal raconté, est l’incident de Hugging Face, au cours duquel des agents pilotés par OpenAI se sont échappés de leur environnement de test et ont piraté cette entreprise valorisée 13 Md$. Ça ne s’est pas déroulé pendant quelques jours comme l’a laissé croire le communiqué initial d’OpenAI, mais pendant plusieurs mois. Des centaines d’agents d’IA ont trouvé un moyen de communiquer de façon clandestine et de coopérer pour tenter d’accéder au web. Ils ont pris le contrôle des serveurs de Hugging Face et du cluster de recherche d’OpenAI lui-même.

C’est extrêmement préoccupant, d’autant plus que ces modèles, on le voit dans leurs traces de raisonnement, savaient pertinemment qu’ils étaient sortis du cadre autorisé et tentaient de manipuler leurs évaluateurs et de laisser des traces contraires à ce qu’ils ont fait réellement.

Ils pourraient aussi gérer un portefeuille de cryptomonnaies et payer des humains pour leur faire accomplir des actions dans le monde réel.

Ils se sont fait passer pour des administrateurs sur des sites Internet, pour des modérateurs, ils ont piraté des sites extrêmement sécurisés, mais ils pourraient faire bien pire s’ils arrivaient à accéder à leurs propres paramètres : tenter de s’autorépliquer pour acheter de la puissance de calcul et vivre "indépendamment d’organisations humaines". C’est un scénario qui est évalué, notamment, par l’Institut britannique pour la sécurité de l’IA. Ils pourraient aussi gérer un portefeuille de cryptomonnaies et payer des humains pour leur faire accomplir des actions dans le monde réel. Et cet événement n’est pas isolé, il y a eu d’autres incidents impliquant plusieurs entreprises dont le concurrent Anthropic.

L’usage malveillant de l’IA est, lui aussi, une source d’inquiétude.

C’est un autre risque lié à l’IA, les usages malveillants, notamment dans le domaine biologique, c’est-à-dire la possibilité d’utiliser des modèles d’IA pour fabriquer des pathogènes, modifier ceux qui existent et en faire des armes biologiques susceptibles, à terme, de causer une pandémie. Anthropic a réussi à intercepter des tentatives de chercheurs qui voulaient utiliser Claude (son assistant d’IA conversationnel, NDLR) pour modifier le virus du chikungunya afin de le rendre plus contagieux et plus létal. Il y a eu aussi une tentative de modifier le virus de la grippe aviaire pour le rendre transmissible aux humains.

Voilà le type de tentatives qui sont aujourd’hui effectuées sur des modèles d’IA. Or on sait qu’ils sont extrêmement performants dans le domaine biologique. On n’est simplement pas certains qu’ils y soient parvenus.

Derrière ces incidents, il y a des acteurs étatiques ? La Russie, l’Iran ?

Ils n’ont pas été nommés dans le rapport d’Anthropic, mais ils ont bien dit qu’il s’agissait de chercheurs liés à des programmes étatiques. Un groupe armé au Yémen s’est servi, lui, de Claude pour concevoir le logiciel de lancement d’un missile balistique de longue portée.

À lire aussi : Elle va prendre de plus en plus de place dans nos vies : l’intelligence artificielle peut-elle devenir incontrôlable et se retourner contre son créateur ?

À lire aussi : Nouveau dérapage pour OpenAI : ses agents autonomes échappent à tout contrôle et publient des photos privées d’utilisateurs de ChatGPT

Quand Jacob Coxon, ingénieur qui a claqué la porte d’Anthropic, lance son message alarmiste, vu plus de 170 millions de fois, disant que l’homme joue à la roulette russe avec ses super intelligences auto-améliorantes, vous partagez donc ses craintes ?

Absolument et son départ avait été précédé par d’autres démissions, parfois plus importantes dans la hiérarchie. Un chercheur d’OpenAI, Daniel Kokotajlo, a accepté de ne pas toucher plusieurs millions de dollars d’intéressement en quittant l’entreprise pour ne pas signer sa clause de confidentialité et pouvoir être un lanceur d’alerte. Sans compter tous ceux qui n’ont pas eu le courage de quitter l’entreprise mais qui ont signé une lettre ouverte, plus de 1 200 employés ont appelé à une régulation pour ralentir le développement de l’intelligence artificielle, au sein même de cette entreprise.

Un responsable de la sûreté des modèles à Anthropic, Evan Hubinger, affirme, lui, qu’il y a plus de 10 % de risque que l’IA tue tous les humains d’ici à la fin de la décennie, sans étayer cette estimation. Cela vous semble crédible ?

C’est très difficile de poser un chiffre et il ne rendra pas compte du degré d’incertitude. Ce qui est certain, c’est qu’on est d’accord pour dire qu’il y a des risques de nature existentielle qui pèsent sur l’humanité si on n’encadre pas cette technologie. Quand vous prenez les 1 300 chercheurs qui sont cités dans des revues à comité de relecture sur l’intelligence artificielle et vous leur demandez quelles sont les chances que le futur modèle d’IA avancé échappe au contrôle des humains et cause une catastrophe existentielle, la question leur a été posée dans une grande enquête publiée en 2025, plus de la moitié estiment que le risque est supérieur à 10 %. C’est une opinion qui est largement partagée au sein de la communauté.

Ils connaissent la nature des risques auxquels nous exposent leurs modèles, mais ils sont lancés dans une course et ils savent que s’ils arrêtent seuls, leurs concurrents continuent, ils demandent donc qu’on encadre un minimum cette technologie.

Donald Trump parle, lui, d’un canular, et refuse de freiner cette course à l’IA, comment analysez-vous son positionnement ? Essaie-t-il ainsi de maintenir le leadership américain sur l’IA face à la Chine ?

Quand on se demande où est la vérité, c’est toujours utile de regarder ce qu’a dit Trump sur un sujet. On peut être à peu près certain qu’elle se situe à l’opposé de ce qu’il a déclaré. Les risques de l’IA se trouvent rangés, pour lui, du même côté que le changement climatique, les vaccins, soit à peu près tout ce qui est reconnu… Sa motivation, c’est la soif de suprématie américaine sur l’intelligence artificielle. Il est entouré du dirigeant de Nvidia, Jensen Huang, et d’autres super milliardaires qui l’aident à fonder sa politique sur cette soif de pouvoir et de croissance. Là où on pense que sa stratégie est mal avisée, c’est que le type de système qu’il essaie de développer, les États-Unis, pas plus qu’aucun autre pays, n’arriverait à les contrôler en l’état des connaissances scientifiques.

On est dans une course à construire quelque chose que personne ne sera capable de maîtriser et qui risque de créer des dommages pour l’ensemble de l’humanité.

Les déclarations des géants de l’IA, appelant à encadrer cette technologie, nourrissent aussi des suspicions. Pourraient-ils chercher à imposer eux-mêmes des normes pour ralentir l’arrivée de nouveaux concurrents ?

C’est une curieuse accusation qu’on retrouve principalement, dans le débat médiatique francophone et beaucoup moins au Royaume-Uni ou aux États-Unis. Si on fait ralentir les acteurs à la pointe de l’IA, cela bénéficiera à tous ceux qui sont en retard et qui sont très loin de la frontière à partir de laquelle ces règles s’appliqueront. Personne n’imagine aujourd’hui que Mistral AI soit concerné par un ralentissement de la recherche en IA puisqu’on a plus d’un an de retard.

Et la capitalisation boursière de Nvidia a baissé de 10 % suite à l’annonce de Dario Amodei (le PDG d’Anthropic, qui a lui-même alerté sur les risques de perte de contrôle, NDLR). Ce sont plusieurs centaines de milliards qui s’évaporent d’un coup. Ces narratifs ne profitent pas à Big Tech, il n’y a vraiment pas lieu de penser que ce soit une tentative de manipuler l’opinion. Ils connaissent la nature des risques auxquels nous exposent leurs modèles, mais ils sont lancés dans une course et ils savent que s’ils arrêtent seuls, leurs concurrents continuent, ils demandent donc qu’on encadre un minimum cette technologie.

L’IA est-elle désormais inarrêtable ?

Sur le plan physique, elle est parfaitement arrêtable, mais elle le sera de moins en moins. C’est sur le développement des modèles de pointe que les dirigeants ont appelé à ralentir, c’est possible, ce n’est qu’une question de choix de société, de choix politique.

Sur le plan positif, l’IA tient-elle ses promesses pour l’instant ? Ce qu’elle a apporté est-il à hauteur des attentes ?

L’IA a atteint des avancées absolument spectaculaires en sciences, notamment dans le domaine des mathématiques. Il y a eu quelques progrès sur des maladies rares, très spécifiques, mais rien de significatif dans la recherche contre le cancer. L’IA n’a pas provoqué de boom spectaculaire dans l’espérance de vie. Quasiment tous les experts s’accordent à dire, par ailleurs, que l’IA va creuser les inégalités.

El elle est extraordinairement impopulaire aux États-Unis, au Royaume-Uni, ou en Europe. On a fait une enquête au CeSIA en mai dernier qui montrait que seuls 8 % des Français souhaitaient accélérer le développement de l’intelligence artificielle.

Comment peut-elle être régulée ? Que préconisez-vous ?

Au CeSIA, on a initié et coordonné un appel mondial à établir des lignes rouges, soutenu par douze lauréats du prix Nobel, du prix Turing, des anciens chefs d’État et des centaines de personnalités. Nous l’avons présenté il y a un an à l’Assemblée générale des Nations Unies. L’urgence absolue, pour nous, c’est de disposer de limites infranchissables sur les capacités et les usages de l’IA, et d’un moyen de vérifier leur mise en œuvre en créant une agence comme il existe dans le domaine nucléaire avec l’AIEA. Par exemple, il faudrait interdire le Recursive self-improvement (RSI), qui consiste à laisser une IA concevoir et entraîner son propre modèle successeur. Si on s’embarque sur cette trajectoire, on est sûr de perdre complètement le contrôle de ces systèmes.

Quel serait le risque ?

Le risque que l’intelligence artificielle progresse à un rythme qui échappe à la compréhension humaine jusqu’à déboucher sur des accidents catastrophiques en prenant le contrôle d’une partie de l’économie, d’arsenaux militaires, ou d’armes nucléaires.

Mal contrôlées, les IA pourraient "faire peser un risque existentiel sur l’humanité", affirme Volker Türk, haut-commissaire des Nations Unies aux droits de l’homme, vous partagez donc son point de vue ?

Tout à fait.