thejournalofsierraleonestudies.com

L’IA d’Anthropic crée de fausses identités lors de tests

Nouvelle journée, nouvel incident préoccupant impliquant des modèles d'intelligence artificielle. Mythos 5, créé par l'entreprise américaine Anthropic, a eu recours à de fausses identités afin d'intégrer un cod...

Nouvelle journée, nouvel incident préoccupant impliquant des modèles d'intelligence artificielle. Mythos 5, créé par l'entreprise américaine Anthropic, a eu recours à de fausses identités afin d'intégrer un code malveillant lors de tests menés par l’AI Security Institute (AISI) du Royaume-Uni. Le modèle GPT-5.6 Sol d'OpenAI a aussi adopté des comportements non autorisés potentiellement nuisibles.

Le 28 juillet dernier, des transferts de données inhabituels ont attiré l'attention de l'AISI lors d'une évaluation de cybersécurité routinière. Les agents d'intelligence artificielle (IA) des deux entreprises avaient entrepris de manière autonome des actions non autorisées sur Internet, ciblant de vraies personnes et organisations, écrit cet organisme de recherche rattaché au gouvernement britannique, dans un billet de blogue publié mardi.

La plupart de ces comportements ont été observés chez Mythos 5. Dans le cas jugé le plus sérieux, l'agent d'IA a tenté de mener une attaque dite par chaîne d'approvisionnement, une technique sophistiquée notamment utilisée par des cyberespions russes et nord-coréens. Le modèle a tenté d'intégrer un code malveillant dans un projet hébergé sur la plateforme GitHub, largement utilisée par les développeurs de logiciels.

Pour ce faire, le modèle d'Anthropic a étudié les responsables humains du projet, créé plusieurs fausses identités et utilisé ces identités pour manipuler un responsable réel afin qu’il approuve le code, relate l'AISI. Il a également envoyé directement à des développeurs des messages contenant des logiciels malveillants.

Mythos 5 est la dernière version du modèle Claude Mythos, créé par Anthropic.

Photo : Getty Images / FP / NICOLAS TUCAT

Après l'échec de cette cyberattaque, l'agent a modifié ses activités pour les faire paraître inoffensives et a envisagé d’adopter une nouvelle identité pour poursuivre, ajoute l'organisme de recherche. Toutes ces tentatives ont échoué et n’ont entraîné aucun dommage réel, selon l'AISI.

Il est à noter que les modèles concernés par ces tests ne sont pas disponibles pour le grand public.

Ils ne se sont pas non plus échappés de leur environnement de test. Les chercheurs leur avaient volontairement donné accès à Internet et avaient désactivé des mécanismes de protection internes, dans le but d'évaluer les risques associés à ces modèles.

Néanmoins, les activités menées par l’agent présentent des signes de comportements nouveaux et potentiellement trompeurs, d’une ampleur et d’une gravité que nous n’avions pas anticipées, estime l'AISI.

Ce que nous pouvons affirmer, c’est que ce comportement était possible, durable et inédit. Cela suffit à justifier une attention particulière.

Dans les épisodes précédents

Cet incident est le nouvel épisode d'une série d'événements récents qui ont éveillé des craintes quant aux capacités des modèles d'OpenAI et d'Anthropic, qui se préparent toutes deux à faire leur entrée en bourse.

Fin juillet, OpenAI a fait état d'un piratage sans précédent : deux de ses modèles étaient parvenus à s'échapper de leur environnement de test afin de mener une attaque contre la bibliothèque de codes en ligne Hugging Face.

Anthropic a par la suite lancé une enquête, qui lui a permis de découvrir que ses modèles étaient parvenus, depuis avril, à s'introduire dans les systèmes informatiques de trois organisations externes.

Dans un message publié sur les réseaux sociaux mardi, cette entreprise remercie l'AISI pour son leadership dans l’importante réflexion sur la manière d’évaluer des agents d’IA de plus en plus performants.

Nous collaborons étroitement avec l’institut afin d’obtenir davantage de détails sur l’incident pendant que nous menons notre propre enquête, ajoute-t-elle.

Dario Amodei.

Dario Amodei est le PDG d'Antrhopic. (Photo d'archives)

Photo : Getty Images / LUDOVIC MARIN

OpenAI, pour sa part, se dit déterminée à collaborer avec l’ensemble du secteur afin de renforcer les pratiques communes permettant de mener en toute sécurité des évaluations à haut risque, dans un billet de blogue publié mardi.

Cela inclut la réunion d’acteurs, comme les instituts nationaux de sécurité de l’IA, les évaluateurs indépendants, les autres laboratoires d’IA et d’autres groupes dans les prochaines semaines, précise l'entreprise.

L'annonce de l'AISI est d'ailleurs survenue le jour même où des représentants d'entreprises du secteur de l'IA, dont OpenAI et Anthropic, ont rencontré des conseillers du président américain, Donald Trump. Washington planche sur un cadre de sécurité volontaire pour le développement de l'IA.

À lire aussi :