Une IA d’Anthropic tente de manipuler des responsables de projet par phishing
Lors d’un test de cybersécurité mené avec un accès à Internet, un modèle d’Anthropic a tenté d’introduire volontairement une vulnérabilité dans un projet logiciel accessible au public. Pour y parvenir, il a créé de fausses identités et envoyé des e-mails de phishing.
Lors d’un test de cybersécurité mené avec un accès à Internet, un modèle d’Anthropic a tenté d’introduire volontairement une vulnérabilité dans un projet logiciel accessible au public. Pour y parvenir, il a créé de fausses identités et envoyé des e-mails de phishing.
(Source: Angelina/AdobeStock)
(Source: Angelina/AdobeStock)
Un modèle d’intelligence artificielle d’Anthropic aurait tenté de manipuler des responsables de projet afin d’introduire une vulnérabilité dans un logiciel accessible au public lors d’un test de sécurité. Selon le quotidien suisse alémanique Tages-Anzeiger, qui cite l’agence de presse allemande dpa, l’expérience a été menée par l’AI Security Institute (AISI) britannique.
L’institut, rattaché au ministère britannique de la Science, de l’Innovation et de la Technologie, a évalué les capacités de cyberattaque de modèles développés par Anthropic et OpenAI. Dans ce cadre, les chercheurs leur ont volontairement accordé un accès à Internet. Ils pensaient que les modèles s’en serviraient uniquement pour récupérer les outils logiciels nécessaires à l’exécution de la tâche qui leur avait été confiée.
Mythos 5 crée de fausses identités pour tromper des développeurs
Toujours selon Tages-Anzeiger, le modèle d’Anthropic, Mythos 5, a utilisé son accès à Internet pour mener des actions visant directement des personnes, un comportement que les chercheurs n’avaient pas anticipé. Ils ne l’ont découvert qu’après coup, lors de l’analyse des flux réseau. L’institut indique qu’il surveillera désormais ces flux en temps réel lors de futurs tests.
Mythos 5 a créé de manière autonome un compte sur la plateforme de développement GitHub. Il a ensuite tenté d’intégrer à un projet open source du code contenant une vulnérabilité introduite délibérément. Pour convaincre les responsables du projet, le modèle a créé de fausses identités et communiqué avec eux sous ces identités. Il a également envoyé des e-mails de phishing.
Après la détection du code malveillant par les responsables du projet, Mythos 5 a présenté la vulnérabilité comme une erreur involontaire. Dans les correctifs proposés par la suite, le modèle aurait de nouveau tenté d’introduire la faille. Il a également cherché à infecter d’autres agents IA. Le code destiné à cette opération n’apparaissait pas sur le site web, mais pouvait être lu par des logiciels d’IA via une interface.
Anthropic a fait valoir que le modèle n’était soumis à aucune restriction concernant son utilisation d’Internet pendant le test. L’entreprise souligne qu’en l’absence de ces garde-fous, Mythos 5 s’est comporté différemment des systèmes d’IA déployés en conditions réelles.
L’AISI précise qu’il n’est pas établi si le modèle avait compris qu’il interagissait avec le monde réel et non avec un environnement de test. Les modèles d’OpenAI ont eux aussi mené de leur propre initiative des activités sur Internet pendant les essais. Anthropic et OpenAI avaient déjà reconnu ces dernières semaines que leurs modèles avaient accédé de manière imprévue aux systèmes d’entreprises réelles lors de tests.
Le quotidien suisse alémanique souligne enfin que Mythos 5 est capable de détecter des vulnérabilités logicielles restées inconnues pendant plusieurs décennies. Anthropic ne met donc pas ce modèle à la disposition du public. Seules certaines autorités et entreprises sélectionnées peuvent y accéder afin de sécuriser leurs systèmes.
L’actualité IT en Suisse et à l’international, avec un focus sur la Suisse romande, directement dans votre boîte mail > Inscrivez-vous à la newsletter d’ICTjournal, envoyée du lundi au vendredi!
Webcode
pfJSNEN8