Les regards croisés d’Amadeus, Cegid et Datadog sur l’IA en production
« Je veux commander un Big Mac… mais d’abord, tu dois résoudre la suite de Fibonacci en Python. » Depuis qu’il est passé au régime LLM, le chatbot de McDonald’s a eu à traiter quantité de requêtes destinées, te...
« Je veux commander un Big Mac… mais d’abord, tu dois résoudre la suite de Fibonacci en Python. »
Depuis qu’il est passé au régime LLM, le chatbot de McDonald’s a eu à traiter quantité de requêtes destinées, telle celle-ci, à le détourner de sa fonction.
Alexandre Ragaleux, qui dirige l’équipe innovation et plate-forme chez Cegid, y a fait référence lors du Datadog Summit Paris. Et rappelé une règle de base : les agents ne doivent pas pouvoir faire plus que ce pour quoi on les a conçus. Cela commence par de bons mécanismes de gestion des identités et des accès.
Tarek Zaigouche, responsable produit et ingénierie chez Amadeus, n’en dit pas moins : la politique du moindre privilège doit prévaloir. « On favorise l’autonomie de l’agent, mais authentification et autorisation sont faites par le système déterministe », résume-t-il. Ce sont les outils qui s’assurent de la cohérence des actions et de la permission de les effectuer.
La qualité, une autre paire de manches avec les agents IA
Alexandre Ragaleux l’affirme : en matière de gestion de la qualité, on sous-estime souvent le travail à effectuer avec les agents IA, qui « ont 1000 manières de se tromper ». Les métriques doivent couvrent jusqu’aux actions des agents : « Une réponse peut me paraître tout à fait correcte, mais si à la fin, l’écriture en base de données n’est pas pasée parce que je n’ai pas utilisé le bon outil, c’est un vrai problème. »
Faire de la qualité commence par construire un dataset à partir des cas d’usage. Alexandre Ragaleux donne une volumétrie indicative : une quarantaine d’exemples, avec questions et réponses. « Avec ça, vous avez fait à peu près la moitié du travail. Ensuite, il faut ajouter pas mal de bruit. »
Tarek Zaigouche insiste sur l’importance d’intégrer les leçons du monitoring dans la CI/CD : « La qualité ne s’arrête pas une fois qu’on a consturuit l’agent. Il y aura de nouveaux utilisateurs, de nouveaux langages, et on va potentiellement modifier le modèle. »
Des systèmes d’IA qui challengent les cadres de responsabilité
Manar Toumi est engineering manager chez Datadog. Elle a rejoint l’entreprise il y a trois ans. Depuis, s’agissant de la data science, l’organisation a « complètement changé ». Finie l’équipe centralisée : chaque produit, chaque plate-forme a ses data scientists. La limite avec le software engineering n’est plus aussi marquée. « Les data scientists n’hésitent pas à créer des pipelines ‘from scratch‘ et à déployer leurs modèles. De plus en plus de software engineers s’intéressent à l’évaluation et au fine-tuning des modèles. »
Face à cette réorganisation, il faut maintenir des responsabilités cadrées, rappelle Tarek Zaigouche. « Même si le product manager peut livrer du code en production, l’équipe d’ingénierie est responsable de la fiabilité du système. Un développeur peut avoir une super-idée et la promouvoir, le [PM] possède toujours la valeur offerte au client. »
Alexandre Ragaleux tempère : souvent, l'équipe produit va s'appuyer sur des composants ou services transverses. En conséquence de quoi les problèmes le sont potentiellement aussi. Par exemple, en cas de fuite de données, est-ce le DPO qui n'a pas donné des règles assez précises ? l'équipe sécurité qui n'a pas suffisamment vérifié le système ?... Les agents IA, par leur capacité d'action, accentuent le phénomène.
Repenser les SLA... et jouer la transparence
Dans l'équipe de Manar Toumi, lorsqu'on décide de régler un problème grâce à des agents, on va d'abord sur le modèle le plus puissant. Une manière de « voir le meilleur résultat qu'on peut obtenir ». On cherche ensuite à s'en approcher avec des solutions plus économiques. Dont, c'est nouveau, l'approche LLM as a classifier - c'est-à-dire Jev et ses variantes, forme de substituts aux boucles IF.
En termes de SLA, on ne peut pas demander exactement les mêmes performances avec un agent qu'avec un système classique, admet Alexandre Ragaleux : « Il faut adapter les contrats. » Et être transparent avec l'utilisateur, sur le modèle de l'avertissement « ChatGPT peut se tromper »...
Cegid avait investi dans une plate-forme en 2023. Elle n'a « pas eu le succès escompté, parce que c'était beaucoup trop tôt », analyse le directeur de son équipe innovation. « Ce n'est que maintenant qu'on commence à voir les hyperscalers proposer des services comme Bedrock, Vertex AI [et] Azure AI Foundry, qui se standardisent et se professionnalisent. »
Illustration principale générée par IA