La solution Agent Assurance de TestMu AI est désormais accessible à tous et permet aux équipes de vérifier les modifications réellement effectuées par leurs agents IA

L’essai gratuit comprend 4 000 crédits et permet de lancer jusqu’à quatre exécutions simultanées. Les équipes peuvent ainsi générer des suites de tests fonctionnels et adversariaux à partir de la documentation et du point de terminaison de leur propre agent, sans nécessairement fournir son code source, puis subordonner la validation des processus d’intégration continue (CI) à des verdicts étayés par des preuves, sans avoir à réserver de démonstration.

SAN FRANCISCO, États-Unis et NOIDA, Inde--(BUSINESS WIRE)--TestMu AI (anciennement LambdaTest), première plateforme au monde d’ingénierie de la qualité propulsée par l’IA agentique, a annoncé aujourd’hui la disponibilité générale d’Agent Assurance. Cette solution permet de tester les agents IA qui exécutent des actions, notamment en faisant appel à des outils, en écrivant des fichiers ou en modifiant des enregistrements. Elle vérifie les modifications réellement effectuées lors de chaque exécution, plutôt que de se fier aux déclarations de l’agent sur les actions qu’il a accomplies. Toutes les équipes peuvent désormais créer un compte TestMu AI et tester leurs propres agents sans avoir à réserver de démonstration au préalable.

Agent Assurance a été lancé le 17 août 2026, avec un accès sur liste d’attente et une session d’accompagnement à la prise en main. Depuis, Rook, l’outil en ligne de commande (CLI) qui exécute Agent Assurance, a fait l’objet de mises à jour régulières, tenant compte des retours des premières équipes utilisatrices.

Jusqu’à présent, l’évaluation des agents reposait principalement sur leur réponse finale, alors que celle-ci peut donner une image erronée du travail réellement accompli. Selon CXBench, une étude comparative des agents fondés sur de grands modèles de langage (LLM) dans des processus d’expérience client soumis à des exigences réglementaires, publiée en octobre 2026, 80,1 % des exécutions ayant produit le résultat attendu ont néanmoins échoué aux contrôles de conformité des processus, et seules 13,8 % ont satisfait aux deux critères. Un agent peut en effet utiliser le mauvais outil ou omettre une étape obligatoire tout en affirmant avoir mené sa tâche à bien. C’est pourquoi Agent Assurance vérifie les effets réels de chaque exécution en examinant les appels aux outils effectués par l’agent, ainsi que les enregistrements, les messages et les artefacts qu’il a modifiés, sur la base des données transmises par les mécanismes d’interception (hooks) configurés par l’équipe. Ce n’est qu’après ces vérifications que la solution rend son verdict. Tout élément qu’elle ne peut pas observer est classé comme « Unable to Verify » (Impossible à vérifier) et n’est jamais considéré comme une réussite.

Fonctionnalités d’Agent Assurance disponibles dès son lancement officiel

• Suites de tests générées automatiquement : Scénarios de tests fonctionnels et adversariaux élaborés à partir de la documentation de l’agent, notamment un document d’exigences produit (PRD), des documents définissant les politiques applicables ou une spécification d’API, ainsi que de son point de terminaison. L’ajout du code source est facultatif, mais permet d’obtenir des résultats plus approfondis.
• Tests d’intrusion (red teaming) : 25 types d’attaques, notamment des attaques en plusieurs échanges, couvrant les 20 risques recensés dans les référentiels OWASP Top 10 pour les applications LLM et OWASP Top 10 pour les applications agentiques, ainsi que huit techniques du référentiel MITRE ATLAS. Le rapport est organisé par risque et présente les tests effectués, les résultats de chaque attaque et les éléments ayant pu être vérifiés.
• Verdicts étayés par des preuves : Chaque critère donne lieu à l’un des trois verdicts suivants : « Pass » (Réussi), « Fail » (Échoué) ou « Unable to Verify » (Impossible à vérifier). Chaque verdict s’appuie sur des éléments de preuve explicitement cités. Le statut « Unable to Verify » n’est jamais comptabilisé comme une réussite, et le rapport recense séparément chaque résultat non vérifié, en précisant les éléments nécessaires à sa vérification.
• Qualité, performances et optimisation de l’utilisation des tokens : Outre les tests fonctionnels et adversariaux, chaque exécution évalue la qualité des résultats produits et le respect des instructions, analyse l’efficacité de l’utilisation des tokens (coût par tâche, verbosité et appels redondants aux outils) lorsque l’agent fournit des données sur sa consommation de tokens, et mesure la latence à chaque tour d’interaction.
• Analyse des causes profondes : À la demande de l’utilisateur, Rook regroupe les tests ayant échoué et propose, pour chaque groupe, une cause probable et une mesure corrective. La documentation et un point de terminaison suffisent pour commencer ; l’ajout du code source de l’agent permet d’approfondir l’analyse des causes profondes.
• Tests de régression en intégration continue (CI) : Chaque exécution est comparée à la précédente, et tout test qui échoue alors qu’il avait réussi lors de la dernière exécution est signalé. L’authentification par clé d’accès est compatible avec les environnements d’exécution CI sans navigateur, et des exemples de configuration sont fournis pour GitHub Actions, Jenkins et Argo CD.
• Tests multi-agents : Agent Assurance permet d’évaluer un ensemble d’agents IA qui se transmettent des tâches sans intervention humaine, ainsi que des agents n8n par l’intermédiaire de leur webhook.
• Écritures contrôlées : Les modifications apportées par un agent étant réelles, Rook présente le plan d’exécution et demande une confirmation avant de lancer toute exécution interactive.
• Aucune clé d’accès aux fournisseurs de modèles requise : Rook détermine la fonction de l’agent, génère les scénarios de test et exécute l’agent comme le ferait un utilisateur, tandis que les modèles fonctionnent au sein du contrôleur de TestMu AI. Une interface hébergée dans le cloud permet de consulter les résultats, avec un accès pour un nombre illimité de membres de l’équipe.
• Traçabilité prête pour l’audit : Chaque message envoyé à l’agent testé, chaque réponse, chaque appel à un outil et chaque verdict sont consignés dans un journal de session, les identifiants, les tokens et les clés d’accès étant masqués.
• Intégration aux environnements de développement : Agent Assurance peut être exécuté depuis un terminal ou directement dans Claude Code, Codex ou Gemini CLI, sous macOS, Linux ou Windows. Rook peut être installé à l’aide de npm, de Homebrew ou du programme d’installation dédié.

À l’occasion de la mise à disposition générale d’Agent Assurance, Mayank Bhola, cofondateur et responsable des produits chez TestMu AI, a déclaré : « Un agent peut affirmer avoir terminé une tâche alors qu’il ne l’a pas exécutée correctement. Agent Assurance n’évalue pas la réponse de l’agent, mais les modifications réellement apportées lors de l’exécution. Et lorsqu’il ne peut pas les vérifier, il le signale clairement. C’est pourquoi le statut « Unable to Verify » (Impossible à vérifier) n’est jamais comptabilisé comme une réussite. Un taux de réussite artificiellement gonflé par des suppositions est pire que l’absence totale de statistiques, car les équipes s’y fient pour mettre leurs produits en production. Les premières équipes utilisatrices nous ont expliqué que le plus difficile était de parvenir à lancer une première exécution. Nous avons donc supprimé l’étape de l’entretien commercial. Désormais, une équipe peut tester son propre agent avec Agent Assurance dès le premier jour et savoir précisément dans quelle mesure son comportement a été vérifié. »

« Avec un agent IA, le déroulement peut changer à chaque exécution », a déclaré Vipul Verma, vice-président principal de l’ingénierie du groupe chez TestMu AI. « Nous avons donc cessé d’essayer d’anticiper les étapes suivies par l’agent pour nous concentrer sur les résultats concrets de son exécution : ce qu’il a modifié, ce qu’il a envoyé et les éléments auxquels il a accédé. Maintenant qu’Agent Assurance est accessible à tous, chaque équipe peut l’utiliser dès aujourd’hui pour tester ses propres agents et voir ce qu’ils ont réellement fait, et non simplement ce qu’ils prétendent avoir fait », a-t-il ajouté.

Disponibilité

Agent Assurance est désormais accessible à toute personne disposant d’un compte TestMu AI. Les utilisateurs peuvent bénéficier d’un essai gratuit de 14 jours comprenant 4 000 crédits et jusqu’à quatre exécutions simultanées. Les scénarios de test et les résultats des exécutions sont conservés dans le dépôt de code de l’équipe sous forme de fichiers texte, que celle-ci souscrive ou non à une offre payante.

Agent Assurance est disponible à l’adresse testmuai.com/agent-assurance.

Foire aux questions

Qu’est-ce qu’Agent Assurance ?
Agent Assurance est une solution de test qui évalue les modifications réellement apportées par un agent IA, et non les actions qu’il prétend avoir effectuées. L’outil en ligne de commande Rook (CLI) génère une suite de tests à partir de votre code ou de votre documentation, soumet votre agent à ces tests, vérifie ses appels aux outils et leurs effets grâce aux mécanismes d’interception (hooks) configurés par l’équipe, puis signale séparément les éléments qu’il n’a pas pu vérifier. La solution est désormais accessible à tous et peut être installée librement.

Agent Assurance peut-il s’exécuter dans un pipeline CI/CD ?
Oui. Agent Assurance prend en charge l’authentification par clé d’accès dans les environnements d’exécution CI sans navigateur et fournit des exemples de configuration pour GitHub Actions, Jenkins et Argo CD.

Quels agents IA TestMu AI peut-il tester ?
TestMu AI permet de tester les agents IA dédiés à la programmation, à l’automatisation des flux de travail et aux opérations de back-office, ainsi que les systèmes multi-agents, grâce à Agent Assurance. La solution Agent Testing permet quant à elle de tester les agents conversationnels, vocaux, téléphoniques, vidéo et de traitement d’images.

Agent Assurance propose-t-il un essai gratuit ?
Oui, les utilisateurs bénéficient d’un essai gratuit de 14 jours comprenant 4 000 crédits et jusqu’à quatre exécutions simultanées.

À propos de TestMu AI

TestMu AI (anciennement LambdaTest) est une plateforme complète d’ingénierie de la qualité fondée sur l’IA agentique, qui permet aux équipes de tester leurs logiciels de manière intelligente et d’accélérer leur mise en production. Conçue pour fonctionner à grande échelle et nativement pensée pour l’IA, elle propose une gamme complète d’agents IA permettant de planifier, de concevoir et d’exécuter des tests, ainsi que d’analyser la qualité des logiciels pour les applications web, mobiles et d’entreprise, sur des appareils et des navigateurs réels, ainsi que dans des environnements personnalisés reproduisant les conditions réelles d’utilisation.

Le texte du communiqué issu d’une traduction ne doit d’aucune manière être considéré comme officiel. La seule version du communiqué qui fasse foi est celle du communiqué dans sa langue d’origine. La traduction devra toujours être confrontée au texte source, qui fera jurisprudence.