„Agent Assurance“ von TestMu AI ist nun allgemein verfügbar und ermöglicht es Teams, zu testen, was ihre KI-Agenten tatsächlich verändern

Der Test umfasst 4.000 Credits und vier parallele Durchläufe, sodass ein Team funktionale und adversariale Testsuiten anhand der Dokumentation und des Endpunkts seines eigenen Agenten erstellen kann – wobei die Bereitstellung von Code optional ist – und die CI auf der Grundlage fundierter Beurteilungen steuern kann, ohne eine Demo buchen zu müssen.

SAN FRANCISCO & NOIDA, Indien--(BUSINESS WIRE)--TestMu AI (ehemals LambdaTest), die weltweit erste auf Agentic-KI basierende Plattform für Qualitätssicherung, gab heute die allgemeine Verfügbarkeit von „Agent Assurance“ bekannt. „Agent Assurance“ testet KI-Agenten, die Aktionen ausführen – wie beispielsweise das Aufrufen von Tools, das Erstellen von Dateien und das Ändern von Datensätzen –, indem es überprüft, was bei einem Durchlauf tatsächlich geändert wurde, anstatt sich darauf zu verlassen, was der Agent angibt, getan zu haben. Jedes Team kann nun ein TestMu AI-Konto erstellen und es für den eigenen Agenten nutzen, ohne zuvor eine Demo buchen zu müssen.

Agent Assurance wurde am 17. August 2026 nach einer Warteliste und einer angeleiteten Einführungssitzung eingeführt. Seitdem hat Rook, die CLI, auf der Agent Assurance läuft, regelmäßig neue Versionen veröffentlicht, die auf dem Feedback der ersten Teams basieren.

Bei der Bewertung des Agenten wurde bislang meist die endgültige Antwort bewertet, wobei diese Antwort hinsichtlich der eigenen Arbeit des Agenten falsch sein kann. In CXBench, einem im Oktober 2026 veröffentlichten Benchmark für LLM-Agenten in regulierten Kundenerlebnis-Workflows, fielen 80,1 % der Durchläufe, die das richtige Ergebnis erzielten, dennoch bei den Prozessprüfungen durch, und nur 13,8 % bestanden beide Prüfungen. Ein Agent, der das falsche Tool aufruft oder einen erforderlichen Schritt überspringt, kann dennoch einen Erfolg melden. Aus diesem Grund überprüft „Agent Assurance“ die Auswirkungen eines Durchlaufs und erfasst dabei die vom Agenten getätigten Tool-Aufrufe sowie die Datensätze, Nachrichten und Artefakte, die er geändert hat – wie von den vom Team eingebundenen Hooks gemeldet –, bevor ein Urteil gefällt wird. Alles, was nicht beobachtet werden kann, wird als „Unable to Verify“ (Nicht überprüfbar) gemeldet, niemals als „bestanden“.

Funktionen von Agent Assurance sind nun allgemein verfügbar

• Automatisch generierte Testsuiten: Funktionale und adversarische Szenarien, die aus der Dokumentation des Agenten – wie beispielsweise einem PRD, Richtlinien oder einer API-Spezifikation – sowie dessen Endpunkt abgeleitet werden. Das Hinzufügen der Codebasis ist optional und liefert detailliertere Ergebnisse.
• Red-Teaming: 25 Angriffsmuster, darunter mehrstufige Angriffe, die allen 20 Risiken der OWASP Top 10 für LLM-Anwendungen und der OWASP Top 10 für agentenbasierte Anwendungen sowie acht MITRE-ATLAS-Techniken zugeordnet sind. Der Bericht ist nach einzelnen Risiken gegliedert und zeigt auf, was getestet wurde, was bei jedem Angriff erreicht wurde und was verifiziert wurde.
• Durch Belege gestützte Bewertungen: Jedes Kriterium wird mit „Bestanden“, „Nicht bestanden“ oder „Nicht verifizierbar“ abgeschlossen, und jede Bewertung verweist auf die zugrunde liegenden Belege. „Nicht verifizierbar“ wird niemals als „Bestanden“ gewertet, und der Bericht listet jedes nicht verifizierte Ergebnis separat auf, zusammen mit den Angaben dazu, was zu dessen Verifizierung erforderlich ist.
• Qualität, Leistung und Token-Wirtschaftlichkeit: Über funktionale und adversarische Tests hinaus überprüft ein Durchlauf die Ausgabequalität und die Befolgung von Anweisungen, misst die Token-Wirtschaftlichkeit (Kosten pro Aufgabe, Ausführlichkeit und redundante Tool-Aufrufe), wenn der Agent seinen Token-Verbrauch meldet, und zeichnet die Latenz für jeden Zug auf.
• Ursachenanalyse: Auf Anfrage fasst Rook fehlgeschlagene Tests zu Gruppen zusammen und weist jeder Gruppe eine wahrscheinliche Ursache sowie einen Lösungsvorschlag zu. Dokumentationen und ein Endpunkt reichen für den Einstieg aus; durch Hinzufügen des Agent-Codes lassen sich tieferliegende Ursachen ermitteln.
• Regressionstests in der CI: Jeder Durchlauf wird mit dem vorherigen verglichen, und Tests, die seit dem letzten Durchlauf neu fehlgeschlagen sind, werden markiert. Die Anmeldung per Access-Key funktioniert auf CI-Runner ohne Browser, mit Rezepten für GitHub Actions, Jenkins und Argo CD.
• Multi-Agent-Tests: Agent Assurance kann eine Gruppe von Agenten bewerten, die sich gegenseitig Aufgaben übergeben, ohne dass ein Mensch in den Prozess eingreift, oder einen n8n-Agenten über dessen Webhook.
• Kontrollierte Schreibvorgänge: Da die Schreibvorgänge eines Agenten real sind, zeigt Rook den Ausführungsplan an und bittet vor einer interaktiven Ausführung um Bestätigung.
• Keine Anbieterschlüssel: Rook ermittelt den Zweck des Agenten, erstellt die Szenarien und führt den Agenten so aus, wie es ein Benutzer tun würde, während die Modelle im Controller von TestMu AI ausgeführt werden. Eine gehostete Cloud-Benutzeroberfläche zeigt die Ergebnisse für eine unbegrenzte Anzahl von Team-Lizenzen an.
• Auditfähige Aufzeichnung: Jede an den zu testenden Agenten gesendete Nachricht, jede Antwort, jeder Tool-Aufruf und jedes Ergebnis wird in ein Sitzungsprotokoll geschrieben, wobei Anmeldedaten, Tokens und Schlüssel maskiert werden.
• Funktioniert dort, wo Entwickler arbeiten: Führen Sie „Agent Assurance“ über das Terminal oder innerhalb von Claude Code, Codex oder Gemini CLI unter macOS, Linux oder Windows aus und installieren Sie Rook mit npm, Homebrew oder dem Installationsprogramm.

Anlässlich der allgemeinen Verfügbarkeit von „Agent Assurance“ erklärte Mayank Bhola, Mitbegründer und Head of Products bei TestMu AI: „Ein Agent kann Ihnen mitteilen, dass er die Aufgabe abgeschlossen hat, und sie dennoch falsch ausgeführt haben. Agent Assurance bewertet nicht die Antwort selbst, sondern die durch den Durchlauf erzielten Änderungen – und gibt klar und deutlich an, wenn keine eindeutige Bewertung möglich ist. Aus diesem Grund wird „Unable to Verify“ niemals als bestanden gewertet. Eine durch Vermutungen aufgeblähte Erfolgsquote ist schlimmer als gar keine Zahl, denn Teams stützen sich darauf bei der Auslieferung. Frühe Teams berichteten uns, dass der schwierigste Schritt darin bestand, einen ersten Durchlauf zu erreichen; daher haben wir das Verkaufsgespräch gestrichen. Ein Team kann nun bereits am ersten Tag Agent Assurance auf seinen eigenen Agenten anwenden und genau sehen, inwieweit dessen Verhalten überprüft wurde.“

„Mit einem Agenten kann sich der Weg bei jedem Durchlauf ändern“, sagte Vipul Verma, Group SVP Engineering bei TestMu AI. „Also haben wir aufgehört, den Ablauf vorherzusagen, und stattdessen begonnen zu überprüfen, wo der Agent tatsächlich gelandet ist: Was er verändert hat, was er gesendet hat, womit er in Berührung gekommen ist. Seit der allgemeinen Verfügbarkeit kann jedes Team Agent Assurance heute auf seinen eigenen Agenten anwenden und sehen, was dieser tatsächlich getan hat – und nicht nur, was er angibt, getan zu haben.“

Verfügbarkeit

Agent Assurance steht ab heute allen Nutzern zur Verfügung, die sich für ein TestMu-AI-Konto registrieren. Nutzer können mit einer 14-tägigen kostenlosen Testphase beginnen, die 4.000 Credits und vier gleichzeitige Ausführungen umfasst. Szenarien und Ausführungsergebnisse verbleiben als reine Textdateien im Repository des Teams, unabhängig davon, ob das Team auf einen kostenpflichtigen Tarif umsteigt oder nicht.

Agent Assurance ist unter testmuai.com/agent-assurance verfügbar.

Häufig gestellte Fragen

Was ist „Agent Assurance“?
Bei „Agent Assurance“ handelt es sich um Tests, bei denen bewertet wird, was ein KI-Agent tatsächlich geändert hat – und nicht, was er angibt, getan zu haben. Rook CLI leitet aus Ihrem Code oder Ihrer Dokumentation eine Testsuite ab, führt Ihren Agenten anhand dieser Suite aus, überprüft dessen Tool-Aufrufe und deren Auswirkungen mithilfe von Hooks, die das Team einbindet, und meldet separat, was nicht verifiziert werden konnte. Es ist allgemein verfügbar und kann öffentlich installiert werden.

Kann Agent Assurance in einer CI/CD-Pipeline ausgeführt werden?
Ja. Agent Assurance unterstützt die Anmeldung per Zugriffsschlüssel für headless CI-Runner und stellt Rezepte für GitHub Actions, Jenkins und Argo CD bereit.

Welche KI-Agenten kann TestMu AI testen?
TestMu AI testet mit Agent Assurance Programmier-, Workflow-, Backoffice- und Multi-Agenten-Systeme sowie mit Agent Testing Chat-, Sprach-, Telefon-, Video- und Bild-Agenten.

Gibt es eine kostenlose Testversion von Agent Assurance?
Ja, Nutzer erhalten eine 14-tägige Testversion mit 4.000 Credits und vier gleichzeitigen Ausführungen.

Über TestMu AI

TestMu AI (ehemals LambdaTest) ist eine Full-Stack-Plattform für agentenbasiertes AI-Quality-Engineering, die es Teams ermöglicht, intelligent zu testen und Produkte schneller auf den Markt zu bringen. Die Plattform wurde von Grund auf auf Skalierbarkeit ausgelegt und ist von Haus aus KI-nativ. Sie bietet durchgängige KI-Agenten zur Planung, Erstellung, Ausführung und Analyse der Softwarequalität für Web-, Mobil- und Unternehmensanwendungen auf echten Geräten, in echten Browsern und in maßgeschneiderten, realitätsnahen Umgebungen.

Die Ausgangssprache, in der der Originaltext veröffentlicht wird, ist die offizielle und autorisierte Version. Übersetzungen werden zur besseren Verständigung mitgeliefert. Nur die Sprachversion, die im Original veröffentlicht wurde, ist rechtsgültig. Gleichen Sie deshalb Übersetzungen mit der originalen Sprachversion der Veröffentlichung ab.