TestMu AI的「Agent Assurance」現已全面上市，協助團隊測試人工智慧代理進行的實際改變

試用版附贈4000個積分以及四次併發執行。團隊無需預約演示，即可以其代理的文件和端點生成功能測試套件與對抗性測試套件（程式庫碼非必要），並根據有依據支持的評估結果設定CI關卡。

舊金山 & 印度，諾伊達--(BUSINESS WIRE)--(美國商業資訊)-- TestMu AI（前身為LambdaTest）是全球第一座代理式人工智慧品質工程平台。該公司今天宣布Agent Assurance現已全面上市。Agent Assurance核查人工智慧代理進行的實際改變（而不只是聽取代理自己的說法），測試那些能夠執行操作（如呼叫工具、寫入檔案、修改記錄等）的人工智慧代理。現在任何團隊都可以註冊TestMu AI帳號測試自己的人工智慧代理，不需要先預約演示。

Agent Assurance於2026年8月17日推出時採用候補制與引導式入門流程。此後，執行Agent Assurance的命令列介面 (CLI) Rook根據早期團隊的意見回饋連續發表了多個版本。

過去評估代理時大多僅參考代理給出的最終回覆，但是最終回覆可能無法正確反映代理實際執行的工作。2026年10月發布的CXBench（一項針對受監管客戶體驗工作流程中大型語言模型代理的基準測試）顯示，即使代理最終標記為結果正確的執行仍有80.1%未能通過流程檢查；僅有13.8%的執行同時滿足結果正確與流程合規的要求。代理即使呼叫錯誤的工具或跳過必要步驟，仍然有可能回報執行成功。因此，Agent Assurance在給出最終評估結論前全面檢查代理執行過程的影響，包括其呼叫的工具，以及對記錄、訊息和各類產出物所做的改變（透過團隊串接的hook）。如有任何無法觀測的環節，系統會將它標記為「無法驗證」，而不會判定為「通過」。

Agent Assurance功能簡介

• 自動產生測試套件：以代理的文件（如產品需求文件 (PRD)、政策文件或API規格）及其端點建構功能性與對抗性測試情境。若選擇加入程式碼庫，則可以獲得更深入的測試結果。
• 紅隊測試：包括25種攻擊模式（包括多輪攻擊），這些模式針對「OWASP大型語言模型應用十大風險」及「OWASP代理應用十大風險」的所有20項風險以及8種MITRE ATLAS技術而設計。其報告根據風險逐項編排整理，呈現測試內容、各項攻擊觸及的層面以及最終驗證結果。
• 有憑據的驗證：評估的結果分為「通過」、「不通過」或「無法驗證」三種，每一項驗證均註明所依據的證據。「無法驗證」的結果絕不會被視為通過。報告會將所有無法驗證的結果單獨列出，並說明完成驗證必需滿足的條件。
• 品質、表現與令牌經濟性：除了功能測試和對抗性測試之外，每次執行還會評估輸出品質及遵循指令的情況，並在代理報告其令牌使用量時分析其令牌經濟性（包括單項任務成本、冗餘程度以及多餘的工具呼叫），同時記錄每一次延遲。
• 根本原因分析：Rook可根據要求將不通過的測試分組，並針對每一組提供不通過的可能原因以及建議修正方案。只需要參考文件與端點即可開始。若加入代理程式碼，則可挖掘進一步的根本原因。
• CI中的回歸測試：系統會用每次執行的結果比對前一次執行的結果，並標記出自上次執行以來新出現的不通過測試。支援在無瀏覽器環境的CI執行器使用存取金鑰登入，並提供GitHub Actions、Jenkins 和Argo CD的設定方案。
• 多代理測試：Agent Assurance能夠評估一組可在無需人力介入的情況下相互交接任務的代理，同時也支援透過Webhook測試n8n代理。
• 控制寫入：由於代理的寫入操作是真實有效的，因此Rook會在進行互動式執行之前展示執行計劃，並請求使用者確認。
• 無需提供密鑰：Rook會自動判別代理的用途，編寫測試場景，並以使用者的實際操作方式驗證該代理，模型則同時在TestMu AI的控制器中測試。並以託管式雲端介面呈現測試結果，支援不限數量的團隊成員帳號。
• 提供審核所需記錄：傳送給被測代理的每一則訊息、每一次回應、每一次工具呼叫以及每一項驗證都會寫入對話記錄中，並隱藏憑證、令牌和金鑰。
• 在開發者的工作環境執行測試：Agent Assurance可在macOS、Linux或Windows系統上透過終端，或是在Claude Code、Codex或Gemini CLI中執行測試。另外也可以使用npm、Homebrew或安裝程式來安裝Rook。

在談到Agent Assurance的全面上市時，TestMu AI共同創辦人兼產品主任Mayank Bhola說：「代理可能會聲稱任務已完成，但實際上卻並沒有正確執行。Agent Assurance評估的並不是代理的回應，而是代理執行操作造成的實際改變；如果無法判斷，它也會坦白告知。因為如此，『無法驗證』的結果絕不會被視為通過。因為團隊依據這些指標來決定產品發布與否，如果通過率中含有猜臆，其危害甚於沒有資料。早期團隊回饋告訴我們，最難的一環在於第一次執行，因此我們取消了銷售溝通流程。現在，團隊從第一天起就能讓Agent Assurance對接其代理，並清楚了解代理的哪些行為已經得到驗證。」

「在代理參與的情況下，每次執行的路徑都可能不同。」TestMu AI集團工程資深副總裁Vipul Verma說，「因此，我們不再試圖預測其路徑，轉而檢查代理實際產生的作用：它進行了哪些改變、發送了什麼內容、觸及哪些物件。Agent Assurance全面上市後，任何團隊現在都可以用它檢視自己的代理，查看它究竟執行了哪些操作，而不只是聽取它聲稱自己執行了那些操作。」

供應情形

從今天起，任何註冊TestMu AI帳戶的使用者均可使用Agent Assurance。使用者可以享受為期14天的免費試用，內含4000點積分及四次併發執行。無論團隊在試用期過後購買付費方案與否，測試場景及執行結果都將以普通文件形式保留在團隊的儲存庫中。

Agent Assurance目前已在testmuai.com/agent-assurance全面推出。

常見問題

什麼是Agent Assurance？
Agent Assurance透過評分制來驗證人工智慧代理實際執行了哪些變更，而不只是聽取它聲稱自己執行了那些變更。Rook CLI可以根據您的程式碼或文件生成測試套件並測試您的代理。它透過團隊預先配置的hook監測代理的工具呼叫及其產生的影響，同時單獨列出無法驗證的部分。Agent Assurance現已全面上市供公開安裝使用。

Agent Assurance可以在CI/CD渠道中執行嗎？
是的。Agent Assurance支援在無頭CI執行器使用存取金鑰登入，並提供GitHub Actions、Jenkins和Argo CD的設定方案。

TestMu AI可以測試哪些人工智慧代理？
TestMu AI利用Agent Assurance來測試編碼、工作流程、後台辦公室及多代理系統，並用Agent Testing來測試聊天、語音、電話、視訊和圖像類代理。

Agent Assurance提供免費試用嗎？
是的，使用者可以享受14天免費試用，內含4000點積分及四次併發執行。

關於TestMu AI

TestMu AI（前身為LambdaTest）是一座全堆疊代理式人工智慧品質工程平台，幫助團隊進行智慧測試、加速完成任務。該平台專為大規模應用而設計，從一開始便融入人工智慧原生的理念。它提供端到端人工智慧代理，能夠在真實設備、真實瀏覽器以及各類定制化的實際運行環境中跨網路、行動端及企業級應用規劃、編寫、執行及分析軟體品質。

免責聲明：本公告之原文版本乃官方授權版本。譯文僅供方便瞭解之用，煩請參照原文，原文版本乃唯一具法律效力之版本。