TestMu AI 的 Agent Assurance 现已全面开放，助力团队检验 AI 智能体实际产生的变更

试用方案提供 4,000 点额度，支持四项测试并发运行。团队无需预约产品演示，即可根据自身智能体的文档和端点生成功能测试与对抗测试套件，并依据有证据支持的判定结果设置持续集成（CI）的放行条件；代码可按需提供。

旧金山和印度诺伊达--(BUSINESS WIRE)--(美国商业资讯)-- TestMu AI（前身为 LambdaTest）是全球首个由智能体 AI 驱动的质量工程平台。该公司今日宣布，Agent Assurance 正式全面开放。Agent Assurance 面向可执行工具调用、文件写入、记录修改等操作的 AI 智能体开展测试，核查每次运行实际产生的变更，而非仅凭智能体对自身操作的描述进行评估。即日起，任何团队均可创建 TestMu AI 账户，直接测试自己的智能体，无需事先预约产品演示。

Agent Assurance 于 2026 年 8 月 17 日首次推出，当时采用候补名单机制，并提供专人指导的入门设置。此后，用于运行 Agent Assurance 的命令行工具 Rook 持续迭代，根据早期使用团队的反馈陆续推出多个版本。

以往的智能体评估大多围绕最终回复展开，但智能体对自身工作的描述未必准确。2026 年 10 月发布的 CXBench 是一项针对受监管客户体验工作流程中大语言模型（LLM）智能体的基准测试。其结果显示，即使最终结果正确，仍有 80.1% 的运行未能通过流程检查；同时通过结果和流程两项检查的运行仅占 13.8%。智能体即使调用了错误的工具或跳过了必要步骤，也可能声称任务已成功完成。因此，Agent Assurance 会在作出判定前，通过团队接入的钩子（hook）获取信息，核查每次运行的实际影响，包括智能体调用的工具，以及更改的记录、消息和产物。凡是无法观测的内容，均标记为“无法验证”，绝不判定为通过。

Agent Assurance 全面开放时提供的功能

• 自动生成测试套件：根据智能体的文档（如产品需求文档、政策文档或 API 规范）及其端点，生成功能测试和对抗测试场景。团队可选择补充代码库，以获得更深入的测试结果。
• 红队测试：提供包括多轮攻击在内的 25 种攻击模式，映射至《OWASP 大语言模型应用十大风险》和《OWASP 智能体应用十大风险》所列的全部 20 项风险，以及八项 MITRE ATLAS 技术。报告按风险逐项呈现，说明测试内容、每次攻击触及的范围，以及实际验证的内容。
• 有据可查的判定结果：每项评估标准均给出“通过”“失败”或“无法验证”的最终判定，并引用相应证据。“无法验证”绝不计为通过；报告还会逐项列出未经验证的结果，说明完成验证所需的条件。
• 质量、性能与 Token 使用效率：除功能测试和对抗测试外，每次运行还会检查输出质量和指令遵循情况，并记录每轮交互的延迟。当智能体报告 Token 用量时，系统还会衡量 Token 使用效率，包括每项任务的成本、输出冗长程度和冗余工具调用情况。
• 根因分析：Rook 可按需对失败的测试进行分组，为每组指出可能的原因并提出修复建议。仅凭文档和端点即可开始分析；补充智能体代码后，可更深入地查找根本原因。
• CI 回归测试：将每次运行与前一次运行进行比较，并标记本次新出现的失败测试。支持在无浏览器的 CI 运行器上使用访问密钥登录，并提供 GitHub Actions、Jenkins 和 Argo CD 的配置示例。
• 多智能体测试：Agent Assurance 可评估无需人工介入、彼此交接任务的智能体团队，也可通过 Webhook 测试 n8n 智能体。
• 受控写入：由于智能体的写入操作会产生实际影响，Rook 会在交互式运行前展示运行计划，并请求确认。
• 无需模型服务商密钥：Rook 会识别智能体的用途、编写测试场景，并按照用户的实际使用方式运行智能体；相关模型则在 TestMu AI 的控制器中运行。托管式云端界面提供不限数量的团队席位，供成员查看结果。
• 可供审计的完整记录：发送给待测智能体的每条消息、智能体的每次回复、每次工具调用以及每项判定，都会写入会话记录，其中的凭据、令牌和密钥均经掩码处理。
• 融入开发者的工作环境：开发者可在 macOS、Linux 或 Windows 系统上，通过终端或在 Claude Code、Codex、Gemini CLI 内运行 Agent Assurance，并可通过 npm、Homebrew 或安装程序安装 Rook。

TestMu AI 联合创始人兼产品负责人 Mayank Bhola 在谈及 Agent Assurance 全面开放时表示：“智能体可能告诉你任务已经完成，实际却做错了。Agent Assurance 评估的不是回复，而是一次运行实际产生的变更；如果无法判断，也会明确说明。因此，‘无法验证’绝不会计为通过。用猜测堆高的通过率，比没有数字更糟，因为团队会据此决定是否上线。早期使用团队告诉我们，最难的是完成首次运行，因此我们取消了事先与销售沟通的环节。如今，团队第一天就能用 Agent Assurance 测试自己的智能体，清楚了解其行为究竟有多少已经过核查。”

TestMu AI 集团工程高级副总裁 Vipul Verma 表示：“智能体每次运行的执行路径都可能不同。因此，我们不再试图预测路径，而是转而核查智能体最终实际做了什么：更改了什么、发送了什么、操作了什么。随着 Agent Assurance 全面开放，任何团队今天都可以用它测试自己的智能体，了解智能体实际做了什么，而不仅是它声称做了什么。”

开放使用详情

Agent Assurance 即日起向所有注册 TestMu AI 账户的用户全面开放。用户可先享用为期 14 天的免费试用，获得 4,000 点额度，并可同时运行四项测试。无论团队后续是否转用付费方案，测试场景和运行结果均会以普通文件的形式保留在团队的代码仓库中。

如需使用 Agent Assurance，请访问 testmuai.com/agent-assurance。

常见问题

什么是 Agent Assurance？
Agent Assurance 通过测试评估 AI 智能体实际产生的变更，而非其声称完成的工作。Rook CLI 根据您的代码或文档生成测试套件，对您的智能体开展测试，通过团队接入的钩子核查工具调用及其影响，并单独报告无法验证的内容。该产品现已全面开放，所有用户均可安装使用。

Agent Assurance 能否在 CI/CD 流水线中运行？
可以。Agent Assurance 支持在无界面的 CI 运行器上使用访问密钥登录，并提供 GitHub Actions、Jenkins 和 Argo CD 的配置示例。

TestMu AI 可以测试哪些 AI 智能体？
TestMu AI 通过 Agent Assurance 测试编程、工作流程、后台业务及多智能体系统，并通过 Agent Testing 测试聊天、语音、电话、视频和图像智能体。

Agent Assurance 是否提供免费试用？
是的，用户可获得为期 14 天的试用，包含 4,000 点额度，并支持四项测试并发运行。

关于TestMu AI

TestMu AI（前身为 LambdaTest）是一个全栈智能体 AI 质量工程平台，助力团队智能开展测试，加速软件交付。该平台以规模化应用为目标构建，从设计之初便采用 AI 原生架构，提供覆盖端到端流程的 AI 智能体，在真实设备、真实浏览器及定制的真实应用环境中，面向 Web、移动及企业应用完成软件质量保障的规划、测试编写、执行和分析工作。

免责声明：本公告之原文版本乃官方授权版本。译文仅供方便了解之用，烦请参照原文，原文版本乃唯一具法律效力之版本。