行业参考 · 专业服务 · 研发 · 证据 E1
4 个 Agent + n8n + Claude Sonnet 维护 400+ 条测试用例
这是公开报道的其他企业案例,不是 Alan 交付的项目。内容由 AI 收集整理,以原文为准。
企业遇到的问题
软件产品模块的 400+ 条测试用例随迭代快速过时(团队知道至少 30% 已过时),人工审阅更新需 200+ 小时,占用 QA 工程师的测试时间。
概要
QATestLab 博客介绍其为客户搭建的 AI 测试用例维护系统:从每日 QA 会议转写稿检测产品变更,在 TestRail 中匹配相关用例、生成最小更新并格式化成人工可读的 diff,经邮件与 Slack 由 QA Lead 逐条批准;称已运行 2.5 个月,人工维护时间从每周 10 小时降到 1 小时,错误率降 30%,驳回率 8-10%,每次变更都保留人工批准。
原文写明的事实
- 客户单个产品模块有 400+ 条测试用例,团队知道至少 30% 已过时;人工审阅更新 400 条用例需 200+ 小时
- 系统由 4 个 Agent 组成,经 n8n 编排,由 Claude Sonnet 驱动
- Agent 1 变更检测:分析每日 QA 会议转写稿,识别 UI 变更、流程变更、新增校验,并忽略抱怨、讨论与假设
- Agent 2 用例检索:查询 TestRail API,用语义检索把变更匹配到相关用例
- Agent 3 更新生成:读取当前用例,生成最小更新并保留结构
- Agent 4 审查格式化:生成人类可读的 diff,并附上原会议上下文
- 人工在环:邮件发出 → QA Lead 审阅 → Slack 批准
- 已运行 2.5 个月,人工用例维护从每周 10 小时降到每周 1 小时,错误率降低 30%,驳回率维持 8-10%,每次变更都经人工批准
怎么做的
- 输入:每日 QA 会议转写稿
- 处理:变更检测 → TestRail 语义检索匹配 → 生成最小更新 → 生成 diff 与上下文
- 数据:会议转写稿、TestRail 中的 400+ 条测试用例
- 动作:QA Lead 审阅后经 Slack 批准或驳回
- 输出:人工维护从每周 10 小时降到每周 1 小时,错误率降 30%,驳回率 8-10%
如果你也想做:复制评估
AI 初评,供参考。具体能不能做,要看你企业的数据、流程和人。
- 难度:中(需要配置 Skill / Connector)
- 需要的能力:变更检测、用例语义匹配、最小更新生成、diff 格式化
- 需要接的数据/系统:TestRail API、Slack、邮件、会议转写
- 仍需人工的环节:QA Lead 逐条审阅并在 Slack 批准或驳回
- 风险:驳回率 8-10% 意味着仍有一成无效提案需人工消化;会议未开或转写失败会导致链路中断
- 原文没披露的:客户匿名;错误率基线定义未说明;会议记录的可用性与转写质量未量化
从会议记录到用例更新提案再到人工批准可以稳定运行,完全无人审核的闭环并未实现,也不建议。
来源
证据说明:服务商自家博客的自述案例,客户匿名,无独立第三方或客户方确认。