行业参考 · 金融 · 其他 · 证据 E1
KOHO 用 markdown Skill + Redshift MCP 搭出自助分析工具 KoDa,真正的成本在 375 题 eval 题库
这是公开报道的其他企业案例,不是 Alan 交付的项目。内容由 AI 收集整理,以原文为准。
企业遇到的问题
自助分析既要对全员开放,又不能碰原始数据和 PII,还要保证每个答案能追溯回公司统一的指标定义。
概要
dbt Labs 博客转述 KOHO 数据负责人在 dbt Summit 2026 的分享:约 250 人的加拿大 fintech KOHO 用「markdown 文件 + pre/post-hook MCP 调用」的 KoDa skill,经 Claude Code 与 Redshift MCP server 连到受治理的 dbt mart,员工在 Claude 里问业务问题即得答案。团队真正的投入不在 skill 本身,而在评估层——3 个人、约 11 个 commit、3 个月,建起约 375 条真实分析师问题的 eval council。
原文写明的事实
- KOHO 是加拿大 fintech,约 250 人,正处在拿加拿大银行牌照三阶段中的第二阶段,超过 10% 员工是数据岗
- KoDa 让任何 KOHO 员工在 Claude 里问业务问题,答案来自跑在 Redshift 上的受治理 dbt data mart,Bedrock 与 Claude 提供 LLM 层
- 设计约束逐条:只服务分析类用例(不做调试、不查单笔交易);只碰已认证 dbt mart 模型,不碰原始数据和 PII;只读、不能回写仓库;所有员工同一个体验;每个答案追溯到公司统一 dbt 定义;全部建在 KOHO 已有基础设施上,不引入新厂商工具
- KoDa skill = markdown 文件 + pre/post-hook 的 MCP 调用,通过 Claude Code 暴露,经 Redshift MCP server 连到 dbt mart
- 建上下文库与 eval council 花了 3 个人约 11 个 commit、3 个月;题库约 375 条真实分析师问题
- 离线评估用于判断改风格指南是提升还是回退答案质量;在线评估记录每个问题,分析师每周轮值 review 新问题或高优先级问题
- 2022 年推翻整条 pipeline 用 dbt 重建,现在约 1,400 个带测试和文档的模型,PII 已从模型中剥离
- KoDa 只能使用受治理 mart,反而成了推动全公司迁到同一底座的最强论据——没有受治理 mart 的团队根本用不了这个工具
还有 2 条细节,见文末原文来源。
怎么做的
- 输入:员工在 Claude 里用自然语言提出业务问题
- 处理:KoDa skill(markdown + pre/post-hook MCP 调用)经 Claude Code 通过 Redshift MCP server 查询已认证的 dbt mart
- 数据:约 1,400 个带测试与文档的 dbt mart 模型,已剥离 PII,只读、不含原始数据
- 动作:返回可追溯到统一 dbt 定义的答案,同时把每个问题记录下来供在线评估
- 输出:业务答案、在线评估日志、分析师每周轮值 review 队列
如果你也想做:复制评估
AI 初评,供参考。具体能不能做,要看你企业的数据、流程和人。
- 难度:高(需要配置 Skill / Connector)
- 需要的能力:KoDa skill(markdown + pre/post-hook MCP 调用)、约 375 题的 eval 题库与评估流程
- 需要接的数据/系统:Redshift MCP server、dbt 语义层与指标定义
- 仍需人工的环节:分析师每周轮值 review 新问题与高优先级问题;上董事会的自助分析结果由数据团队亲自复核
- 风险:答案看似合理但口径错误;只读约束被绕过会触碰 PII;把「接个 MCP 就行」当成结论会严重低估数仓治理成本
- 原文没披露的:没有干净的 dbt/数仓与口径治理就无法复刻;题库通过阈值与准确率未披露;使用人数、日活、token 成本未披露
只读查询受治理 mart 并记录每次提问,在原文中已上线运行;但答案准确率、使用规模与在其他企业的可复现性需实测确认。
来源
证据说明:dbt Labs 官方博客转述 KOHO 两位具名数据负责人的公开分享,工程细节具体,但为单一第三方来源;模型自称 E2,按来源结构下调为 E1。