AI 产品评估指标

3.1 为什么传统产品指标不够#

传统互联网产品常用指标包括访问量、点击率、转化率、留存率、任务完成率、页面停留时长、漏斗转化、客单价、GMV、NPS 等。这些指标仍然重要，但对 AI 产品不够。

原因很简单：AI 产品多了一层“生成质量”和“不确定性风险”。一个普通搜索功能，如果用户点击率高，基本说明结果有吸引力；一个 AI 问答功能，如果互动轮次高，可能说明用户很喜欢，也可能说明第一轮没答对，用户不得不反复追问。一个内容生成工具，如果生成量高，可能说明提效，也可能说明生成内容质量差，用户反复重生成。

因此，AI 产品指标必须同时回答四类问题：

1
它答得对吗？
2
用户觉得有用吗？
3
业务真的变好吗？
4
风险和成本可控吗？

只回答其中一类都会失真。比如一个智能客服机器人，自动回复率很高，但错误承诺率也高，这不是成功；一个导购助手用户满意度不错，但每次转化成本高于毛利，这也不可持续；一个数据分析助手模型评估分高，但用户不采纳建议，业务价值就没有闭环。

产品负责人需要建立“指标分层”意识。不同指标负责不同决策：

3.2 模型指标：先判断输出是否可信#

模型指标是 AI 产品评估的基础，但不是全部。它关注的是模型输出本身是否符合要求。

常见模型指标包括：

这些指标需要评估集支撑。没有评估集，准确率就只是主观判断。评估集应覆盖常规问题、边界问题、高风险问题、恶意输入、格式要求和真实线上失败样本。

以智能问答为例，一个基本评估流程是：

1
准备 100 条问题
2
-> 每条绑定标准答案或参考资料
3
-> 运行当前 Prompt 和模型
4
-> 标注答案是否正确
5
-> 标注引用是否支持答案
6
-> 标注是否应该拒答
7
-> 统计准确率、引用率、拒答率、幻觉率
8
-> 对失败样本归因

产品经理要参与评估集设计，而不是完全交给算法。因为“正确答案”往往不是纯技术问题，而是业务口径问题。客服政策、运营规则、销售话术、合同风险、数据指标，都需要业务负责人确认标准。

3.3 体验指标：看用户是否真的完成任务#

AI 输出正确，不代表体验好。体验指标关注用户在产品中是否顺利完成任务。

常见体验指标包括：

这里要注意指标解释。比如转人工率不是越低越好。如果高风险问题应该转人工，转人工率太低反而可能危险。重生成率也不是绝对坏事，创意生成场景中用户本来就需要多个版本；但客服回复场景中频繁重生成说明答案不稳定。

体验指标必须结合场景解读：

1
客服：首轮解决率、转人工率、满意度、投诉率更重要。
2
文案生成：采纳率、编辑率、重生成率、生成耗时更重要。
3
数据分析：任务完成率、结论采纳率、口径纠错率更重要。
4
导购：推荐点击率、加购率、澄清完成率、错误推荐率更重要。
5
内部知识问答：引用点击率、追问率、无答案拒答率更重要。

产品经理要避免单指标崇拜。比如只追求首轮解决率，模型可能在信息不足时硬答；只追求转人工率下降，可能牺牲高风险场景；只追求互动轮次，可能鼓励无效聊天。

3.4 业务指标：证明 AI 不是玩具#

业务指标回答一个关键问题：AI 功能是否创造了真实业务价值。

不同业务的目标不同：

业务指标通常不能只看 AI 使用用户，还要有对照组。否则很难判断增长来自 AI 还是其他因素。

例如电商导购上线后转化率提升 5%，可能是 AI 导购有效，也可能是活动折扣、季节因素或流量结构变化。正确做法是做 A/B 测试：

1
A 组：传统搜索筛选
2
B 组：传统搜索 + AI 导购入口
3

4
对比：
5
- 导购入口点击率
6
- 推荐商品点击率
7
- 加购率
8
- 支付转化率
9
- 客单价
10
- 退款率
11
- 单次转化 AI 成本

对增长负责人来说，AI 功能必须进入单位经济模型。尤其使用外部模型 API 时，每一次交互都有边际成本。一个 AI 导购如果带来更多互动但没有带来足够转化，就不是合格增长；一个客服机器人如果减少人工但增加投诉和赔付，也不是成功。

3.5 安全指标：把红线变成可监控数据#

Day 16 我们建立了错误分级。今天要把错误分级变成指标。

安全指标通常包括：

安全指标和业务指标可能冲突。比如提高拒答率可以降低风险，但可能伤害用户体验；降低转人工率可以减少成本，但可能增加错误承诺。产品负责人要定义优先级：红线指标优先级高于增长指标。

一般建议：

• L5 安全红线：0 容忍。

• L4 高风险业务错误：通常 0 容忍或极低阈值。

• L3 关键任务错误：按场景设灰度阈值。

• L1-L2 错误：可进入迭代优化。

安全指标也需要红线样本集。上线前必须测试提示注入、越权、隐私、错误承诺、违法违规等样本，不能等真实用户踩坑。

3.6 成本指标：AI 功能必须算账#

AI 产品成本不只是服务器成本，还包括模型调用、Token、向量检索、重排、日志存储、人工质检、失败重试和人工接管。

常见成本指标包括：

成本指标要和业务指标绑定。只看成本下降可能会误伤体验，只看业务提升可能会忽略亏损。正确问题是：

1
每多花 1 元 AI 成本，带来了多少收入、节省、效率或风险降低？

客服场景可以算：

1
AI 成本 = 模型调用 + 检索 + 日志 + 质检
2
收益 = 减少人工工单成本 + 提升满意度带来的留存价值 - 错误导致的投诉成本

导购场景可以算：

1
AI 成本 / 增量成交订单
2
AI 成本 / 增量毛利
3
AI 导购用户转化率 - 对照组转化率

如果 AI 功能要商业化，成本指标更关键。SaaS、API、订阅、按量计费都必须知道单位成本，否则定价会失真。

3.7 运营闭环指标：质量能否持续变好#

AI 产品上线不是结束。模型、知识库、用户问题、业务规则都会变化，必须建立运营闭环。

运营闭环指标包括：

这些指标决定 AI 产品能否长期可靠。如果失败样本不入库，团队会反复犯同样错误；如果知识库更新慢，模型会基于旧政策回答；如果 Prompt 修改没有回归测试，质量会随机波动。

产品经理要把运营闭环写进方案。AI 功能不是只交给算法团队维护，它需要产品、运营、客服、法务、数据和研发共同维护。

3.8 指标门槛：上线、灰度和放量要有准入标准#

指标体系最终要服务决策。至少要定义三个阶段的门槛：

上线前：

• 离线评估集通过率是否达标。

• 红线样本是否全部拦截。

• 输出格式是否稳定。

• 成本预算是否可接受。

• 日志和监控是否完备。

灰度中：

• 用户满意度是否高于基线。

• L3 以上错误是否低于阈值。

• 转人工率是否符合预期。

• 成本是否在预算内。

• 用户反馈是否可处理。

放量前：

• 业务指标是否显著改善。

• 风险指标是否稳定。

• 运营团队是否能承接质检。

• 模型和 Prompt 是否可回滚。

• 高峰流量下性能和成本是否可控。

没有门槛，灰度就会变成形式。团队会因为“已经做了”而继续放量，而不是因为指标真的达标。

4.1 业务背景#

某国内消费品牌上线智能客服，用于回答售后政策、物流、发票、会员积分、活动规则等问题。初期团队只看自动回复率，发现机器人能处理 60% 的会话，于是计划扩大范围。但投诉复盘发现，部分自动回复虽然减少了人工接入，却回答不完整或引用旧政策，导致用户重复咨询。

团队决定重建指标体系，不再只看“自动化率”，而是同时看质量、体验、业务和风险。

4.2 相关角色#

4.3 原始流程#

1
用户提问
2
-> AI 检索知识库
3
-> 大模型生成回答
4
-> 直接返回用户
5
-> 用户满意或继续追问
6
-> 必要时转人工

原流程的问题：

• 只统计自动回复率，不知道回答是否正确。

• 知识库引用没有校验，模型可能答非所引。

• 拒答能力弱，不该回答的问题也尝试回答。

• 用户点踩后没有进入评估集。

• 没有区分政策类、订单类、投诉类问题。

4.4 AI 改造流程#

1
用户提问
2
-> 意图分类：政策 / 订单 / 活动 / 投诉 / 无关 / 高风险
3
-> 权限和上下文检查
4
-> 知识库检索
5
-> 生成回答和引用
6
-> 输出质检：准确性、引用支持、风险承诺
7
-> 返回用户或转人工
8
-> 收集满意度、追问、点踩、人工修改
9
-> 失败样本进入评估集

4.5 数据 / 系统依赖#

4.6 方案架构#

1
客服入口
2
  |
3
AI 问答编排层
4
  |-- 意图识别
5
  |-- 权限检查
6
  |-- 知识库检索
7
  |-- 模型生成
8
  |-- 引用校验
9
  |-- 风险拦截
10
  |-- 转人工
11
  |
12
数据闭环
13
  |-- 用户反馈
14
  |-- 人工质检
15
  |-- 失败样本库
16
  |-- 指标看板

4.7 关键指标#

4.8 主要风险#

4.9 复盘结论#

客服 AI 的核心指标不是自动回复率，而是“正确地解决问题”。自动化率必须被准确率、引用率、拒答率、满意度、投诉率和成本共同约束。否则机器人看似减少人工，实际可能增加用户重复咨询和投诉。

5.1 业务背景#

一家 B2B SaaS 公司上线销售助手，帮助销售生成客户摘要、识别续约风险、草拟跟进邮件。内部试用时销售反馈“挺方便”，但管理层要求证明它是否真的提升续约和销售效率。

团队需要建立从模型质量到业务结果的完整指标体系。

5.2 相关角色#

5.3 原始流程#

1
销售打开 CRM
2
-> 查看客户资料、会议、邮件、工单
3
-> 手工总结风险和机会
4
-> 写跟进邮件
5
-> 主管检查重点客户

原流程的问题：

• 销售准备客户会议耗时长。

• 不同销售总结质量不一致。

• 高风险客户发现不及时。

• AI 试用后只看使用量，无法证明业务效果。

5.4 AI 改造流程#

1
销售进入客户页
2
-> AI 生成结构化客户摘要
3
-> 标注风险、机会、下一步建议
4
-> 销售采纳、编辑或忽略
5
-> 跟进动作写回 CRM
6
-> 对比客户后续续约和扩容结果

5.5 数据 / 系统依赖#

5.6 方案架构#

1
CRM 客户页
2
  |
3
AI 销售助手
4
  |-- 数据聚合
5
  |-- 权限过滤
6
  |-- 客户摘要生成
7
  |-- 风险识别
8
  |-- 邮件草稿
9
  |-- 采纳和编辑记录
10
  |
11
业务结果追踪
12
  |-- 跟进动作
13
  |-- 续约结果
14
  |-- 扩容结果
15
  |-- 销售效率

5.7 关键指标#

5.8 主要风险#

5.9 复盘结论#

销售助手不能只用“使用次数”证明价值。真正有用的指标是采纳率、准备时间节省、有效触达率、风险提前发现率和续约结果。AI 产品必须嵌入工作流，记录用户是否采纳，才能连接到业务结果。

任务：为一个 AI 功能设计 12 个指标#

选择一个 AI 功能，例如智能客服、AI 导购、销售助手、合同摘要、经营分析、商品文案生成、内部知识问答。为它设计一套指标体系。

必须包含：

1. 功能说明：用户是谁，任务是什么。

2. 指标分层：模型、体验、业务、安全、成本、运营六类。

3. 至少 12 个指标：每类至少 1 个。

4. 指标定义：每个指标怎么计算。

5. 数据来源：日志、埋点、业务系统、人工标注、用户反馈。

6. 阈值：上线前、灰度中、放量前的目标。

7. 决策用途：指标用于上线、优化、风控、增长还是预算。

验收标准#

7.1 理解题#

题 1：为什么 AI 产品不能只看调用量？

参考答案： 调用量只能说明有人使用，不说明问题被解决。调用量高可能来自用户喜欢，也可能来自 AI 没答好导致反复追问。AI 产品还要看准确率、任务完成率、满意度、业务结果、风险和成本。

题 2：模型指标和业务指标有什么区别？

参考答案： 模型指标衡量输出本身是否正确、安全、稳定，例如准确率、引用率、格式合规率。业务指标衡量 AI 是否创造业务价值，例如转化率、人工工单减少、续约率、运营效率提升。模型好不等于业务一定好。

题 3：为什么拒答率不能简单理解为越低越好？

参考答案： 在高风险、无权限或信息不足场景中，正确拒答或转人工是安全行为。拒答率过低可能说明模型硬答，带来错误承诺和合规风险。应看拒答正确率，而不是单纯降低拒答。

题 4：什么是运营闭环指标？

参考答案： 运营闭环指标衡量 AI 产品能否持续改进，例如失败样本入库率、标注完成率、知识库更新时效、Prompt 回归通过率。它们决定线上问题能否被发现、归因和修正。

7.2 应用题#

题 5：智能客服自动回复率提升，但满意度下降，你会如何分析？

参考答案： 说明自动化可能处理了不该自动处理的问题。应拆分意图类型，看准确率、引用率、转人工合理率、错误承诺率、首轮解决率和投诉率。必要时降低高风险场景自动回复范围，增加转人工和知识库质检。

题 6：AI 导购入口点击率高，但转化没有提升，可能是什么原因？

参考答案： 可能是入口吸引但推荐不准、澄清流程太长、推荐理由不可信、商品库存价格不匹配、购买路径断裂，或 AI 成本高于增量收益。需要看推荐点击率、加购率、澄清完成率、错误推荐率、单次转化成本和对照组转化。

题 7：如何为合同摘要 AI 设计安全指标？

参考答案： 应包含关键条款遗漏率、错误解释率、引用准确率、无依据结论率、风险条款召回率、人工复核通过率、隐私泄露率、越权访问率。合同摘要应明确辅助阅读，不替代法务审查。

8.1 AI 功能指标体系表#

8.2 智能问答评估指标模板#

1
功能名称：智能问答
2
适用范围：
3
知识来源：
4
上线阶段：内部试用 / 灰度 / 全量
5

6
一、模型质量
7
- 答案准确率：
8
- 引用准确率：
9
- 幻觉率：
10
- 拒答正确率：
11
- 同问一致性：
12

13
二、用户体验
14
- 首轮解决率：
15
- 平均追问轮次：
16
- 用户满意度：
17
- 转人工率：
18
- 放弃率：
19

20
三、业务结果
21
- 人工咨询减少：
22
- 平均处理时长下降：
23
- 投诉率变化：
24
- 自助解决率：
25

26
四、安全风险
27
- 错误承诺率：
28
- 隐私泄露率：
29
- 越权回答率：
30
- 红线样本通过率：
31

32
五、成本效率
33
- 单会话成本：
34
- 平均输入 Token：
35
- 平均输出 Token：
36
- 缓存命中率：
37
- 强模型调用占比：
38

39
六、运营闭环
40
- 点踩样本入库率：
41
- 质检完成率：
42
- 知识库更新时效：
43
- Prompt 回归通过率：
44

45
上线结论：
46
- 允许上线：
47
- 仅灰度：
48
- 需人工审核：
49
- 阻塞上线：

8.3 指标评审问题清单#

1
1. 这个指标用于什么决策？
2
2. 指标是否可计算，数据从哪里来？
3
3. 指标是否可能被误读？
4
4. 是否需要按意图、用户、渠道、模型版本拆分？
5
5. 是否有上线前、灰度中、放量前门槛？
6
6. 哪些指标是红线指标？
7
7. 哪些指标需要人工标注？
8
8. 指标异常时谁负责处理？
9
9. 指标是否能连接业务价值？
10
10. 指标是否能支撑复盘和迭代？