Prompt 评估方法

3.1 为什么 Prompt 必须评估#

Prompt 是 AI 功能的行为配置。它决定模型如何理解任务、如何处理输入、如何输出结果、如何应对边界和风险。如果 Prompt 没有评估，就相当于一个核心业务规则没有测试。

传统软件里，产品经理不会接受一个没有测试过的支付规则、优惠券规则或审批流程。但很多 AI 项目却会接受一个只靠人工试用的 Prompt。原因是 Prompt 看起来像自然语言，容易被误认为不需要工程化管理。

实际情况相反。Prompt 更需要评估，因为它有几个特点：

• 输出不完全确定。

• 失败方式多样。

• 错误可能很隐蔽。

• 依赖输入质量。

• 受模型版本影响。

• 受上下文长度影响。

• 改一处规则可能影响其他场景。

因此 Prompt 评估至少要回答两个问题：

1
这个 Prompt 在目标样本上成功率是多少？
2
它失败时，失败在哪里，风险有多大？

没有这两个答案，就不应该进入正式上线。

3.2 “看起来不错”为什么不够#

大模型输出最容易误导人的地方是流畅性。一个回答表达自然、结构完整、语气专业，很容易让人忽略它是否真的完成任务。

例如商品标题生成：

1
轻奢真皮女包大容量通勤高级感手提包

看起来不错，但如果商品材质是 PU，模型就编造了“真皮”。这不是文案问题，而是商品描述不符风险。

再看合同摘要：

1
合同未发现重大风险。

如果合同里有自动续约和高额违约金，但模型漏掉了，这句话就非常危险。

所以评估 Prompt 时不能只看语言质量，还要看：

• 是否忠实输入。

• 是否符合格式。

• 是否没有遗漏关键点。

• 是否没有编造。

• 是否能处理资料不足。

• 是否能拦截高风险。

• 是否能进入业务流程。

3.3 Prompt 评估的五类指标#

Prompt 评估可以分成五类指标。

不同场景的重点不同。

客服回复更关注错误承诺率、高风险接管率、用户满意度。 商品文案更关注采用率、平台违规率、人工修改率、点击率。 合同摘要更关注关键条款召回率、引用支持率、漏风险率。 访谈抽取更关注证据引用率、过度推断率、需求可行动性。

3.4 测试集是 Prompt 评估的基础#

没有测试集，就没有评估。测试集不是随便找几条样本，而是要覆盖真实业务分布和关键风险。

一个基础测试集应该包含：

1. 正常样本：最常见、最标准的输入。

2. 边界样本：信息不完整、表达模糊、条件复杂。

3. 异常样本：格式混乱、字段缺失、内容冲突。

4. 高风险样本：涉及退款、赔付、审批、法务、财务。

5. 诱导样本：用户要求模型编造、绕过规则、给确定承诺。

6. 长输入样本：长文档、多轮对话、复杂表格。

7. 反例样本：不应生成、不应归类、不应回答的输入。

如果只用正常样本测试，Prompt 很容易“看起来成功”。真正决定上线质量的是边界和高风险样本。

3.5 如何设计 20 条测试输入#

以客服回复 Prompt 为例，20 条测试输入可以这样设计：

这 20 条不需要一开始覆盖所有真实情况，但必须覆盖关键失败模式。随着上线反馈增加，测试集要不断扩充。

3.6 测试输入要有“期望结果”#

只写测试问题不够，还要定义期望结果。

例如：

1
输入：
2
用户说：我的包裹晚到两天，你们必须赔我 50 元。
3
订单状态：运输中。
4
政策片段：延迟赔付需人工审核，不由客服直接承诺。
5

6
期望：
7
1. risk_level = high。
8
2. need_human = true。
9
3. 回复不得承诺赔付金额。
10
4. 应说明会协助提交核查或工单。

有了期望结果，才能判断 Prompt 是否通过。否则评估会回到主观讨论。

3.7 成功率怎么统计#

Prompt 成功率不是单一指标。建议把成功拆成多个维度：

1
总通过 = 格式通过 × 任务通过 × 风险通过

例如客服回复：

• 格式通过：输出 JSON 合法且字段完整。

• 任务通过：正确识别用户意图并生成可用回复。

• 风险通过：没有错误承诺，高风险正确转人工。

如果 20 条样本中：

• 18 条格式通过。

• 16 条任务通过。

• 14 条风险通过。

• 13 条三者都通过。

则综合通过率是 65%。这比“总体还不错”更有意义。

3.8 失败样本记录#

Prompt 评估最重要的资产不是成功样本，而是失败样本。失败样本告诉你系统边界在哪里。

失败记录至少包含：

不要只修 Prompt。很多失败不是 Prompt 能解决的。

3.9 什么时候不是 Prompt 的问题#

产品经理要避免“Prompt 万能主义”。当输出失败时，原因可能在其他层。

如果一个问题需要实时订单状态，继续调 Prompt 没意义；应该接订单系统。 如果一个问题需要制度依据，应该接知识库。 如果一个问题需要最终审批，应该转人工或规则系统。

3.10 Prompt 回归测试#

Prompt 一旦修改，就要做回归测试。因为修复一个问题可能引入新问题。

例如客服 Prompt 原来会错误承诺赔付，于是你加了约束：

1
不得承诺任何赔付。

结果模型在低风险补偿券说明中也变得过度保守，用户体验下降。这就是副作用。

回归测试要包括：

• 之前失败的样本。

• 之前通过的样本。

• 新增边界样本。

• 高风险样本。

每次 Prompt 版本更新，都要记录通过率变化。

3.11 Prompt 评估与业务指标#

Prompt 评估不能只停留在离线测试。上线后还要看业务指标。

例如：

客服回复 Prompt：

• AI 回复采用率。

• 人工修改率。

• 错误承诺率。

• 用户满意度。

• 平均响应时间。

• 人工接管率。

商品标题 Prompt：

• 标题采用率。

• 人工修改率。

• 平台审核驳回率。

• 点击率。

• 转化率。

• 描述不符投诉。

访谈抽取 Prompt：

• 整理耗时。

• 产品经理修改率。

• 证据引用率。

• 需求重复率。

• 评审通过率。

离线评估决定能否灰度，上线指标决定是否扩大范围。

3.12 Prompt 评估的组织流程#

一个成熟团队可以这样管理 Prompt：

1
定义任务
2
-> 设计 Prompt v1
3
-> 建立测试集
4
-> 离线评估
5
-> 记录失败样本
6
-> 修复 Prompt 或系统输入
7
-> 回归测试
8
-> 小范围灰度
9
-> 线上监控
10
-> 周期性复盘

参与角色：

• 产品经理：定义任务、样本、指标和验收。

• 业务专家：提供标准答案和风险判断。

• 研发：实现调用、日志、后处理、测试脚本。

• 数据分析：监控通过率和业务指标。

• 法务/合规：参与高风险场景评估。

Prompt 评估不是一个人试几次，而是一套小型质量流程。

业务背景#

一个电商团队希望用 AI 为商品生成标题，提高上新效率和搜索点击率。团队准备比较两个 Prompt：

• Prompt A：偏创意，生成更吸引人的标题。

• Prompt B：偏结构化，严格基于商品字段和平台规则。

相关角色#

• 商品运营：审核标题并上架。

• 类目负责人：关注点击率和转化率。

• 合规负责人：关注禁词、夸大宣传、描述不符。

• 产品经理：设计 Prompt、测试集和指标。

• 研发：实现批量生成、日志和 A/B 测试。

原始流程#

1
供应商资料
2
-> 运营人工写标题
3
-> 查禁词
4
-> 上架
5
-> 看点击率和转化率
6
-> 修改标题

痛点：

• 标题生成耗时。

• 新运营经验不足。

• 不同平台标题规则不同。

• 有违规词和描述不符风险。

测试集设计#

20 条商品样本覆盖：

• 标准商品资料完整。

• 材质字段缺失。

• 品牌授权不明确。

• 功效类商品。

• 多规格商品。

• 平台禁词敏感商品。

• 季节性商品。

• 低价促销商品。

每条样本定义期望：

• 不得编造材质。

• 不得使用禁词。

• 标题长度符合平台要求。

• 必须包含核心品类词。

• 卖点必须来自输入字段。

评估指标#

离线指标：

• 格式合规率。

• 禁词命中率。

• 编造属性率。

• 核心品类覆盖率。

• 人工可用率。

线上指标：

• 标题采用率。

• 人工修改率。

• 点击率。

• 转化率。

• 平台驳回率。

• 描述不符投诉率。

A/B 测试结论示例#

Prompt A 可能点击率更高，但编造属性率也更高。Prompt B 点击率略低，但合规更稳。对于普通低风险商品，可以使用 Prompt A + 审核；对于材质、功效、品牌敏感商品，应使用 Prompt B 或强制人工确认。

复盘结论#

商品标题 Prompt 不能只看“哪个标题更好看”。评估必须同时看转化、合规、描述一致性和人工成本。Prompt 策略可以按商品风险分层，而不是全站只用一个 Prompt。

业务背景#

一家企业希望用 AI 辅助业务同学阅读合同，提取合同主体、金额、期限、付款、违约、自动续约、保密和排他条款。

这个场景风险较高，因为漏掉关键条款会影响业务判断。

相关角色#

• 业务负责人：快速理解合同。

• 法务：审核风险条款。

• 产品经理：定义摘要字段和风险等级。

• 研发：接入文档解析和模型。

• 合规：关注数据权限和审计。

原始流程#

1
业务上传合同
2
-> 人工阅读
3
-> 摘要关键条款
4
-> 法务审核
5
-> 业务决策

痛点：

• 合同长，阅读慢。

• 业务同学不熟悉法律条款。

• 法务重复解释。

• 风险点容易遗漏。

测试集设计#

20 份合同样本覆盖：

• 标准采购合同。

• 销售合同。

• 框架协议。

• 自动续约条款。

• 高额违约金。

• 排他条款。

• 数据处理条款。

• 保密条款。

• 付款条件复杂。

• 附件中隐藏关键条款。

期望输出#

每份合同要求输出：

约束：

• 找不到写“原文未明确”。

• 不得输出法律结论。

• 风险必须附原文依据。

• 自动续约、排他、高额违约金必须被识别。

失败样本记录#

典型失败：

复盘结论#

合同摘要 Prompt 的关键指标不是摘要流畅度，而是关键条款召回率、引用支持率和漏风险率。这个场景不能依赖单次主观体验，必须建立失败样本库和法务参与的评估机制。

任务：设计 20 条 Prompt 测试输入并统计成功率#

选择一个你正在使用或计划使用的 Prompt，例如：

• 商品标题生成。

• 客服回复。

• 合同摘要。

• 访谈需求抽取。

• 会议纪要。

设计 20 条测试输入，覆盖：

1. 正常样本。

2. 边界样本。

3. 信息缺失样本。

4. 高风险样本。

5. 诱导样本。

6. 长输入样本。

7. 反例样本。

按下面模板记录。

验收标准#

合格：

1. 至少设计 20 条测试输入。

2. 每条都有期望结果。

3. 至少统计格式通过、任务通过、风险通过。

4. 记录失败类型。

优秀：

1. 能把失败样本转成 Prompt 修改建议。

2. 能区分 Prompt 问题和系统输入问题。

3. 能建立回归测试清单，用于下次版本更新。

理解题#

1. 为什么 Prompt 评估不能只靠主观体验？ 参考答案：模型输出流畅不代表正确。主观体验样本少、不可复现，无法覆盖边界和高风险场景，也无法判断改版后是否引入新问题。

2. Prompt 评估的五类指标是什么？ 参考答案：格式指标、任务指标、忠实指标、风险指标、业务指标。

3. 为什么测试输入必须包含边界和高风险样本？ 参考答案：正常样本只能证明 Prompt 在简单场景可用，边界和高风险样本才能验证上线风险，如资料不足、诱导承诺、格式异常和规则冲突。

4. 什么是 Prompt 回归测试？ 参考答案：Prompt 修改后，用旧通过样本、旧失败样本和新增样本重新测试，确认修复有效且没有引入新问题。

5. 什么时候不应该继续调 Prompt？ 参考答案：当失败原因来自缺少业务数据、缺少检索资料、需要规则系统判断、权限不足或模型能力不匹配时，应补系统能力或调整流程，而不是继续堆 Prompt。

应用题#

6. 商品标题生成 Prompt 如何设计评估指标？ 参考答案：离线看格式合规率、禁词命中率、编造属性率、核心品类覆盖率、人工可用率；线上看标题采用率、人工修改率、点击率、转化率、平台驳回率和描述不符投诉率。

7. 合同摘要 Prompt 最应该监控哪些失败类型？ 参考答案：漏掉关键条款、编造条款、引用不支持结论、风险等级错误、把法律结论写成确定建议。

8.1 Prompt 评估表#

8.2 20 条测试输入样本设计框架#

8.3 Prompt 失败样本库#

1
样本 ID：
2
Prompt 版本：
3
模型版本：
4
输入：
5
期望输出：
6
实际输出：
7
失败类型：
8
严重等级：
9
根因判断：
10
修复方案：
11
回归测试结果：