大模型选型

3.1 为什么模型选型不能只看排行榜#

排行榜通常测的是一组通用能力，比如数学、代码、知识问答、推理、指令遵循、多语言等。但业务上线看的是另一组问题：

产品经理不要问“哪个模型最好”，而要问：

1
在这个场景里，哪个模型以可接受成本稳定完成任务？

3.2 模型能力维度#

常用选型维度如下：

3.3 通用模型、垂直模型、开源模型、私有化#

选型不是二选一。真实项目常见组合是：

1
简单分类 -> 小模型
2
复杂生成 -> 强模型
3
企业知识 -> RAG + 通用模型
4
高风险判断 -> 规则系统 + 人工审核
5
敏感数据 -> 私有化或专有云

3.4 为什么要做模型路由#

如果所有请求都用最强模型，质量可能不错，但成本和延迟会很快失控。

更合理的方式是模型路由：

1
用户请求
2
-> 任务分类
3
-> 简单 FAQ：缓存/小模型
4
-> 普通生成：中等模型
5
-> 复杂推理：强模型
6
-> 高风险审批：规则系统/人工

例如智能客服：

模型路由的本质是：把模型能力当作资源调度，而不是单一入口。

3.5 模型选型和 Prompt 评估的关系#

Day 10 讲过 Prompt 评估。模型选型不能脱离测试集。

正确流程是：

1
定义场景
2
-> 设计 Prompt
3
-> 准备测试集
4
-> 多模型对比
5
-> 统计通过率、成本、延迟
6
-> 选择模型或路由策略

不要只看一次体验。每个候选模型至少要用同一批样本测试：

• 格式合规率。

• 任务成功率。

• 引用支持率。

• 拒答正确率。

• 高风险拦截率。

• 平均成本。

• 平均延迟。

• 人工修改率。

3.6 成本不是越低越好#

低成本模型适合高频、低风险、结构简单任务。但如果低成本导致错误率升高，最终可能更贵。

例如客服：

1
低价模型节省调用成本
2
但错误承诺率上升
3
导致投诉、赔付、人工复核增加
4
最终总成本上升

所以应看总成本：

1
总成本 =
2
模型调用成本
3
+ 检索和存储成本
4
+ 人工审核成本
5
+ 错误处理成本
6
+ 客诉和信任损失

3.7 模型选型必须进入项目评审#

在 AI 项目评审会上，模型选型不应只是一句“使用某某大模型”。至少要说明：

1. 为什么这个场景需要大模型。

2. 任务是否拆分为多个子任务。

3. 每个子任务用什么模型或系统能力。

4. 候选模型的测试集结果。

5. 成本和延迟估算。

6. 数据安全和供应商风险。

7. 失败时的降级方案。

一个合格的选型说明应该类似：

1
本场景采用 RAG + 中等通用模型作为主链路。
2
原因：任务以制度解释为主，要求中文理解、引用稳定和拒答能力，不需要最高强度推理。
3
高风险审批问题不由模型判断，转规则系统或人工。
4
简单 FAQ 使用缓存。
5
后续用 100 条真实问题评估引用支持率、拒答正确率和单次成本。

3.8 国产模型生态的产品选型视角#

在中文和国内企业场景中，常见模型生态包括通义、文心、混元、豆包、Kimi、DeepSeek、智谱、讯飞星火、Qwen 开源系列等。产品经理不需要背每个平台的参数和榜单，但要建立评估方法。

选型时重点看：

• 中文口语和行业词理解。

• 长文档处理稳定性。

• 结构化输出能力。

• 工具调用能力。

• 多模态能力。

• API 可用性和限流。

• 企业数据政策。

• 私有化、专有云或本地部署支持。

• 价格和商务条件。

• 生态工具链。

对国内企业来说，模型能力只是第一层，合规、采购、售后、部署和生态往往同样重要。

3.9 强模型、小模型、规则系统如何协作#

AI 产品稳定性来自协作，而不是模型单点能力。

1
规则系统：确定性判断
2
小模型：分类、标签、低风险初稿
3
中等模型：常规问答、摘要、结构化抽取
4
强模型：复杂推理、多约束生成、困难样本
5
人工：高风险确认和最终责任

例如用户访谈需求抽取：

• 小模型可做初步标签分类。

• 中等模型可抽取痛点和证据。

• 强模型可处理长访谈、多角色和复杂归纳。

• 产品经理必须审核最终需求池。

这比“全量强模型处理”更可控，也比“全量小模型处理”更稳。

3.10 模型切换和供应商风险#

模型选型还要考虑长期风险：

• 模型 API 价格变化。

• 模型版本升级导致输出变化。

• 供应商限流或故障。

• 数据合规政策变化。

• 私有化成本超预期。

• Prompt 和评估集绑定某个模型。

因此关键 AI 功能应设计可切换能力：

1
业务系统
2
-> AI 编排层
3
-> 模型适配器
4
-> 模型 A / 模型 B / 私有模型

不要让业务代码直接绑定某个模型 API 的细节。后续 Day 12 会讲 API 产品化，这里先记住：模型选型要留出切换空间。

业务背景#

企业要做制度问答助手，覆盖报销、采购、合同、请假、信息安全等制度。用户用自然语言提问，系统基于文档回答并给引用。

关键要求#

原始流程#

1
员工查制度文档
2
-> 搜索关键词
3
-> 打开多个制度 PDF
4
-> 问 HR/财务/法务
5
-> 等人工答复

AI 改造流程#

1
员工自然语言提问
2
-> 权限校验
3
-> 语义检索
4
-> 重排
5
-> 模型基于引用回答
6
-> 资料不足拒答或转人工
7
-> 用户反馈进入评估集

选型方案#

1
Embedding 模型：负责语义检索
2
重排模型：提高关键片段排序
3
中等/强语言模型：基于引用回答
4
规则系统：权限、版本、拒答
5
人工：高风险制度解释

数据与系统依赖#

• 制度文档库。

• 组织架构和权限。

• 文档版本和生效日期。

• 向量库。

• 评估样本集。

• 人工反馈记录。

模型评估指标#

• Top K 召回率。

• 引用准确率。

• 引用支持率。

• 无依据回答率。

• 拒答正确率。

• 平均响应时间。

• 单次问答成本。

• 员工满意度。

主要风险#

• 旧制度误召回。

• 模型引用不支持结论。

• 高风险制度解释被模型说成确定承诺。

• 权限过滤不严。

• 高频内部工具成本被低估。

复盘结论#

企业知识库问答不一定需要最强生成模型，更需要稳定的 RAG 链路、权限控制、引用约束和拒答能力。模型只是系统的一环。

业务背景#

电商大促期间客服咨询激增，平台希望 AI 分担物流、退款、优惠券、发票和投诉问题。

任务拆分#

原始流程#

1
用户咨询
2
-> FAQ 机器人尝试命中
3
-> 命不中转人工
4
-> 人工查订单和政策
5
-> 回复或创建工单

AI 改造流程#

1
用户消息
2
-> 意图识别
3
-> 风险分级
4
-> 查询订单/物流/优惠券
5
-> 检索政策
6
-> 模型路由
7
    -> 缓存/小模型
8
    -> 中等模型
9
    -> 强模型辅助
10
-> 自动回复或人工接管
11
-> 质检和复盘

数据与系统依赖#

• 订单系统。

• 物流系统。

• 售后政策知识库。

• 优惠券系统。

• 工单系统。

• 客服质检系统。

• 风险标签规则。

指标#

• 自助解决率。

• 错误承诺率。

• 高风险接管率。

• 平均响应时间。

• 单会话成本。

• 用户满意度。

• 人工客服节省工时。

主要风险#

• 为降低接管率而让模型处理高风险赔付。

• 统一强模型导致成本失控。

• 小模型处理复杂问题导致错答。

• 工具调用失败时模型硬答。

• 大促政策更新滞后。

复盘结论#

智能客服不应全量使用强模型。最优方案通常是任务分层和模型路由：简单问题低成本处理，复杂问题强模型辅助，高风险问题人工确认。

任务：设计一个模型选型矩阵#

选择 3 个场景，例如：

1. 企业知识库问答。

2. 智能客服回复。

3. 商品文案生成。

4. 合同摘要。

5. 用户访谈需求抽取。

6. 运营日报生成。

按下面表格打分，1-5 分：

验收标准#

合格：

1. 至少选择 3 个场景。

2. 每个场景至少评估 8 个维度。

3. 写出推荐模型策略。

4. 说明为什么不是只用最强模型。

优秀：

1. 能设计模型路由。

2. 能写出测试集指标。

3. 能把成本、质量、风险和业务价值联系起来。

理解题#

1. 模型选型为什么不能只看排行榜？ 参考答案：排行榜不能代表真实业务样本、成本、延迟、合规、输出格式稳定性和供应商可用性。

2. 什么场景适合小模型？ 参考答案：高频、低风险、结构简单、任务边界清晰的场景，如分类、标签、简单 FAQ、初稿生成。

3. 什么场景适合强模型？ 参考答案：复杂推理、长文档、多约束生成、需要较强中文理解和结构化输出的场景。

4. 为什么需要模型路由？ 参考答案：不同任务成本、风险和质量要求不同。模型路由能在质量和成本之间取得平衡。

5. 模型选型和 Prompt 评估有什么关系？ 参考答案：必须用同一批测试集比较不同模型的格式合规率、任务成功率、风险通过率、成本和延迟。

应用题#

6. 企业知识库问答选型重点是什么？ 参考答案：RAG 兼容、引用稳定、拒答能力、中文理解、权限和版本控制，不只是生成能力。

7. 智能客服为什么不应全量用强模型？ 参考答案：高频场景成本和延迟压力大，许多问题可用缓存、小模型或规则系统处理，高风险问题还需人工确认。

8.1 模型选型矩阵#

8.2 模型路由方案模板#

1
场景名称：
2
用户任务：
3
任务类型：
4
风险等级：
5
推荐处理：
6
- 规则系统：
7
- 小模型：
8
- 中等模型：
9
- 强模型：
10
- 人工接管：
11
成本预估：
12
评估指标：
13
回退策略：

8.3 三场景模型策略对比表#