企业采购 AI 模型服务时，常见做法是先比较公开榜单、参数规模和单价，再决定接入哪个模型。但真实业务效果取决于任务、提示词、数据、工具、延迟、稳定性和人工流程，公开排名不能替代企业自己的评测。
AI 模型服务选型不是选出一个“全公司最强模型”，而是为每类任务找到质量、速度、成本、合规和可运营性之间最合适的组合。
一、先把模型选型改写成业务问题
不要问“GPT、Claude、Gemini 谁更好”，先回答以下问题：
- 用户真正需要完成什么任务
- 输出错误会造成什么损失，是否需要人工复核
- 交互必须实时返回，还是可以异步处理
- 输入包含文本、图片、语音、视频、文件还是工具调用
- 单次请求、单个用户和每项业务结果的成本上限是多少
- 数据是否包含个人信息、商业秘密或受监管内容
- 是否需要特定区域、日志、审计、合同或服务支持
- 模型升级、限流或故障时能否切换和回退
同一个企业内部，客服、合同提取、广告素材分析、代码助手和经营分析通常不应使用同一套模型配置。
二、建立 AI 模型服务任务清单
| 任务类型 | 主要要求 | 常见评测方式 |
|---|---|---|
| 分类与路由 | 稳定、低延迟、结构化输出 | 准确率、宏平均F1、非法格式率 |
| 信息提取 | 字段完整、事实一致、可校验 | 字段级准确率、召回率、规则校验 |
| 客服问答 | 正确、引用、语气与拒答边界 | 事实评分、引用命中、人工接管率 |
| 内容生成 | 品牌一致、可编辑、不过度编造 | 盲评、修改时间、采用率、合规率 |
| 复杂分析 | 推理、工具使用和长上下文能力 | 任务完成率、步骤正确率、证据完整性 |
| 实时语音 | 首包、打断、识别和自然度 | 端到端时延、打断成功率、人工评分 |
| 图片/视频理解 | 多模态识别、定位和描述 | 样本准确率、关键对象漏检率 |
每项任务应有独立负责人、输入样本、正确答案或评价标准、业务指标和成本边界。
三、模型比较至少看七个维度
1. 任务质量
关注模型是否完成业务任务，而不只是回答“看起来不错”。结构化提取要看字段正确率，客服要看事实和引用，Agent 要看最终动作是否完成。
2. 稳定性
同一输入重复运行时，输出格式、事实和工具调用是否稳定。生产系统需要记录模型版本、参数、系统指令和测试日期。
3. 时延与吞吐
同时记录首 Token 时延、完整响应时延、P50、P95、P99、并发下错误率和流式中断率。平均值可能掩盖用户最明显的尾部延迟。
4. 成本
除输入输出 Token，还要算缓存、检索、文件处理、工具调用、重试、人工复核和失败请求。最终比较“每个合格业务结果的成本”。
5. 模态与工具
确认文本、图片、音频、视频、文件、结构化输出、函数调用和流式能力是否符合任务。不要假设同一品牌的所有模型能力完全一致。
6. 数据与合规
核对数据是否用于训练、默认保留时间、区域、删除机制、日志控制、企业协议和敏感数据处理方式。具体政策以所用产品、接口和合同为准。
7. 可运营性
查看配额、限流、错误码、版本生命周期、监控、账单、项目权限、技术支持和退出能力。
四、GPT、Claude、Gemini怎么进入候选池
可先把模型按“高能力、均衡、轻量高吞吐、实时/多模态、专用生成”划分，而不是死记型号。官方模型更新很快，生产选型应固定到当时可用的稳定版本，并保留变更记录。
| 候选方向 | 优先验证的任务 | 关键检查 |
|---|---|---|
| GPT 系列 | 复杂分析、工具调用、结构化输出、多模态应用 | Responses/API能力、版本、推理配置、用量与数据控制 |
| Claude 系列 | 长文档、内容、代码、复杂企业工作流 | 能力/速度/成本档位、长上下文、工具和缓存 |
| Gemini 系列 | 多模态、Google Cloud数据与应用生态、实时场景 | 稳定/预览版本、区域、Vertex AI或开发者API路径 |
这里不是给三家模型排总名次，而是建立候选池。每个候选必须使用同一任务样本、同一输出规范和一致的业务约束测试。
五、如何构建企业自己的评测集
样本来源
- 真实用户问题和客服记录的脱敏样本
- 业务中最常见、最重要和最容易失败的任务
- 新产品上线后的边界、异常和对抗样本
- 人工专家能够明确判断对错的标准任务
- 旧模型曾经失败或需要大量人工返工的案例
样本结构
每条样本建议包含输入、上下文、期望结果、允许差异、禁止错误、业务重要度和人工解释。不能只准备“理想问题”，还要覆盖缺少信息、冲突信息、敏感请求和工具失败。
数据拆分
将样本分为开发集、回归集和上线观察集。开发过程中反复查看的样本不能同时充当最终验收集，否则容易对评测集过拟合。
六、评分不能只靠一个总分
建议使用“硬门槛 + 加权评分”。
硬门槛
- 隐私、区域和合同要求满足
- 禁止错误低于阈值
- 输出格式可被系统稳定解析
- P95 时延和可用性满足上线要求
- 单次和月度成本不超预算
加权评分示例
| 指标 | 建议权重 | 说明 |
|---|---|---|
| 任务完成与事实质量 | 35 | 最终结果是否正确可用 |
| 安全与合规 | 20 | 数据、权限、拒答和审计 |
| 稳定性 | 15 | 重复运行、格式和版本表现 |
| 时延与吞吐 | 10 | 用户体验和峰值能力 |
| 单位业务成本 | 10 | 包含重试与人工复核 |
| 接入和运营能力 | 10 | 权限、监控、文档和支持 |
不同业务可以调整权重。高风险合同提取会提高事实与合规权重，营销内容批量生产则更关注吞吐、成本和人工修改率。
七、自动评测和人工评测怎么配合
可自动评测
- 精确匹配、正则和 JSON Schema
- 字段级准确率、召回率和分类指标
- 引用是否存在、URL是否有效
- 工具调用参数和最终状态
- 延迟、Token、错误和成本
需要人工评测
- 品牌语气、说服力、可读性和创意
- 多种正确答案的复杂分析
- 细微事实问题和上下文理解
- 用户信任、冒犯和文化适配
模型评分器
模型可以辅助大规模评分，但评分标准必须清楚，并用人工标注校准。对关键业务，不应只让同一模型评价自己的结果。
OpenAI 官方 Evals 能创建测试标准并在不同模型配置上运行评测；Anthropic 的模型选择建议也强调用真实提示词、真实数据和业务评测集比较能力、速度与成本。
八、影子测试、灰度和回退
影子测试
新模型接收真实流量副本，但结果不直接返回用户。用同一请求比较质量、时延、成本和失败情况。
小流量灰度
按内部用户、特定租户或少量流量上线，设置自动和人工护栏。不要第一天把所有请求切到新模型。
回退机制
保留旧版本、稳定别名、配置快照和切换开关。模型升级出现质量下降、限流或错误时，可以快速恢复。
Google Gemini 的官方模型说明区分稳定、预览、latest 和实验版本，并提醒生产系统选择适合的版本策略；OpenAI API 文档也建议使用固定版本并通过评测管理行为变化。
九、不要忽略提示词、检索和工具的影响
评测模型时，必须固定或记录以下变量：
- 系统指令和示例
- 温度、推理强度和输出限制
- 检索语料、切分、召回和重排
- 工具描述、权限、超时和错误返回
- 对话历史、缓存和上下文裁剪
- 后处理、规则校验和人工复核
很多“模型问题”实际上来自知识库过期、工具定义模糊、输出解析错误或上下文塞得太多。选型报告应区分模型能力与系统实现问题。
十、一个可执行的两周选型流程
第 1—2 天：确定任务和门槛
选取 2—3 个高价值任务，定义质量、时延、成本、数据和人工复核要求。
第 3—5 天：准备评测集
整理 100—300 条代表性样本，覆盖常见、边界和高风险场景；建立自动规则和人工评分表。
第 6—9 天：统一条件跑测
使用相同输入、输出规范、检索和工具条件测试候选模型，记录版本、参数、错误、Token 和时延。
第 10—12 天：业务复核
由产品、业务、数据、安全和一线使用者盲评，查看人工返工、任务完成和单位结果成本。
第 13—14 天：决策与灰度计划
输出主模型、轻量模型、备选模型、路由条件、预算和回退方案，不把结论简化成单一排名。
十一、上线前检查清单
- 任务、用户和失败成本定义清楚
- 评测集来自真实业务并完成脱敏
- 模型版本和参数已固定并可追踪
- 质量、时延、成本和安全均有硬门槛
- 已比较人工返工和单位业务结果成本
- 数据保留、区域、权限和合同已确认
- 影子测试、小流量灰度和回退已演练
- 配额、限流、错误和预算告警已接入
- 新版本必须通过回归评测才能切换
官方文档参考
如需结合业务场景、调用量、地区、数据和预算完成 GPT、Claude、Gemini 等 AI 模型服务选型，可通过海外云与AI模型服务提交需求，由团队协助进行官方账号资源、模型接入、评测与持续治理。
