场景适配度立项阶段选用顶级模型如 GPT-4o以验证可行性落地阶段根据任务复杂度选择合适模型如简单任务用小模型复杂推理用大模型以平衡性能与成本20。成本与性能权衡考量模型的推理速度、上下文窗口大小、Token 单价以及 API 调用频率限制20。合规与安全对于涉密或高合规要求场景需选择支持私有化部署、具备算法备案的垂直模型或合规底座30。更换模型需要比较的核心指标技术层指标幻觉率事实错误占比、检索命中率、平均响应耗时7。业务层指标人工干预率需修改或驳回的比例、任务完成耗时、资源成本下降率7。用户层指标AI 结果采纳率、二次请求间隔时长7。评估方法必须通过“金标准数据集”真实流量要命场景加权进行考卷测试并配合 A/B 实验和反转实验Reversal Experiment来确立因果关系确保新模型在核心场景不翻车89