AI 工业智能系统研发全生命周期管理规范副标题基于风险驱动与阶段评审门Stage-Gate模型的工业 AI 研发标准流程文档等级技术委员会终审发布 用于立项评审、研发 SOP、阶段 Gate 审核、交付验收、AI 工程治理适用范围工业物联网IIoT、边缘人工智能边缘AI、声学/视觉缺陷检测、设备预测性维护、工业机器人。工业 AI 核心痛点数据不确定、环境不确定、长期漂移不确定、部署环境不确定→\rightarrow→必须分层收敛风险。顶层强制原则最重要评审门驱动而非时间驱动所有阶段切换仅以阶段评审门Gate验收指标为准不按时间/排期强制推进不达标禁止进入下一阶段避免无效投入持续扩大。变更触发重评估任何影响模型输入分布的变更如更换传感器、调整采样率、变更安装位置必须触发对应评审门的重新评估禁止现场私自变更。失败回退而非直接终止阶段评审未通过不直接等于项目终止应按失败路由Failure Routing机制回退到对应阶段整改回退后必须重新通过对应评审门方可继续推进。成本全程管控从 Phase 0 开始记录各阶段资源投入算力、硬件、人力、部署、运维成本避免后期 ROI 失控。模型升级约束生产模型升级必须在以下至少一个维度产生明确收益且其他维度不显著恶化精度、资源效率、稳定性、维护成本、安全性禁止为单一指标无限增大模型复杂度。验收指标多维度化禁止仅以平均准确率/AUC 等单一指标作为验收依据必须同时覆盖准确性、稳定性、实时性、可运营性四个维度防止算法指标好看但现场不可用。1. 核心定义消除团队术语冲突1.1 研发前期核心阶段定位阶段核心问题验证对象技术验证PoC能不能做关键技术假设是否成立相对 Baseline 是否有增益算法原型Algorithm Prototype能否工程化落地实验室模型能否工程化为稳定算法资产产品原型Product Prototype应该做什么产品形态、业务流程、交互规则是否正确最小可行产品MVP能不能闭环真实环境下最小业务闭环与工程可靠性现场试点Pilot稳不稳、值不值长期稳态可靠性与业务价值验证注算法原型与产品原型同属原型验证域Prototype但各有独立交付物与评审门不可混为一谈。1.2 工业 AI 验收指标四象限全阶段通用维度核心指标工业意义准确性Recall、F1、AUROC、AUPRC、固定 FAR 下召回率模型识别能力的基础评价稳定性误报率FAR波动、分布漂移幅度、指标方差、阈值迁移稳定性长期运行下的性能一致性实时性推理时延、CPU/内存占用、功耗、吞吐量边缘部署的资源约束满足度可运营性每日平均告警数、连续误报次数、告警恢复时间、人工确认成本现场运维的实际负担与可用性红线警告禁止仅用平均指标验收。平均 AUROC/F1 达标不代表现场可用必须同时核查告警频次、误报分布与运营成本。例如AUROC0.98\text{AUROC} 0.98AUROC0.98但日均误报 100 次的模型现场不具备运营价值。1.3 阶段定位口诀全员必读PoC 验假设、算法原型做硬化、产品原型定形态、MVP 闭工程、Pilot 验稳态、商用做验证、规模化复制、持续进化抗漂移。2. 整体流程8 阶段 7 个阶段评审门Phase 0 数据探索 ── 「Gate 0 数据可行评审」 └── Phase 1 技术验证 ── 「Gate 1 技术验证评审」 └── Phase 2 算法原型 ── 「Gate 2 算法工程化评审」 └── Phase 3 产品原型 ── 「Gate 3 产品定义评审」 └── Phase 4 MVP ── 「Gate 4 MVP准入评审」 └── Phase 5 Pilot试点 ── 「Gate 5 商用准入评审含ROI」 └── Phase 6 商业化发布验证 ── 「Gate 6 规模化准入评审」 └── Phase 7 规模化运营与AI持续进化域划分Phase 0–4 为研发前置基石域 Phase 5–7 为商用规模化域。评审门说明共设 7 个正式评审门Phase 0 至 Phase 6 每个阶段结束均设置独立决策点责任边界清晰。Phase 7 为长期运营阶段不设终态评审门但设有模型健康度触发式重评估机制。中小团队可按需合并 Gate 3 与 Gate 4但 Gate 2算法工程化不得省略。2.1 阶段责任与评审门批准矩阵阶段 / 评审门阶段负责人Owner评审门批准角色Phase 0 / Gate 0数据负责人技术负责人 数据负责人Phase 1 / Gate 1算法负责人技术委员会Phase 2 / Gate 2AI 架构师AI 架构委员会Phase 3 / Gate 3产品经理产品委员会Phase 4 / Gate 4研发负责人研发负责人 测试负责人Phase 5 / Gate 5实施负责人业务负责人 技术委员会Phase 6 / Gate 6交付负责人交付委员会Phase 7运营期平台负责人模型健康度触发重评估3. 各阶段说明 准入/准出/回退规则Phase 0 数据探索前置风控 Gate 0 数据可行评审Owner数据负责人 批准技术负责人 数据负责人目标判定数据与采集链路是否可用、是否合法从源头规避「垃圾进、垃圾出GIGO」与合规风险。数据探索不是研发准备工作而是独立的风险验证阶段。成本基线建立项目资源预算台账记录采集设备、标注人力、算力资源等初始成本。验收 7 项硬指标有效数据量充足满足建模最低基线。样本分布满足建模要求无不可接受的数据偏置。信噪比SNR达标有效特征可提取。标注一致性达到业务可接受标准监督学习任务适用。故障/异常模式在特征维度可观测。数据采集链路稳定性满足要求传感器型号、采样参数、安装方式具备标准化条件采集系统本身引入的方差可控。数据使用权与合规性确认数据来源明确、采集授权清晰、客户数据使用范围约定、跨项目复用规则明确。失败回退不达标→\rightarrow→补充采集、优化标注方案或调整采集点位合规风险不可接受→\rightarrow→项目终止。Phase 1 技术验证技术可行性 Gate 1 技术验证评审Owner算法负责人 批准技术委员会定位纯离线假设验证禁止做界面/业务增删改查UI/CRUD不可做成汇报演示 Demo。强制基线要求必须建立技术 Baseline 方案如人工规则、传统统计方法、简单基线模型并证明 AI 方案相对 Baseline 具有明确增益无 Baseline 的指标不具备验收意义。四象限指标体系准确性指标监督学习F1 分数、召回率Recall、平均精度均值mAP。无/半监督异常检测曲线下面积AUROC、精确率召回率曲线面积AUPRC、固定误报率下的召回率。稳定性指标阈值迁移稳定性、跨批次指标方差、分布漂移敏感度。实时性指标推理时延、CPU 占用、内存占用、边缘端功耗。可运营性指标设计空间验证单位时间告警频次上限、关键故障漏报率上限 ——仅验证是否进入可接受设计空间不做业务 SLA 验收。异常检测专项验证正常工况覆盖率、阈值迁移能力、新设备冷启动表现、误报成本评估、异常确认闭环可行性。失败回退核心假设推翻→\rightarrow→评估技术降级方案或项目终止指标接近但不达标→\rightarrow→更换算法架构重跑 PoC。Phase 2 算法原型算法硬化 Gate 2 算法工程化评审OwnerAI 架构师 批准AI 架构委员会目标解决「离线效果好、现场不能用」问题将实验室实验模型转化为稳定可交付的算法资产。这是 AI 项目区别于传统软件的重要工程断点。核心工作模型工程优化量化、蒸馏、剪枝、轻量化压缩。独立测试集冻结Test Set Freeze冻结独立测试集测试集禁止参与训练、特征选择、模型调参仅用于最终泛化能力评价调参使用独立验证集Validation Set。跨工况泛化验证不同负载、不同设备型号、不同运行状态。环境鲁棒性验证不同时段、不同季节、不同背景噪声下的数据漂移敏感性测试。部署适配验证不同安装位置、不同传感器批次的一致性验证。异常评分标定与告警阈值策略。数据闭环验证新工况采样验证、未见设备泛化验证、长周期连续数据稳定性验证。模型可解释性要求根据业务风险等级分级高风险场景必须具备异常时间定位、特征区域定位、关键特征贡献度说明低风险场景可适当弱化。准出标准精度损失可控、边缘推理稳定、多工况泛化达标、环境鲁棒性满足设计约束、告警频次进入可运营区间。失败回退泛化能力不足→\rightarrow→返回 Phase 1 补充数据或更换模型边缘约束不满足→\rightarrow→技术降级或更换硬件方案。Phase 3 产品原型形态锁定 Gate 3 产品定义评审Owner产品经理 批准产品委员会目标锁定业务流程、告警规则、UI 交互。使用模拟设备或历史数据回放验证从采集协议→\rightarrow→推理接口→\rightarrow→告警流程→\rightarrow→用户操作的完整业务链路不接入真实生产环境。准出强制业务方/产品负责人确认并冻结产品需求文档PRD项目型交付需客户签字。冻结后禁止无流程需求变更。失败回退业务规则无法达成共识→\rightarrow→冻结变更或项目终止需求重大调整→\rightarrow→重新评估算法适配性。Phase 4 MVP最小工程闭环 Gate 4 MVP 准入评审Owner研发负责人 批准研发负责人 测试负责人核心原则精简功能不精简工程质量与基础安全。工业适配接入真实设备或真实业务数据链路本地轻量存储/云端数据库/MES/SCADA/IoT 平台均可不限定形态。可在隔离环境或内部测试环境运行不必直连生产系统。强制标配AI 可追溯四要素MVP 必选缺一不可模型版本Model Version代码版本Code Version / Commit Hash数据集版本Dataset Version特征配置版本Feature Config Version部署环境摘要MVP 必记录操作系统版本、推理框架版本、硬件型号、驱动版本。完整环境版本管理Environment Version在 Pilot 阶段纳入强制要求。轻量模型管理MVP 必配建立基础模型目录规范每个正式版本包含模型文件、配置文件、阈值参数、元数据说明具备基本可追溯性。第三方模型管理使用开源或第三方模型必须记录来源、许可证、版本号、修改记录与安全评估结果禁止未评估直接上线。工程基线必配断网本地缓存、断线自愈重连、分级告警兜底、日志可靠存储与异常恢复机制、核心数据备份。安全基线MVP 必配基础权限控制、模型文件完整性校验、访问鉴权、输入异常检测。失败回退工程基线不达标→\rightarrow→内部返工重构不触发项目级终止。Phase 5 Pilot 现场试点长期稳态验证 Gate 5 商用准入评审Owner实施负责人 批准业务负责人 技术委员会强制禁令禁止 MVP 直接跳商用。工业 AI 项目严禁跳过此阶段。运行要求选取具有统计代表性的真实业务点位进行 7×24h 无人值守连续运行。Pilot 周期由故障周期、工况覆盖周期与 SLA 要求共同确定需覆盖至少一个完整生产周期、关键工况变化与必要的季节/环境变化点位数量由设备总量、工况覆盖度、风险等级与 SLA 要求共同决定。四象限验收指标现场 SLA 级准确性指标现场误报率FAR、漏报率Miss Rate、关键故障召回率。稳定性指标平均无故障时间MTBF、设备在线率、指标漂移幅度、FAR 波动范围。实时性指标告警时延、边缘资源长期占用、断网恢复成功率。可运营性指标告警运营专项每日平均告警数量连续误报最大次数告警恢复时间MTTR单条告警人工确认成本时间/人力误报占比与有效告警率业务价值对比人工基线AI 方案 vs 人工巡检 vs 传统规则方案量化评估巡检人力节省、故障提前发现率、停机损失减少、运维效率提升。MVP vs Pilot 本质区别MVP 关注「能运行」功能闭环、短期验证、内部影响Pilot 关注「可信赖」长期稳态、真实压力、客户级影响、运营可负担。Gate 5 双维度评审技术 SLA 达标四象限全部满足 商业 ROI 测算通过单点部署成本、维护成本、节省成本、ROI 周期方可进入商业化发布验证。失败回退与重入规则Failure Routing数据分布问题→\rightarrow→回退 Phase 0 补充数据→\rightarrow→重新通过 Gate 0 至 Gate 5。模型精度/泛化问题→\rightarrow→回退 Phase 2 算法优化→\rightarrow→重新通过 Gate 2 至 Gate 5。需求/交互问题→\rightarrow→回退 Phase 3 调整产品→\rightarrow→重新通过 Gate 3 至 Gate 5。工程稳定性问题→\rightarrow→回退 Phase 4 工程加固→\rightarrow→重新通过 Gate 4 至 Gate 5。告警运营负担过重→\rightarrow→回退 Phase 2 优化阈值策略或 Phase 3 优化告警流程→\rightarrow→重新过对应 Gate。商业 ROI 不达标→\rightarrow→暂停商用重新评估商业模式或缩减产品范围。Phase 6 商业化发布验证Gate 6 规模化准入评审Owner交付负责人 批准交付委员会核心工作闭环 Pilot 全部问题完成工程硬化、自动化部署、容灾备份在有限范围内部署商用版本验证标准化交付能力、运维体系与安全合规性。商业化发布验证是规模化前的最后验证通过后方可批量复制本阶段重点验证交付能力而非业务价值。生产模型冻结策略生产环境运行的模型必须冻结任何模型升级必须经过「离线回归验证→\rightarrow→灰度发布→\rightarrow→回滚预案→\rightarrow→发布审批」完整流程禁止直接替换生产模型。商用级完整安全体系IT 安全设备身份认证PKI、OTA 安全升级机制、权限分级与操作审计、网络隔离与数据加密。AI 模型安全模型签名验证、模型来源追踪、防止未授权替换、输入异常检测与防御。企业级 MLOps 能力集中式模型仓库Model Registry、数据版本控制DVC、自动化训练流水线、灰度发布/A-B 测试、一键回滚、数据/概念漂移监控。失败回退交付能力不达标→\rightarrow→补充工程与文档安全不达标→\rightarrow→专项整改后复审。Phase 7 规模化运营与 AI 持续进化Ownerplatform 负责人核心工作云边协同纳管海量节点建立半自动 AI 持续进化闭环现场错误/边缘样本回传→\rightarrow→人工审核与标注→\rightarrow→云端增量重训→\rightarrow→离线回归验证→\rightarrow→灰度发布→\rightarrow→正式下发。人工审核环节为工业安全场景强制要求不允许全自动闭环。模型生命周期管理Model Retirement新模型发布后老模型并行运行观察期。性能持续下降触发降级或冻结。超生命周期或无维护价值的模型执行退役归档。退役模型保留审计记录不可随意删除。模型健康度与触发式重评估出现以下任一情况触发模型健康评审根据问题严重程度重新进入对应 Gate误报率FAR连续超过阈值。召回率持续下降超出容忍范围。输入分布漂移超过设定阈值。数据缺失率或采集异常显著升高。推理延迟或资源占用异常升高。日均告警数量超出运营承载上限。AI 异常事件闭环流程现场发现异常告警→\rightarrow→确认是否模型问题→\rightarrow→人工复核标注→\rightarrow→异常数据归档→\rightarrow→算法团队评估→\rightarrow→模型修正与版本升级→\rightarrow→灰度发布验证。禁止现场人员因单次误报直接关闭 AI 系统。4. AI 资产复用与留存规则数据资产100% 全流程留存、增量复用不可丢弃是企业核心数字资产。模型资产保留所有通过阶段评审门的正式版本实验阶段的中间模型按生命周期归档或定期清理避免仓库膨胀模型权重持续演进跨阶段根据环境变化执行评估、校准、微调或重新训练不可直接继承部署。第三方模型管理开源或第三方模型必须记录来源、许可证、版本号、修改记录与安全评估结果修改后的衍生模型纳入内部版本管理。算法代码训练/评估流水线稳定复用PoC 临时调试脚本强制废弃。工程代码原型模拟代码不生产复用MVP 工程基座持续硬化迭代。5. MLOps 能力成熟度分级Level 1可追溯MVP 必达AI 可追溯四要素绑定管理模型/代码/数据集/特征配置部署环境摘要记录轻量模型目录规范模型文件配置阈值元数据推理日志归档、异常样本留存任何变更必升级版本号Level 2可管理Pilot 必达补齐完整运行环境版本Environment Version集中式模型仓库Model Registry数据版本控制DVC基础漂移监控告警模型版本对比与回滚能力Level 3自动化商用必达自动化训练流水线CT/CI灰度发布、A-B 测试、一键回滚数据漂移/概念漂移自动监控模型发布审批流程Level 4持续优化规模化运营目标半自动数据回传与增量训练闭环模型生命周期自动化管理性能退化自动预警与触发重训多站点模型差异化管理6. 项目终止Kill统一标准与降级评估出现以下任一情况启动终止评估评估前必须先考虑技术降级与范围缩减方案核心技术假设被证明不成立且无替代方案。数据质量无法满足最低建模要求且补充成本不可接受。商业 ROI 长期不成立投入产出比严重失衡。合规或安全风险不可接受且无法整改。告警运营成本持续超出可接受范围且优化后无改善。终止前强制评估项技术降级方案可行性、产品范围缩减方案、ROI 重新测算、告警运营成本优化空间。若降级后仍有业务价值优先调整目标而非直接终止。项目终止需经技术委员会与业务方共同评审由项目发起人最终决策。7. 强制执行红线不可违反PoC 严禁开发 UI、业务 CRUD禁止做成汇报 Demo。原型阶段包含算法原型与产品原型两类各有独立评审门Gate 2 算法工程化评审不得省略。禁止以 MVP 短期跑通替代 Pilot 长期稳态验证实验室指标不等于现场可用。无可追溯四要素、无轻量模型管理禁止上线 MVP。商用准入以Pilot 现场 SLA 为最高标准离线指标仅作为技术回归保障。阶段评审门只看指标不看工期排期时间到了不达标也不许过。生产模型必须冻结任何升级必须走验证-灰度-审批流程。任何影响输入分布的现场变更必须触发评审门重评估。MVP 上线必须具备基础安全基线工业现场禁止裸奔上线。AI 持续进化必须有人工审核环节安全相关场景禁止全自动闭环。模型升级必须满足多维度收益约束禁止为单一指标无限复杂化。阶段回退后必须重新通过对应评审门禁止绕门推进。禁止仅以平均准确率/AUC 单一指标验收必须覆盖准确性、稳定性、实时性、可运营性四象限日均告警超标的模型不得通过商用准入。8. 全阶段纵向演进本质PoC回答「能不能做」→\rightarrow→算法原型回答「能否工程化落地」→\rightarrow→产品原型回答「应该做什么」→\rightarrow→MVP回答「能不能工程闭环」→\rightarrow→Pilot回答「长期稳不稳、运营值不值」→\rightarrow→商业化发布验证回答「能不能标准化交付」→\rightarrow→规模化运营回答「能不能批量复制」→\rightarrow→持续进化回答「如何对抗漂移不退化」
AI 工业智能系统研发全生命周期管理规范
发布时间：2026/7/10 18:07:25
AI 工业智能系统研发全生命周期管理规范副标题基于风险驱动与阶段评审门Stage-Gate模型的工业 AI 研发标准流程文档等级技术委员会终审发布 用于立项评审、研发 SOP、阶段 Gate 审核、交付验收、AI 工程治理适用范围工业物联网IIoT、边缘人工智能边缘AI、声学/视觉缺陷检测、设备预测性维护、工业机器人。工业 AI 核心痛点数据不确定、环境不确定、长期漂移不确定、部署环境不确定→\rightarrow→必须分层收敛风险。顶层强制原则最重要评审门驱动而非时间驱动所有阶段切换仅以阶段评审门Gate验收指标为准不按时间/排期强制推进不达标禁止进入下一阶段避免无效投入持续扩大。变更触发重评估任何影响模型输入分布的变更如更换传感器、调整采样率、变更安装位置必须触发对应评审门的重新评估禁止现场私自变更。失败回退而非直接终止阶段评审未通过不直接等于项目终止应按失败路由Failure Routing机制回退到对应阶段整改回退后必须重新通过对应评审门方可继续推进。成本全程管控从 Phase 0 开始记录各阶段资源投入算力、硬件、人力、部署、运维成本避免后期 ROI 失控。模型升级约束生产模型升级必须在以下至少一个维度产生明确收益且其他维度不显著恶化精度、资源效率、稳定性、维护成本、安全性禁止为单一指标无限增大模型复杂度。验收指标多维度化禁止仅以平均准确率/AUC 等单一指标作为验收依据必须同时覆盖准确性、稳定性、实时性、可运营性四个维度防止算法指标好看但现场不可用。1. 核心定义消除团队术语冲突1.1 研发前期核心阶段定位阶段核心问题验证对象技术验证PoC能不能做关键技术假设是否成立相对 Baseline 是否有增益算法原型Algorithm Prototype能否工程化落地实验室模型能否工程化为稳定算法资产产品原型Product Prototype应该做什么产品形态、业务流程、交互规则是否正确最小可行产品MVP能不能闭环真实环境下最小业务闭环与工程可靠性现场试点Pilot稳不稳、值不值长期稳态可靠性与业务价值验证注算法原型与产品原型同属原型验证域Prototype但各有独立交付物与评审门不可混为一谈。1.2 工业 AI 验收指标四象限全阶段通用维度核心指标工业意义准确性Recall、F1、AUROC、AUPRC、固定 FAR 下召回率模型识别能力的基础评价稳定性误报率FAR波动、分布漂移幅度、指标方差、阈值迁移稳定性长期运行下的性能一致性实时性推理时延、CPU/内存占用、功耗、吞吐量边缘部署的资源约束满足度可运营性每日平均告警数、连续误报次数、告警恢复时间、人工确认成本现场运维的实际负担与可用性红线警告禁止仅用平均指标验收。平均 AUROC/F1 达标不代表现场可用必须同时核查告警频次、误报分布与运营成本。例如AUROC0.98\text{AUROC} 0.98AUROC0.98但日均误报 100 次的模型现场不具备运营价值。1.3 阶段定位口诀全员必读PoC 验假设、算法原型做硬化、产品原型定形态、MVP 闭工程、Pilot 验稳态、商用做验证、规模化复制、持续进化抗漂移。2. 整体流程8 阶段 7 个阶段评审门Phase 0 数据探索 ── 「Gate 0 数据可行评审」 └── Phase 1 技术验证 ── 「Gate 1 技术验证评审」 └── Phase 2 算法原型 ── 「Gate 2 算法工程化评审」 └── Phase 3 产品原型 ── 「Gate 3 产品定义评审」 └── Phase 4 MVP ── 「Gate 4 MVP准入评审」 └── Phase 5 Pilot试点 ── 「Gate 5 商用准入评审含ROI」 └── Phase 6 商业化发布验证 ── 「Gate 6 规模化准入评审」 └── Phase 7 规模化运营与AI持续进化域划分Phase 0–4 为研发前置基石域 Phase 5–7 为商用规模化域。评审门说明共设 7 个正式评审门Phase 0 至 Phase 6 每个阶段结束均设置独立决策点责任边界清晰。Phase 7 为长期运营阶段不设终态评审门但设有模型健康度触发式重评估机制。中小团队可按需合并 Gate 3 与 Gate 4但 Gate 2算法工程化不得省略。2.1 阶段责任与评审门批准矩阵阶段 / 评审门阶段负责人Owner评审门批准角色Phase 0 / Gate 0数据负责人技术负责人 数据负责人Phase 1 / Gate 1算法负责人技术委员会Phase 2 / Gate 2AI 架构师AI 架构委员会Phase 3 / Gate 3产品经理产品委员会Phase 4 / Gate 4研发负责人研发负责人 测试负责人Phase 5 / Gate 5实施负责人业务负责人 技术委员会Phase 6 / Gate 6交付负责人交付委员会Phase 7运营期平台负责人模型健康度触发重评估3. 各阶段说明 准入/准出/回退规则Phase 0 数据探索前置风控 Gate 0 数据可行评审Owner数据负责人 批准技术负责人 数据负责人目标判定数据与采集链路是否可用、是否合法从源头规避「垃圾进、垃圾出GIGO」与合规风险。数据探索不是研发准备工作而是独立的风险验证阶段。成本基线建立项目资源预算台账记录采集设备、标注人力、算力资源等初始成本。验收 7 项硬指标有效数据量充足满足建模最低基线。样本分布满足建模要求无不可接受的数据偏置。信噪比SNR达标有效特征可提取。标注一致性达到业务可接受标准监督学习任务适用。故障/异常模式在特征维度可观测。数据采集链路稳定性满足要求传感器型号、采样参数、安装方式具备标准化条件采集系统本身引入的方差可控。数据使用权与合规性确认数据来源明确、采集授权清晰、客户数据使用范围约定、跨项目复用规则明确。失败回退不达标→\rightarrow→补充采集、优化标注方案或调整采集点位合规风险不可接受→\rightarrow→项目终止。Phase 1 技术验证技术可行性 Gate 1 技术验证评审Owner算法负责人 批准技术委员会定位纯离线假设验证禁止做界面/业务增删改查UI/CRUD不可做成汇报演示 Demo。强制基线要求必须建立技术 Baseline 方案如人工规则、传统统计方法、简单基线模型并证明 AI 方案相对 Baseline 具有明确增益无 Baseline 的指标不具备验收意义。四象限指标体系准确性指标监督学习F1 分数、召回率Recall、平均精度均值mAP。无/半监督异常检测曲线下面积AUROC、精确率召回率曲线面积AUPRC、固定误报率下的召回率。稳定性指标阈值迁移稳定性、跨批次指标方差、分布漂移敏感度。实时性指标推理时延、CPU 占用、内存占用、边缘端功耗。可运营性指标设计空间验证单位时间告警频次上限、关键故障漏报率上限 ——仅验证是否进入可接受设计空间不做业务 SLA 验收。异常检测专项验证正常工况覆盖率、阈值迁移能力、新设备冷启动表现、误报成本评估、异常确认闭环可行性。失败回退核心假设推翻→\rightarrow→评估技术降级方案或项目终止指标接近但不达标→\rightarrow→更换算法架构重跑 PoC。Phase 2 算法原型算法硬化 Gate 2 算法工程化评审OwnerAI 架构师 批准AI 架构委员会目标解决「离线效果好、现场不能用」问题将实验室实验模型转化为稳定可交付的算法资产。这是 AI 项目区别于传统软件的重要工程断点。核心工作模型工程优化量化、蒸馏、剪枝、轻量化压缩。独立测试集冻结Test Set Freeze冻结独立测试集测试集禁止参与训练、特征选择、模型调参仅用于最终泛化能力评价调参使用独立验证集Validation Set。跨工况泛化验证不同负载、不同设备型号、不同运行状态。环境鲁棒性验证不同时段、不同季节、不同背景噪声下的数据漂移敏感性测试。部署适配验证不同安装位置、不同传感器批次的一致性验证。异常评分标定与告警阈值策略。数据闭环验证新工况采样验证、未见设备泛化验证、长周期连续数据稳定性验证。模型可解释性要求根据业务风险等级分级高风险场景必须具备异常时间定位、特征区域定位、关键特征贡献度说明低风险场景可适当弱化。准出标准精度损失可控、边缘推理稳定、多工况泛化达标、环境鲁棒性满足设计约束、告警频次进入可运营区间。失败回退泛化能力不足→\rightarrow→返回 Phase 1 补充数据或更换模型边缘约束不满足→\rightarrow→技术降级或更换硬件方案。Phase 3 产品原型形态锁定 Gate 3 产品定义评审Owner产品经理 批准产品委员会目标锁定业务流程、告警规则、UI 交互。使用模拟设备或历史数据回放验证从采集协议→\rightarrow→推理接口→\rightarrow→告警流程→\rightarrow→用户操作的完整业务链路不接入真实生产环境。准出强制业务方/产品负责人确认并冻结产品需求文档PRD项目型交付需客户签字。冻结后禁止无流程需求变更。失败回退业务规则无法达成共识→\rightarrow→冻结变更或项目终止需求重大调整→\rightarrow→重新评估算法适配性。Phase 4 MVP最小工程闭环 Gate 4 MVP 准入评审Owner研发负责人 批准研发负责人 测试负责人核心原则精简功能不精简工程质量与基础安全。工业适配接入真实设备或真实业务数据链路本地轻量存储/云端数据库/MES/SCADA/IoT 平台均可不限定形态。可在隔离环境或内部测试环境运行不必直连生产系统。强制标配AI 可追溯四要素MVP 必选缺一不可模型版本Model Version代码版本Code Version / Commit Hash数据集版本Dataset Version特征配置版本Feature Config Version部署环境摘要MVP 必记录操作系统版本、推理框架版本、硬件型号、驱动版本。完整环境版本管理Environment Version在 Pilot 阶段纳入强制要求。轻量模型管理MVP 必配建立基础模型目录规范每个正式版本包含模型文件、配置文件、阈值参数、元数据说明具备基本可追溯性。第三方模型管理使用开源或第三方模型必须记录来源、许可证、版本号、修改记录与安全评估结果禁止未评估直接上线。工程基线必配断网本地缓存、断线自愈重连、分级告警兜底、日志可靠存储与异常恢复机制、核心数据备份。安全基线MVP 必配基础权限控制、模型文件完整性校验、访问鉴权、输入异常检测。失败回退工程基线不达标→\rightarrow→内部返工重构不触发项目级终止。Phase 5 Pilot 现场试点长期稳态验证 Gate 5 商用准入评审Owner实施负责人 批准业务负责人 技术委员会强制禁令禁止 MVP 直接跳商用。工业 AI 项目严禁跳过此阶段。运行要求选取具有统计代表性的真实业务点位进行 7×24h 无人值守连续运行。Pilot 周期由故障周期、工况覆盖周期与 SLA 要求共同确定需覆盖至少一个完整生产周期、关键工况变化与必要的季节/环境变化点位数量由设备总量、工况覆盖度、风险等级与 SLA 要求共同决定。四象限验收指标现场 SLA 级准确性指标现场误报率FAR、漏报率Miss Rate、关键故障召回率。稳定性指标平均无故障时间MTBF、设备在线率、指标漂移幅度、FAR 波动范围。实时性指标告警时延、边缘资源长期占用、断网恢复成功率。可运营性指标告警运营专项每日平均告警数量连续误报最大次数告警恢复时间MTTR单条告警人工确认成本时间/人力误报占比与有效告警率业务价值对比人工基线AI 方案 vs 人工巡检 vs 传统规则方案量化评估巡检人力节省、故障提前发现率、停机损失减少、运维效率提升。MVP vs Pilot 本质区别MVP 关注「能运行」功能闭环、短期验证、内部影响Pilot 关注「可信赖」长期稳态、真实压力、客户级影响、运营可负担。Gate 5 双维度评审技术 SLA 达标四象限全部满足 商业 ROI 测算通过单点部署成本、维护成本、节省成本、ROI 周期方可进入商业化发布验证。失败回退与重入规则Failure Routing数据分布问题→\rightarrow→回退 Phase 0 补充数据→\rightarrow→重新通过 Gate 0 至 Gate 5。模型精度/泛化问题→\rightarrow→回退 Phase 2 算法优化→\rightarrow→重新通过 Gate 2 至 Gate 5。需求/交互问题→\rightarrow→回退 Phase 3 调整产品→\rightarrow→重新通过 Gate 3 至 Gate 5。工程稳定性问题→\rightarrow→回退 Phase 4 工程加固→\rightarrow→重新通过 Gate 4 至 Gate 5。告警运营负担过重→\rightarrow→回退 Phase 2 优化阈值策略或 Phase 3 优化告警流程→\rightarrow→重新过对应 Gate。商业 ROI 不达标→\rightarrow→暂停商用重新评估商业模式或缩减产品范围。Phase 6 商业化发布验证Gate 6 规模化准入评审Owner交付负责人 批准交付委员会核心工作闭环 Pilot 全部问题完成工程硬化、自动化部署、容灾备份在有限范围内部署商用版本验证标准化交付能力、运维体系与安全合规性。商业化发布验证是规模化前的最后验证通过后方可批量复制本阶段重点验证交付能力而非业务价值。生产模型冻结策略生产环境运行的模型必须冻结任何模型升级必须经过「离线回归验证→\rightarrow→灰度发布→\rightarrow→回滚预案→\rightarrow→发布审批」完整流程禁止直接替换生产模型。商用级完整安全体系IT 安全设备身份认证PKI、OTA 安全升级机制、权限分级与操作审计、网络隔离与数据加密。AI 模型安全模型签名验证、模型来源追踪、防止未授权替换、输入异常检测与防御。企业级 MLOps 能力集中式模型仓库Model Registry、数据版本控制DVC、自动化训练流水线、灰度发布/A-B 测试、一键回滚、数据/概念漂移监控。失败回退交付能力不达标→\rightarrow→补充工程与文档安全不达标→\rightarrow→专项整改后复审。Phase 7 规模化运营与 AI 持续进化Ownerplatform 负责人核心工作云边协同纳管海量节点建立半自动 AI 持续进化闭环现场错误/边缘样本回传→\rightarrow→人工审核与标注→\rightarrow→云端增量重训→\rightarrow→离线回归验证→\rightarrow→灰度发布→\rightarrow→正式下发。人工审核环节为工业安全场景强制要求不允许全自动闭环。模型生命周期管理Model Retirement新模型发布后老模型并行运行观察期。性能持续下降触发降级或冻结。超生命周期或无维护价值的模型执行退役归档。退役模型保留审计记录不可随意删除。模型健康度与触发式重评估出现以下任一情况触发模型健康评审根据问题严重程度重新进入对应 Gate误报率FAR连续超过阈值。召回率持续下降超出容忍范围。输入分布漂移超过设定阈值。数据缺失率或采集异常显著升高。推理延迟或资源占用异常升高。日均告警数量超出运营承载上限。AI 异常事件闭环流程现场发现异常告警→\rightarrow→确认是否模型问题→\rightarrow→人工复核标注→\rightarrow→异常数据归档→\rightarrow→算法团队评估→\rightarrow→模型修正与版本升级→\rightarrow→灰度发布验证。禁止现场人员因单次误报直接关闭 AI 系统。4. AI 资产复用与留存规则数据资产100% 全流程留存、增量复用不可丢弃是企业核心数字资产。模型资产保留所有通过阶段评审门的正式版本实验阶段的中间模型按生命周期归档或定期清理避免仓库膨胀模型权重持续演进跨阶段根据环境变化执行评估、校准、微调或重新训练不可直接继承部署。第三方模型管理开源或第三方模型必须记录来源、许可证、版本号、修改记录与安全评估结果修改后的衍生模型纳入内部版本管理。算法代码训练/评估流水线稳定复用PoC 临时调试脚本强制废弃。工程代码原型模拟代码不生产复用MVP 工程基座持续硬化迭代。5. MLOps 能力成熟度分级Level 1可追溯MVP 必达AI 可追溯四要素绑定管理模型/代码/数据集/特征配置部署环境摘要记录轻量模型目录规范模型文件配置阈值元数据推理日志归档、异常样本留存任何变更必升级版本号Level 2可管理Pilot 必达补齐完整运行环境版本Environment Version集中式模型仓库Model Registry数据版本控制DVC基础漂移监控告警模型版本对比与回滚能力Level 3自动化商用必达自动化训练流水线CT/CI灰度发布、A-B 测试、一键回滚数据漂移/概念漂移自动监控模型发布审批流程Level 4持续优化规模化运营目标半自动数据回传与增量训练闭环模型生命周期自动化管理性能退化自动预警与触发重训多站点模型差异化管理6. 项目终止Kill统一标准与降级评估出现以下任一情况启动终止评估评估前必须先考虑技术降级与范围缩减方案核心技术假设被证明不成立且无替代方案。数据质量无法满足最低建模要求且补充成本不可接受。商业 ROI 长期不成立投入产出比严重失衡。合规或安全风险不可接受且无法整改。告警运营成本持续超出可接受范围且优化后无改善。终止前强制评估项技术降级方案可行性、产品范围缩减方案、ROI 重新测算、告警运营成本优化空间。若降级后仍有业务价值优先调整目标而非直接终止。项目终止需经技术委员会与业务方共同评审由项目发起人最终决策。7. 强制执行红线不可违反PoC 严禁开发 UI、业务 CRUD禁止做成汇报 Demo。原型阶段包含算法原型与产品原型两类各有独立评审门Gate 2 算法工程化评审不得省略。禁止以 MVP 短期跑通替代 Pilot 长期稳态验证实验室指标不等于现场可用。无可追溯四要素、无轻量模型管理禁止上线 MVP。商用准入以Pilot 现场 SLA 为最高标准离线指标仅作为技术回归保障。阶段评审门只看指标不看工期排期时间到了不达标也不许过。生产模型必须冻结任何升级必须走验证-灰度-审批流程。任何影响输入分布的现场变更必须触发评审门重评估。MVP 上线必须具备基础安全基线工业现场禁止裸奔上线。AI 持续进化必须有人工审核环节安全相关场景禁止全自动闭环。模型升级必须满足多维度收益约束禁止为单一指标无限复杂化。阶段回退后必须重新通过对应评审门禁止绕门推进。禁止仅以平均准确率/AUC 单一指标验收必须覆盖准确性、稳定性、实时性、可运营性四象限日均告警超标的模型不得通过商用准入。8. 全阶段纵向演进本质PoC回答「能不能做」→\rightarrow→算法原型回答「能否工程化落地」→\rightarrow→产品原型回答「应该做什么」→\rightarrow→MVP回答「能不能工程闭环」→\rightarrow→Pilot回答「长期稳不稳、运营值不值」→\rightarrow→商业化发布验证回答「能不能标准化交付」→\rightarrow→规模化运营回答「能不能批量复制」→\rightarrow→持续进化回答「如何对抗漂移不退化」
