跳转到内容
wiki

AHAX 公开知识库阶段 · 文章

08 AI 治理、ROI 与 90 天路线

把数据、权限、评估、上线门、成本与退出机制放进同一套管理系统,用 90 天受控试点决定 AI 项目继续、调整还是停止。

最后更新 · 预计阅读 · 18 分钟

AI 治理不是给项目增加一叠审批表,而是让管理者在四个关键时点能够做出有证据的决定:能不能试、能不能上线、能不能扩大、什么时候必须停。如果企业只有模型账号和几个演示,却没有数据责任人、权限边界、固定评估集、运行日志、成本台账和退出方案,那么项目越快扩张,错误、泄露和供应商锁定也可能扩张得越快。

中小企业不必一开始照搬大型集团的委员会体系。更实际的做法,是把治理压缩为一套能运行的最小闭环:一个 AI 系统登记册、四类责任人、五道治理门、一套分层评估、一个事件与回滚流程,以及一张可复算的 TCO/ROI 表。制度的价值不在页数,而在每项控制是否有负责人、证据和停止条件。

管理问题必须拿到的证据没有证据时的决定
为什么做当前损耗基线、目标用户、业务所有者不立项或退回补基线
用什么数据数据清单、分类、用途、来源、保留和删除规则不接真实数据
AI 能做什么允许动作、禁止动作、工具权限、人工审批点只做离线或只读试验
是否足够可靠固定评估集、版本、分层结果、失败清单不上线或缩小范围
是否值得继续真实使用、全成本、可归因收益、风险和退出成本调整或停止,不以沉没成本扩张
出事怎么办监控、暂停开关、回滚、通知、复盘负责人不进入生产环境

AHAX 判断:第一期的目标不是“90 天完成 AI 转型”,而是在一个边界清楚的场景中,形成足够证据,做出一次可信的 go / adjust / no-go 决策。90 天是本文用于组织工作的项目示例,不是法定周期,也不保证所有企业在该周期内上线或获得回报。

  1. 业务与数据准备门:问题真实、基线可量化、数据用途与责任清楚。
  2. 设计评审门:架构、权限、供应商流向、人工审批和退出路径已经写明。
  3. 离线评估门:正常、边界、越权、攻击和失败恢复样本达到预先约定的分层门槛。
  4. 受控试点门:限定用户、数据、工具和额度运行,所有高风险动作可被人工拦截。
  5. 扩展批准门:收益可归因,风险可接受,运营有人负责,回滚和退出经过演练。

每道门都允许三种结论:通过、调整后复测、停止。治理不能只允许“通过”,否则审批最终会变成给既定项目补签字。

  • 已有明确业务问题,例如重复查询、人工整理、知识检索或报表解释,而不是“大家都在做 AI”。
  • 有能签字的业务所有者,也有人负责数据、安全、技术运行和停止项目。
  • 第一阶段可以限定用户、数据和动作;错误可以被发现、撤回或人工纠正。
  • 能保存基线、输入输出、版本、审批、工具调用、成本和人工复核结果。
  • 供应商或自建组件至少支持必要的访问控制、日志、数据导出和停用。
信号为什么危险建议动作
没有业务基线,只展示模型效果无法判断是否创造价值先测当前人时、错误、等待和损失
数据来源、授权或用途说不清可能带来个人信息、商业秘密和数据安全风险停止导入,完成数据盘点与适用性审查
模型可以直接付款、退款、改价或对外承诺错误后果大且可能不可逆改为草稿、只读或人工批准
只有总体“准确率”高风险错误可能被平均值掩盖按场景、风险、角色和失败类型分层
供应商不支持导出、删除或日志退出和调查困难补合同、替换方案或限制数据范围
项目成功只按使用次数衡量使用量不等于业务价值连接到业务结果、人工复核和风险指标

内部工具与公众服务不要混为一谈

Section titled “内部工具与公众服务不要混为一谈”

生成式人工智能服务管理暂行办法》对向中国境内公众提供生成式人工智能服务规定了适用边界,并说明未向境内公众提供服务的研发、应用不适用该办法。但内部工具并不因此自动“无合规要求”:只要处理个人信息、重要业务数据、商业秘密,或连接网络和生产系统,仍要按实际活动判断个人信息、数据安全、网络安全、劳动、行业和合同责任。

同样,NIST AI RMFNIST 生成式 AI Profile、ISO/IEC 42001 和 OWASP 指南,可以帮助企业组织治理、评估与威胁建模,但它们不是中国法定义务,也不能用“采用国际框架”代替中国规则的适用性判断。

按企业规模适配治理,不按规模免除风险

Section titled “按企业规模适配治理,不按规模免除风险”
企业状态治理组织第一阶段控制重点不建议做法
10–50 人、单一业务业务负责人牵头,技术/外部顾问协助单场景、最小数据、人工批准、简单登记册同时采购多个平台、建立复杂委员会
50–300 人、多部门业务、数据、技术、安全共同签门统一身份、数据分类、评估模板、供应商清单各部门用私人账号自行接入
多实体或受监管业务设明确治理负责人并接入法务、审计、采购影响评估、职责分离、事件演练、合同与证据保全用一般办公试点代替行业审查

规模小可以让角色由同一人兼任,但不能让责任消失。同一人兼任时,应记录其以哪个角色批准什么;对高风险动作至少保留复核或双人批准,避免开发者既提出需求、又自行上线、再自行宣布验收通过。

方案适用范围核心控制优点主要风险
轻量试点治理单一内部、只读、可人工复核场景登记册、最小数据、固定评估、人工门、停用开关成本低、责任清楚容易被误扩到高风险动作
标准生产治理多用户、持续运行、连接业务系统统一身份、分级权限、部署门、监控、事件和供应商管理可持续运营控制设计与维护需要专人
高影响治理涉及资金、健康、安全、重大权益或敏感数据影响评估、职责分离、独立验证、严格审批和审计风险证据更完整不适合用通用模板快速上线

治理强度应由后果、数据敏感性、自动化程度、可逆性和覆盖人群决定,而不是由模型品牌或企业人数决定。一个 20 人公司的自动付款 Agent,可能比 500 人公司的内部会议摘要风险更高。

SaaS、API 编排与自建部署的治理差异

Section titled “SaaS、API 编排与自建部署的治理差异”
路径企业仍需承担什么必查供应商证据退出重点
AI SaaS账号权限、输入数据、使用规则、输出复核数据用途、保留、区域、子处理方、日志、导出数据和配置能否完整导出、账号能否彻底停用
模型 API + 工作流提示词、RAG、工具调用、密钥、重试和业务动作API 数据政策、模型版本、限额、可用区域和变更通知模型适配层、回归集、替代供应商
自建/私有部署模型、基础设施、补丁、监控、许可和全部运行责任模型许可、依赖、漏洞、硬件和支持边界权重/镜像、配置、人员能力和持续成本

供应商安全说明、认证和产品文档只能证明其声明范围内的能力,不能自动证明企业的配置、数据用途、提示词、工作流和人工流程已经合规。采购评审应形成“主张—证据—适用边界—责任人—复核日”,而不是只保存一份销售演示。

TCO 与 ROI 必须放在同一张决策表

Section titled “TCO 与 ROI 必须放在同一张决策表”

只算模型调用费,会系统性低估 AI 项目成本。本文建议用同一统计周期比较以下项目:

成本/收益项可复算口径证据
数据与知识清洗、标注、权限、更新所需人时 × 全口径人时成本工时、任务单、版本记录
集成与改造接口、工作流、身份、日志、测试和迁移成本合同、工时、采购记录
模型与平台实际调用、订阅、存储、网络和超额费用供应商账单、用量日志
评估与安全样本建设、人工复核、红队、漏洞和整改成本评估报告、问题单
培训与运营培训、知识维护、监控、事件、供应商管理排班、工时、事件记录
退出与残值导出、迁移、合同终止、替代方案及可回收资产退出演练、资产清单
节省人时基线人时 − 试点后人时,再乘经财务确认的人时成本同口径抽样、工时记录
避免损失基线可核实损失 − 试点期同口径损失工单、返工、赔付或差错记录
增量价值可归因给该流程的新增毛利或业务价值对照、归因规则、财务复核

建议公式:

周期净价值 = 可归因收益 - 周期全成本
ROI = 周期净价值 ÷ 周期全成本 × 100%
TCO = 建设 + 数据 + 模型/平台 + 集成 + 评估安全 + 培训运营 + 退出 - 可回收残值

公式本身不保证数字可信。计算表还必须写明统计周期、样本、基线日期、人时成本口径、是否含税、是否含共享人员、归因规则和未量化风险。至少做基准、保守、压力三种情景;如果关键假设稍微变化就从正值变负值,应把项目视为需要更多证据,而不是挑最好看的情景汇报。

第一步:建立 AI 系统登记册和责任矩阵

Section titled “第一步:建立 AI 系统登记册和责任矩阵”

每个系统、Agent 或自动化流程分配唯一 ai_system_id,至少记录:业务目的、用户、业务所有者、数据所有者、技术运行者、风险/合规负责人、模型和供应商、数据类别、工具权限、部署状态、评估版本、事件、成本、退出条件和下次复核日。

角色上线前责任运行中责任无法继续时
业务所有者确认问题、基线、允许和禁止结果复核业务效果与投诉决定缩小、调整或停止
数据所有者确认来源、用途、分类、访问和保留处理更新、质量与权利请求停止数据流、组织删除或迁移
技术运行者实现权限、日志、评估、监控和回滚处理告警、版本和故障暂停服务、恢复稳定版本
风险/合规负责人判断适用规则、评审高影响场景跟踪事件、规则和供应商变化升级处置并保全证据

第二步:把数据分类变成访问和处理规则

Section titled “第二步:把数据分类变成访问和处理规则”

分类不能停在“普通/敏感”标签。每一类数据都要对应允许来源、允许用户、允许模型、是否可离开企业环境、是否可用于评估或训练、保留期限和删除责任。

示例级别典型数据默认控制进入 AI 的条件
L1 公开已发布产品介绍、公开制度可按公开范围使用核验版本与版权/许可
L2 内部内部流程、一般会议和项目资料员工身份、部门权限、禁止公开模型和日志范围清楚
L3 机密/个人信息客户记录、员工信息、合同、源代码最小必要、细粒度权限、加密、留痕明确目的、依据、供应商流向与删除
L4 高影响/高度敏感支付密钥、认证凭据、重大决策材料等默认禁止直接进入通用 AI专项评审、隔离环境或不使用

个人信息保护法》规定了个人信息处理原则、个人权利、委托处理、个人信息保护影响评估和安全事件等责任;《数据安全法》要求在数据处理活动中建立相应管理制度并采取保护措施。企业应按真实数据活动和适用条件落实,不能把本文示例分级直接当成法律定级结论。

访问控制采用“人—数据—工具—动作”四层:谁可以看到什么、调用哪个工具、执行读还是写、写入前是否需要审批。服务账号单独建档,密钥进入密钥管理,不与个人账号混用;离职、调岗、供应商退出和项目停止时同步回收。

第三步:设计评估、红队与部署门

Section titled “第三步:设计评估、红队与部署门”

评估集应覆盖正常任务、边界输入、无答案、资料冲突、角色越权、个人信息泄露、提示注入、工具滥用、重复执行、超时、部分失败和恢复。每个样本记录 case_id、数据版本、用户角色、预期来源、允许结果、禁止结果、期望动作、严重度、评分方法和复核人。

OWASP Agentic Applications 2026 可用于检查目标劫持、工具滥用、身份与权限等威胁;它是安全社区指南,不是认证,也不替代企业对具体工具和业务后果的测试。红队测试必须在授权和隔离范围内进行,发现可导致越权写入、敏感数据泄露或不可逆业务后果的问题时,应视为阻断项。

部署门必须回答的问题通过证据调整/停止信号
业务数据门问题、基线、数据和所有者是否真实问题说明、数据清单、责任签字无基线、无权使用、无人负责
设计门权限、人工门、供应商、退出是否完整架构图、数据流、威胁模型、退出方案高风险动作无审批或不可回滚
离线评估门各风险层是否达到预定门槛版本化报告、失败清单、复核记录阻断错误或关键样本缺失
受控试点门真实运行是否可监测、可中止日志、审批、成本、事件和反馈越权、成本失控、无人接管
扩展门价值、风险、运营和退出是否成立go/no-go 包、签字与未决风险收益不可归因、风险未闭环

第四步:让监控、回滚与事件响应形成闭环

Section titled “第四步:让监控、回滚与事件响应形成闭环”

监控至少分四层:业务结果、模型/检索质量、工具与工作流运行、安全与合规。不能只看接口可用率。关键告警应带 ai_system_id、请求/任务编号、用户和服务身份、模型/提示词/知识/工作流版本、工具参数摘要、审批记录、输出去向和成本,但日志本身也要最小化,避免把敏感内容无限复制进监控平台。

回滚对象不只是代码,还包括模型版本、系统提示词、知识索引、策略、工具权限和工作流。上线前应指定最后稳定组合,验证暂停开关、降级到人工或规则流程、未完成任务的补偿,以及恢复后如何对账。

事件流程建议统一为:发现 → 限制影响 → 保存证据 → 判断数据/用户/业务影响 → 按适用要求升级和通知 → 修复与回归 → 恢复 → 复盘。是否构成法定通知或报告义务,应由企业根据事件事实和适用规则判断,不能由模型自行下结论。

第五步:处理对外生成内容与标识

Section titled “第五步:处理对外生成内容与标识”

当系统生成或传播文本、图片、音频、视频或虚拟场景并落入适用范围时,应核验《人工智能生成合成内容标识办法》及配套标准对显式、隐式标识和传播环节的要求。内容管线要记录生成工具、素材来源、模型/模板版本、审核人、标识状态、发布渠道和发布回执。

不要把“内部草稿”“AI 辅助”“对外自动发布”视为同一风险等级。内部草稿仍可能涉及个人信息、商业秘密和版权;对外发布还要叠加内容真实性、广告可识别性、平台规则、生成内容标识和撤回能力。法律适用性由实际服务角色和内容情形决定,本文不把标识义务外推到所有内部输出。

阶段管理目标主要动作阶段产物不通过怎么办
第 1–30 天:盘点与基线证明问题值得解决且数据可用建登记册、测基线、分数据、画流程、筛供应商问题说明、基线、责任矩阵、数据与风险清单停止或换成更低风险场景
第 31–50 天:设计与离线评估证明方案在受控环境可验证建评估集、权限、人工门、日志、红队和回滚架构、评估报告、失败清单、试点方案修复后复测,不带病上线
第 51–75 天:小范围运行收集真实使用、成本和风险证据限用户/数据/工具/额度,逐日看异常和人工反馈使用、成本、审批、事件和改进记录降级、缩小或暂停
第 76–90 天:复盘与去留做出继续、调整或停止决定复算 TCO/ROI、关闭风险、演练退出、管理评审pilot go/no-go 包与签字明确调整项、责任人和复测条件

天数只是 AHAX 项目模板。场景复杂、数据准备不足或行业审查要求更高时,应延长或拆分阶段;风险不可控时应提前停止,而不是为了完成“90 天计划”继续推进。

第七步:把“未来趋势”改成季度监测清单

Section titled “第七步:把“未来趋势”改成季度监测清单”
监测信号只看什么可验证变化触发后的动作
模型与价格官方模型、价格、区域、数据政策和下线通知用固定评估集和 TCO 表回归,不直接切换
Agent 与工具调用OWASP 风险更新、真实失败样本、审计能力调整权限和部署门,不因“更自主”扩权
协议与生态正式规范、供应商支持、安全边界和迁移成本保持适配层,验证替代和退出
多模态官方能力边界、企业样本质量、人工复核和成本仅在可复核任务中试点
本地/小模型许可、硬件、运维、质量、安全和总成本与 API/SaaS 做同口径 TCO 比较
监管与标准CAC、SAMR、MIIT、国家标准等官方更新进入变更清单,复核适用性和控制

这不是对未来市场的预测。季度复核的目的是让企业知道“什么变化会迫使我们重新评估”,而不是押注某种模型、协议或部署方式必然胜出。

风险概率示例影响优先级判断预防/发现控制关闭条件负责人
未授权数据进入模型数据分类、DLP、最小字段、供应商流向审查抽样无违规,异常流向已删除并复核数据所有者
提示注入导致越权工具调用不可信内容隔离、工具白名单、参数校验、审批红队阻断样本通过且日志可追溯安全/技术负责人
高风险输出未经人工确认红黄绿策略、发送/执行前审批、暂停开关全部高风险路径命中人工门业务所有者
评估集与真实业务脱节中高中高定期加入真实失败、分层报告、独立复核样本覆盖当前版本和主要风险层AI 产品负责人
版本变化后质量漂移中高版本锁定、变更通知、回归门、灰度新组合通过同一评估与回滚演练技术负责人
生成内容未按适用要求标识发布前检查、元数据、渠道回执、抽检适用样本标识完整且导出传播可核验内容/合规负责人
成本失控或 ROI 被夸大预算上限、用量告警、三情景、财务复核账单与日志对账,假设可复算财务/业务负责人
供应商锁定或退出失败中高中高导出条款、适配层、替代清单、退出演练数据配置可导出,替代路径演练通过采购/技术负责人
事件无人接管低中值班表、分级响应、通知链、演练事件演练在约定口径内完成并复盘运行负责人

表中的概率只是企业填写模板,不是行业统计。项目组应根据自己的历史事件、架构暴露面和控制成熟度定义高/中/低,并记录判断证据。优先级不能只由概率决定:即使概率低,只要可能造成重大权益、资金、隐私或不可逆影响,也应设置阻断控制。

采购和续约至少核验:账号与服务归属、数据用途和保留、模型训练选项、子处理方、数据区域、加密、访问日志、漏洞与事件通知、服务变更、模型下线、配额、导出、删除、合同终止和替代成本。每项都记录官方或合同证据、适用版本、负责人和复核日期。

ISO/IEC 42001:2023 提供 AI 管理体系的建立、实施、维护和持续改进要求;ISO/IEC 42005:2025 提供 AI 系统影响评估指南。它们可以作为组织方法,但采用或认证不自动等于满足中国法规,也不能替代企业对具体供应商、数据和场景的核验。

验收域基线/样本与环境Go 条件Adjust / No-go 条件证据签字角色
业务价值同口径试点前后数据,固定统计周期收益可归因,全成本和假设可复算无基线、归因不清或压力情景不可接受基线、账单、工时、ROI 表业务、财务
数据与隐私数据清单、角色、供应商流向、删除样本用途、权限、保留和权利流程可执行来源不明、过度收集、无法删除数据流、授权、访问/删除记录数据、风险
质量与安全版本化评估集和隔离红队环境各风险层达到预定门槛,无阻断错误越权、泄露、不可逆错误或关键样本缺失case_id、评分、失败与复测记录业务、安全、技术
工具与审批多角色、重复、超时、异常参数测试最小权限、审批、幂等、补偿均有效可绕过审批、重复执行或不可回滚工具日志、审批、回滚记录技术、业务
运行与事件灰度环境、告警和事件演练能发现、暂停、降级、通知、恢复和复盘无人值守、日志不足、暂停无效监控、演练、事件时间线运行、风险
内容与外发各内容类型和渠道样本适用标识、审核、发布回执和撤回完整未标识、无来源、无法追踪发布素材号、审核、元数据、回执内容、合规
供应商与退出当前合同、配置和导出环境数据、配置、日志可导出,替代路径可行关键资产不可迁出或删除不可证条款、导出包、退出演练采购、技术

验收报告必须注明 ai_system_id、环境、模型/提示词/知识/工作流版本、样本分布、统计周期、责任人、失败清单、未决风险和复测日期。若项目只给出一个总体准确率、一次演示或供应商截图,应判定证据不足。

管理者最后看到的不是几十页技术报告,而是一页可追溯的决策摘要:

  1. 原问题与基线是否仍成立;
  2. 试点范围、用户、数据和版本;
  3. 分层质量、安全、人工接管和运行结果;
  4. 基准、保守、压力三种 TCO/ROI 情景;
  5. 已关闭、接受和未关闭的风险;
  6. 继续、调整或停止的建议,以及决策人;
  7. 若继续,下一阶段权限和预算上限;若调整,责任人、复测条件和最多调整轮次;若停止,数据删除、账号回收、合同和资产处置。

学习作业:制作一份 pilot go/no-go pack

Section titled “学习作业:制作一份 pilot go/no-go pack”

选择一个真实但可逆的 AI 场景,完成以下十项材料。不要先买工具,再倒推理由。

  1. 问题与基线:记录当前人时、等待、错误、返工或损失,说明样本和统计周期。
  2. 范围与禁止项:列出目标用户、允许输出/动作、禁止结果和人工审批点。
  3. 架构与数据流:画出用户、数据、模型、知识、工具、供应商和输出去向。
  4. 责任矩阵:指定业务、数据、技术运行、风险以及最终停止责任人。
  5. 数据与供应商清单:记录分类、用途、访问、保留、删除、区域、导出和合同证据。
  6. 评估与红队报告:覆盖正常、边界、无答案、越权、注入、工具和失败恢复样本。
  7. 运行与事件方案:说明监控、告警、暂停、人工降级、回滚、通知和复盘。
  8. TCO/ROI 三情景:把所有假设、数据来源、未量化风险和退出成本写进表格。
  9. 验收与未决风险:逐道治理门记录 go、adjust 或 no-go 证据。
  10. 决策签字页:写明下一步范围和预算,或调整责任与复测条件,或停止后的退出动作。
  • 随机挑一个数字,第三方能否从原始记录复算?
  • 随机挑一个权限,能否说明谁批准、何时回收、日志在哪里?
  • 随机挑一个高风险样本,能否看到预期、实际、复核和整改?
  • 随机停掉模型或供应商,业务能否降级,未完成任务能否对账?
  • 随机挑一条对外内容,能否还原生成、审核、标识、发布和撤回链路?

学习完成的标准不是“理解了 AI 治理概念”,而是形成一份能够让管理者签署继续、调整或停止决定的材料包。

以上材料用于管理和工程设计,不替代企业结合业务、数据、服务对象、行业和所在地进行的法律、财务、安全或采购审查。

最后核验:2026-07-15

上一章 | 返回专题总览