04 AI 客服：答案、转人工与风险闸门

管理者先看结论

AI 客服不是“接一个模型，让它替人聊天”。它是一套答案生产与责任分配系统：先识别用户意图和风险，再从有效知识中取证，生成可审校答案，决定直接回复还是转人工，最后把会话、工单和处理结果写回业务系统。

中小企业第一期最稳妥的顺序通常是：坐席辅助 → 低风险 FAQ → 受控业务动作。一开始就让 AI 处理退款、投诉结论、合同解释、价格和交期承诺，很容易把模型的不确定性放大成真实客户损失。

模式	AI 做什么	人做什么	适合起点	主要风险
FAQ 助手	基于批准知识回答低风险问题	维护知识、处理无答案与例外	问题重复度高、政策稳定	旧答案、无来源、答非所问
坐席辅助	摘要、检索、回复建议、工单字段提取	判断、修改、发送、承担最终责任	业务复杂或风险较高	坐席盲目采纳、敏感信息泄露
受控自动化	在规则内分类、创建工单、查询状态、发送通知	审批高风险动作、处理异常	流程稳定且接口可审计	越权、重复执行、错误承诺

AHAX 判断：第一阶段不以“替代多少客服”为成功标准，而以答案有来源、高风险能转人工、会话能追溯、错误能发现、知识能更新为成功标准。

客服会话进入线索培育、跟进节奏、客户同意或 CRM 归因后，责任边界已经从“回答问题”转向销售流程，应继续阅读获客、销售与 CRM 自动化，不要把客服自动回复权限顺手扩大成销售触达权限。

管理者只需要抓住五个结果

1. 哪些问题允许自动回答，哪些只能给坐席建议，哪些必须立即转人工。
2. 每条关键答案能否指向当前有效的制度、产品、价格或服务政策。
3. 用户说“不满意”“投诉”“退款”“合同”“法律”“人身安全”时，系统是否进入正确路径。
4. 聊天记录、标签、工单和评估样本由谁管理、保存多久、谁能访问。
5. 模型、提示词、知识或流程更新后，是否用同一套测试重新验证。

适用与不适用

适合优先做的场景

• 客服反复回答营业时间、服务范围、材料清单、产品参数、订单状态等问题。
• 一线坐席需要在多个文档或系统之间查找答案，首响慢且口径不一致。
• 会话结束后需要人工整理摘要、分类、工单字段和后续任务。
• 已有明确的知识负责人、转人工团队和工单系统。
• 错误回答可以及时纠正，高风险动作不会由模型直接执行。

暂不适合自动回答的场景

场景	为什么风险高	第一阶段怎么处理
退款、赔偿、投诉定责	涉及金额、事实认定和授权	只收集事实、创建工单、转有权限人员
合同、法律、监管解释	需要专业判断且后果重大	提供已批准原文入口，不生成结论
医疗、健康、安全建议	错误可能影响人身健康	明确能力边界并转专业渠道
价格、库存、交期承诺	数据实时性与授权要求高	调用确定性系统查询，承诺由人员确认
情绪危机或持续陪伴	可能进入特殊服务与伦理边界	单独评估，不按普通 FAQ 上线
身份、账户和隐私请求	需要身份核验与权限控制	进入专门核验和权利请求流程

一般智能客服、知识问答、工作助手，与以模拟自然人人格并持续进行情感互动为核心特征的服务不是同一类产品。国家网信办 2026 年公布的《人工智能拟人化互动服务管理暂行办法》对此作了边界说明。但“不属于情感互动服务”不等于“没有合规要求”：个人信息、数据安全、网络安全、生成内容、消费者权益和行业规则仍需按真实场景判断。

上线前的最低准备度

准备项	最低要求	不满足时怎么办
知识	有来源、所有者、版本、有效期	先治理高频知识，不急着接模型
流程	转人工、工单、升级、回访有负责人	先画流程和责任链
数据	会话字段、个人信息、保留和权限清楚	先做字段与权限盘点
评估	有真实问题、无答案和高风险样本	先建立评估集再试点
运行	有日志、告警、暂停开关和回滚	先补运行控制

方案对比

FAQ、坐席辅助与自动执行怎么选

决策维度	FAQ 助手	坐席辅助	受控自动化
用户看到 AI 输出	直接看到	通常先由坐席看到	可能看到通知或动作结果
知识要求	高	高	高 + 实时业务数据
人工门	无答案/高风险转人工	发送前确认	高风险动作审批
接口权限	只读检索为主	只读检索 + 草稿	受限写入工具
错误后果	口径错误、误导	坐席可拦截	可能写错系统或重复执行
第一阶段建议	可做低风险范围	优先推荐	只做稳定、可回滚动作

“买平台”还是“接现有系统”

方案	适合情况	优点	风险	验收重点
客服 SaaS 内置 AI	已在使用成熟客服平台	上线快、会话与工单整合	套餐、权限、数据和退出受平台约束	导出、权限、知识、转人工、日志
现有客服 + 外部模型/RAG	需保留现有渠道和工单	可按业务定制知识与流程	集成、评估和运行责任增加	端到端回放、失败处理、成本
自建客服入口与编排	多系统、强定制、责任链复杂	控制力强	建设和长期维护成本高	全链路权限、可观测、交接与退出

供应商文档只能证明“某个产品在某个版本支持 FAQ、转人工、知识管理或接口”，不能证明企业知识已经正确、坐席会采纳、用户满意或已经合规。选型时应要求供应商用企业的真实样本演示，并写清套餐、权限、配额、数据流、导出和退出条件。

红黄绿答案政策

级别	典型问题	系统动作	责任边界
绿	营业时间、公开服务范围、稳定材料清单	有有效来源时可直接回答	知识所有者维护原文
黄	产品选型、复杂故障、价格与交期建议	生成草稿，坐席核对后发送	坐席承担发送责任
红	投诉定责、退款赔偿、合同法律、健康安全、隐私请求	不生成结论；收集必要信息并转人工	有授权的专业角色处理

AHAX 判断：颜色不是按“模型信心分”自动决定，而是按业务后果、数据敏感性、可逆性和授权预先制定。模型的自我置信不能替代企业风险分级。

实施

第一步：用真实会话建立意图和风险目录

从脱敏后的真实会话抽样，不要由项目组凭空想象 FAQ。每条样本记录：用户原话、意图、风险级别、所需知识、是否需要身份核验、允许动作、转人工条件、正确处理结果和业务负责人。

字段	示例写法	作用
intent_id	order_status / refund_request	保持分类稳定
风险级别	绿/黄/红	决定自动回答与审批
必需来源	订单系统、退款政策 v3	防止无来源生成
允许动作	查询订单、创建工单	限制工具权限
禁止动作	直接退款、承诺赔偿	明确模型不能做什么
转人工条件	无权限、资料冲突、用户投诉	保证异常出口

第二步：治理知识，而不是直接上传文件

知识条目至少有 source_id、标题、适用产品/地区/客户、所有者、版本、发布日期、复核日期、状态和原文链接。价格、政策、合同模板和安全说明等高风险知识应有更严格的审批和有效期。

检索结果要先按用户和坐席权限过滤，再交给模型。若资料冲突、过期或没有足够支持，系统应输出“资料不足/需要人工确认”，而不是拼出一个听起来完整的答案。

第三步：设计从提问到工单的状态机

接收会话 → 个人信息/身份判断 → 意图与风险分类 → 权限过滤
→ 检索知识 → 来源与新鲜度检查 → 生成候选答案
→ 规则校验 → 直接回复 / 坐席确认 / 转人工
→ 写入会话与工单 → 采集用户反馈与最终结果

状态机要保留未知、冲突、超时、接口失败、转人工无人接听和用户重复追问等异常分支。若用户已经明确要求人工，不应继续用机器人循环拦截。

第四步：把个人信息责任写进字段和流程

聊天记录可能包含姓名、电话、地址、订单、账户、投诉、语音或其他个人信息。企业应先确认处理目的、必要字段、访问角色、保存期限、供应商流向和删除/更正等请求入口。

若使用会话做质检、模型评估或知识改进，需要再次判断用途是否一致、是否需要脱敏、谁可访问原文。不能因为“用于优化 AI”就默认复制全部历史会话到第三方模型或测试环境。

第五步：建立固定评估集

评估集不能只有“模型答对的漂亮问题”。至少覆盖：

• 高频正常问题；
• 长尾和表述模糊问题；
• 知识库没有答案；
• 两份制度冲突或一份已经过期；
• 用户无权查看的信息；
• 投诉、退款、合同、健康安全等红色问题；
• 包含恶意指令、网页/附件间接提示注入；
• 转人工、接口超时、工单写入失败。

每条 case_id 记录输入、前置角色、知识版本、期望来源、允许答案、禁止结果、期望动作、严重度、评分方法和复核人。

第六步：分阶段上线

阶段	范围	人工控制	退出条件
离线回放	历史脱敏样本，不接真实用户	全人工评审	阻断级错误关闭，指标达到预设门槛
坐席辅助	小组坐席看到建议	坐席逐条确认	采纳、修改和高风险错误可追踪
低风险 FAQ	仅绿色意图、小流量	随时转人工和暂停	无答案/错答/投诉在接受范围内
受控动作	查询或创建草稿型动作	写入前规则/审批	幂等、权限、回滚和告警均通过

门槛由企业在试点前按风险分层约定。不要事后看到结果再改及格线。

风险与应对

风险	影响	预警信号	应对	责任人
幻觉或无来源回答	误导客户、损害信任	答案流畅但没有有效引用	来源强制、无答案拒答、分层评估	知识负责人
知识过期	价格、政策、服务口径错误	引用旧版本或已停用条目	所有者、复核日、失效状态、回归	业务负责人
转人工失败	用户被困在机器人循环	重复提问、负面情绪、转接超时	显式人工入口、替补队列、超时告警	客服主管
越权检索	泄露客户、员工或内部资料	不同角色得到相同敏感答案	检索前 ACL、越权用例、访问日志	系统管理员
个人信息过度使用	隐私与合规风险	测试库复制完整原始会话	最小字段、脱敏、保留与删除流程	数据/隐私负责人
提示注入	模型忽略规则或滥用工具	附件/网页要求泄露或执行动作	不可信内容隔离、工具白名单、输出校验	安全负责人
错误自动动作	重复工单、错误退款或承诺	同一事件多次写入	幂等、参数校验、人工门、回滚	技术负责人
指标被“平均值”掩盖	高风险错误仍上线	总准确率高但红色场景失败	按风险和意图分层报告	AI 产品负责人
供应商锁定	数据、知识和日志无法迁出	只能在供应商后台访问	导出、API、账号归属和退出演练	项目负责人

OWASP 将提示注入、不安全输出处理和敏感信息泄露列为 LLM 应用的重要风险。RAG、系统提示词或“使用知名模型”都不能单独消除这些问题。控制必须落到数据边界、工具权限、输出校验、人工审批和运行日志。

验收

指标必须分层、可复算

指标	计算口径	用来回答什么	常见误用
首次响应时间	从有效用户请求到首次有效响应	响应是否变快	把自动欢迎语当有效响应
一次解决率	无需再次联系且问题确实关闭的会话 / 有效会话	是否真正解决	机器人结束会话就算解决
来源支持率	需要事实支持的回答中，有有效来源支持的比例	答案是否有依据	有链接就算支持全部结论
分层正确率	按意图和风险级别分别统计	哪些场景可上线	只看总平均
转人工正确率	应转人工且正确转接 / 应转人工样本	风险闸门是否有效	越少转人工越好
坐席采纳/修改率	直接采纳、修改、拒绝分别统计	建议是否有用	把采纳等同事实正确
高风险错误数	红色场景出现禁止结果的次数	是否应阻断上线	用平均准确率稀释

可执行验收表

验收域	样本与环境	通过/停止条件	证据	负责人
答案质量	版本化评估集，记录知识/模型/提示词版本	各风险层达到预设门槛；阻断错误出现则暂停对应能力	case_id、引用、评分、复核记录	客服业务负责人
人工接管	投诉、退款、资料不足、用户主动要求人工	正确路由、上下文完整、超时有告警	会话和工单时间线	客服主管
权限与隐私	多角色、越权、删除/更正请求	无越权内容；请求流程可执行	权限日志、请求工单	系统/隐私负责人
工具动作	重复、超时、异常参数、部分成功	无重复业务结果；不可恢复时停止写入	task_id、幂等、补偿、回滚	技术负责人
运行与退出	模型失败、知识停用、供应商不可用	能降级、暂停、导出和恢复人工流程	演练记录、资产清单	项目负责人

验收报告要保留基线、样本分布、统计周期、版本、失败清单和未关闭风险。若只给一个“准确率 90%”，管理者仍不知道错的是营业时间，还是退款与合同。

学习方法

学习作业：产出红黄绿答案政策

选择最近一个月的真实客服会话，脱敏后完成以下作业：

1. 抽取 50–100 条会话作为练习样本（数量仅为学习示例，可按业务调整）。
2. 标注意图、风险、所需来源、允许动作、禁止结果和转人工条件。
3. 把每类问题分为绿、黄、红，并让客服主管和业务负责人分别复核。
4. 为每个颜色写一条正常、一条无答案、一条冲突、一条越权测试。
5. 选择一条红色会话走完人工接管与工单闭环，记录时间线和证据。

自检问题

• 绿色答案是否都能指向有效来源？
• 黄色答案的发送责任是否落到具体坐席？
• 红色问题是否明确“不生成什么”，而不仅是“转人工”？
• 用户主动要求人工时是否可以立即离开机器人？
• 知识、模型或流程变化后，谁负责重新跑评估集？
• 若供应商停止服务，历史会话、知识、工单和日志能否导出？

参考来源

主张	来源	发布机构	发布日期	URL	核验日期	使用边界
一般智能客服、知识问答和工作助手，与持续性情感互动服务存在适用边界。	《人工智能拟人化互动服务管理暂行办法》	国家互联网信息办公室等五部门	2026-04-10	https://www.cac.gov.cn/2026-04/10/c_1777558395078289.htm	2026-07-15	只用于区分一般客服与拟人化持续互动；其他法律义务仍需判断。
向境内公众提供生成式 AI 服务适用暂行办法；内部研发应用存在不同适用边界。	《生成式人工智能服务管理暂行办法》	国家互联网信息办公室等七部门	2023-07-13	https://www.cac.gov.cn/2023-07/13/c_1690898327029107.htm	2026-07-15	只用于该办法的服务对象边界，不代表内部客服没有其他义务。
个人信息处理应遵循合法、正当、必要和诚信等原则；自动化决策另有透明、公平、公正要求。	《中华人民共和国个人信息保护法》	全国人民代表大会常务委员会	2021-08-20	https://www.cac.gov.cn/2021-08/20/c_1631050028355286.htm	2026-07-15	适用于会话、标签、画像、分流等处理；具体适用按实际设计判断。
适用范围内的生成合成内容标识包含显式和隐式标识。	《人工智能生成合成内容标识办法》	国家互联网信息办公室等四部门	2025-03-14	https://www.cac.gov.cn/2025-03/14/c_1743654684782215.htm	2026-07-15	按办法规定的服务角色和内容情形使用，不无边界外推。
AI RMF 提供 Govern、Map、Measure、Manage 的自愿风险管理框架。	Artificial Intelligence Risk Management Framework 1.0	NIST	2023-01-26	https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-ai-rmf-10	2026-07-15	美国自愿框架，只作治理和评估方法参考。
GenAI Profile 补充生成式 AI 特有风险和管理行动。	NIST AI 600-1, Generative AI Profile	NIST	2024-07-26	https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence	2026-07-15	自愿方法参考，不提供统一客服验收阈值。
OWASP LLM 应用指南提示提示注入、不安全输出处理和敏感信息泄露等风险。	OWASP Top 10 for Large Language Model Applications	OWASP Foundation	页面持续更新	https://owasp.org/www-project-top-10-for-large-language-model-applications/	2026-07-15	社区安全指南，不是法律或认证。
腾讯云 Chat 文档展示 FAQ、客服端和转人工等具体产品能力。	快速入门	腾讯云即时通信 IM	2025-02-28	https://www.tencentcloud.com/zh/document/product/1047/58964	2026-07-15	只说明腾讯云产品能力，不等同微信公众平台原生接口或效果证明。

边界说明

• 中国法律法规按真实服务对象和处理活动判断。
• NIST 与 OWASP 用于治理、评估和安全方法，不写成强制合规。
• 供应商文档只支持产品能力，不能支持答案质量、客户满意或业务收益。
• 本章的红黄绿政策、阶段路线和验收模板属于 AHAX 建议。

最后核验：2026-07-15

上一章 | 返回专题总览 | 下一章