AI治理

AI幻觉进了客户合同怎么办?企业AI风险的三层防控

2026年10月10日 彭志林 · 山海咨询创始人 6 分钟阅读

AI幻觉一旦进入合同与报价单,就变成具备外部效力的错误。本文给出按后果分层的风险防控表、高风险文本四步核验法,以及出事后的止损、还原、定责、改流程四步。

分享这篇文章

AI 幻觉进了客户合同怎么办?先说结论

AI 幻觉不是"说错一句话"这么轻,它一旦进入合同、报价单、合规文件,就成了有法律效力的错误。结论是:企业防幻觉不能只靠"提醒模型别乱说",必须做三层——输入层收紧、输出层校验、触达层留人。

AI 幻觉到底是什么,为什么合同场景最危险?

AI 幻觉指模型生成了看似合理但与事实不符的内容。它在闲聊场景只是尴尬,在合同场景是事故——因为合同、报价、资质、法律意见这类文本一旦发出就具备外部效力,撤回成本极高,且往往要等到履约阶段才被发现。

更麻烦的是它的形态:不是明显的胡言乱语,而是编造一个不存在的条款编号、引用一份没发布的标准、写错一个小数点。审稿人如果没有对照原文,肉眼几乎扫不出来。

企业 AI 风险该怎么分层?

按"后果不可逆程度"分三层,每层的防控强度不同。别用同一套标准管所有场景,那只会让低风险场景被拖死、高风险场景仍防不住。

风险层典型场景后果特征必需防控
低风险内部摘要、会议纪要、素材初稿内部可见,错了能改标注 AI 参与 + 使用者自检
中风险对外营销文案、客服话术、行业报告对外可见,影响品牌与信任事实点人工核对 + 留痕存档
高风险合同条款、报价单、合规文件、财务数据具备外部效力,撤回成本高强制人工复核签字 + 对照原文逐条核验 + 版本留档

人工复核放在哪一步才真正有效?

答案是放在"发出之前",并且要对照原文而不是通读一遍。通读式复核抓不住幻觉,因为幻觉句的语感和真话一模一样。有效做法是把 AI 输出拆成"事实点清单"——每一个数字、日期、条款编号、主体名称——逐条回查原始来源,查完打钩。

高风险文本的四步核验法
  • 拆:把输出里所有可验证的事实点单独摘出来(数字、日期、编号、主体、金额)。
  • 对:每个事实点回查权威原文,不看 AI 给的解释,只看原始出处。
  • 标:查到的标绿,查不到的直接删掉,不允许"大概是"。
  • 签:复核人具名签字并存档,与最终版本绑定,事后可追溯。

技术侧能做些什么来降低幻觉?

能做,但只能降不能消。三个手段性价比最高:检索增强(RAG)把答案限定在企业自己的知识库内、要求模型给出引用出处、对同一个问题做两次生成再比对。其中"要求给出出处"最便宜也最有效——模型说不出来源的内容,通常就该怀疑。

需要说清的是:这些手段把幻觉率降下来,但降不到零。所以技术侧是减少人工复核的工作量,不是取消人工复核。任何"用了 RAG 就可以不审"的说法,都是在给未来埋雷。

AI 真出事之后,企业要做哪些事后动作?

按顺序做四件事,缺一件都会让同类问题重演:

  • 止损:第一时间撤回或更正对外文本,通知所有已触达方,不要等对方发现。
  • 还原:调出当时的模型版本、输入内容、输出原文,确认是模型问题还是输入问题。
  • 定责:按既定问责机制找到复核环节的责任人,不是找人背锅,是找到流程断点。
  • 改流程:把这次的断点写进检查清单,让第二个人不会再踩同一个坑。

行业数据说明了这件事的普遍性。Gartner 曾预测到 2027 年将有超过 40% 的智能体项目被取消,原因多与预期落差和风险控制不足有关;MIT NANDA 的研究也指出约 95% 的生成式 AI 试点没有对利润表产生实质影响。差的不是模型,是防错机制。

结语

回到事物最根本的样子:AI 会自信地犯错,而且犯得很有说服力。企业唯一可靠的防线,是在它和客户之间留一个愿意较真的人。这人的成本,远比一次合同事故低。越山海,见未来。

常见问题

AI 幻觉能彻底消除吗?
以目前的技术不能彻底消除。检索增强、要求引用出处、双次生成比对等手段可以显著降低发生率,但无法归零。因此企业正确的做法是把技术当作降低人工复核工作量的工具,而不是替代人工复核的手段,高风险对外文本必须保留具名复核环节。
哪些 AI 输出场景必须保留人工复核?
具备外部效力的场景必须保留,包括合同条款、报价单、招投标响应、合规与法律文件、对外财务数据、涉及资质与认证的宣传内容。判断标准很直接:这份文本发出去之后,如果错了能不能低成本撤回?不能撤回的,就必须人工复核。
RAG 检索增强能解决幻觉问题吗?
能大幅缓解但不能根除。RAG 把答案限定在企业自身知识库范围内,减少了凭空编造,但模型仍可能错误归纳、张冠李戴或引用过期文档。配套要做的是要求模型标注引用出处,并定期清理知识库中的过期内容,否则检索到的原文本身就是错的。
员工用 AI 写的东西出错了,责任怎么算?
对外责任由企业承担,对内按问责机制追究。企业与员工之间的责任划分不改变对外的法律后果,所以关键是把复核责任固化到流程中,而不是出事后临时追责。建议在岗位说明中明确各岗位的 AI 使用边界与复核义务。
怎么向客户解释我们的内容经过 AI 处理?
主动说明比被动发现好。中国《人工智能生成合成内容标识办法》自 2025 年 9 月 1 日施行,要求生成合成内容可标识、可追溯。建议在高风险文件附注中说明 AI 参与的范围与人工复核情况,既符合监管要求,也能把客户预期管理在前面。

觉得有启发?

把这篇分享给正面对同样问题的伙伴

点击右上角 ···
分享给好友或朋友圈

正在唤起分享…