AI幻觉进了客户合同怎么办?企业AI风险的三层防控
AI幻觉一旦进入合同与报价单,就变成具备外部效力的错误。本文给出按后果分层的风险防控表、高风险文本四步核验法,以及出事后的止损、还原、定责、改流程四步。
AI 幻觉进了客户合同怎么办?先说结论
AI 幻觉不是"说错一句话"这么轻,它一旦进入合同、报价单、合规文件,就成了有法律效力的错误。结论是:企业防幻觉不能只靠"提醒模型别乱说",必须做三层——输入层收紧、输出层校验、触达层留人。
AI 幻觉到底是什么,为什么合同场景最危险?
AI 幻觉指模型生成了看似合理但与事实不符的内容。它在闲聊场景只是尴尬,在合同场景是事故——因为合同、报价、资质、法律意见这类文本一旦发出就具备外部效力,撤回成本极高,且往往要等到履约阶段才被发现。
更麻烦的是它的形态:不是明显的胡言乱语,而是编造一个不存在的条款编号、引用一份没发布的标准、写错一个小数点。审稿人如果没有对照原文,肉眼几乎扫不出来。
企业 AI 风险该怎么分层?
按"后果不可逆程度"分三层,每层的防控强度不同。别用同一套标准管所有场景,那只会让低风险场景被拖死、高风险场景仍防不住。
| 风险层 | 典型场景 | 后果特征 | 必需防控 |
|---|---|---|---|
| 低风险 | 内部摘要、会议纪要、素材初稿 | 内部可见,错了能改 | 标注 AI 参与 + 使用者自检 |
| 中风险 | 对外营销文案、客服话术、行业报告 | 对外可见,影响品牌与信任 | 事实点人工核对 + 留痕存档 |
| 高风险 | 合同条款、报价单、合规文件、财务数据 | 具备外部效力,撤回成本高 | 强制人工复核签字 + 对照原文逐条核验 + 版本留档 |
人工复核放在哪一步才真正有效?
答案是放在"发出之前",并且要对照原文而不是通读一遍。通读式复核抓不住幻觉,因为幻觉句的语感和真话一模一样。有效做法是把 AI 输出拆成"事实点清单"——每一个数字、日期、条款编号、主体名称——逐条回查原始来源,查完打钩。
- 拆:把输出里所有可验证的事实点单独摘出来(数字、日期、编号、主体、金额)。
- 对:每个事实点回查权威原文,不看 AI 给的解释,只看原始出处。
- 标:查到的标绿,查不到的直接删掉,不允许"大概是"。
- 签:复核人具名签字并存档,与最终版本绑定,事后可追溯。
技术侧能做些什么来降低幻觉?
能做,但只能降不能消。三个手段性价比最高:检索增强(RAG)把答案限定在企业自己的知识库内、要求模型给出引用出处、对同一个问题做两次生成再比对。其中"要求给出出处"最便宜也最有效——模型说不出来源的内容,通常就该怀疑。
需要说清的是:这些手段把幻觉率降下来,但降不到零。所以技术侧是减少人工复核的工作量,不是取消人工复核。任何"用了 RAG 就可以不审"的说法,都是在给未来埋雷。
AI 真出事之后,企业要做哪些事后动作?
按顺序做四件事,缺一件都会让同类问题重演:
- 止损:第一时间撤回或更正对外文本,通知所有已触达方,不要等对方发现。
- 还原:调出当时的模型版本、输入内容、输出原文,确认是模型问题还是输入问题。
- 定责:按既定问责机制找到复核环节的责任人,不是找人背锅,是找到流程断点。
- 改流程:把这次的断点写进检查清单,让第二个人不会再踩同一个坑。
行业数据说明了这件事的普遍性。Gartner 曾预测到 2027 年将有超过 40% 的智能体项目被取消,原因多与预期落差和风险控制不足有关;MIT NANDA 的研究也指出约 95% 的生成式 AI 试点没有对利润表产生实质影响。差的不是模型,是防错机制。
结语
回到事物最根本的样子:AI 会自信地犯错,而且犯得很有说服力。企业唯一可靠的防线,是在它和客户之间留一个愿意较真的人。这人的成本,远比一次合同事故低。越山海,见未来。