1. 模型幻觉
核心定义
模型幻觉(Hallucination)是指大模型生成看似合理、表达流畅,但与事实、上下文或可验证来源不一致的内容。
1.1 常见成因
| 成因 | 说明 |
|---|---|
| 训练数据缺口 | 模型没有足够可靠的事实依据,只能基于概率补全 |
| 提示词约束不足 | 问题边界、输出格式、事实来源没有被明确限定 |
| 上下文污染 | 检索片段、历史消息或工具结果中混入错误信息 |
| 目标函数错位 | 模型更倾向于给出完整回答,而不是承认不确定 |
1.2 工程治理
关键原则
幻觉不能只靠”提醒模型不要编造”来解决,需要把事实源、证据链和失败处理写进系统设计。
- 在输入层面:使用明确的事实来源、约束条件和输出格式。
- 在检索层面:通过 RAG、引用溯源和重排序提升上下文质量。
- 在输出层面:要求模型标注不确定性,并在证据不足时拒绝结论。
- 在验证层面:对高风险输出接入规则校验、工具校验或人工复核。
1.3 相关内容
- 提示词工程:从提示词层面收紧输出边界。
- 上下文工程:从信息来源层面对抗幻觉。
- AI 时代,Vibe Coding 的哲学:从 AI-DLC 视角理解概率智能的交付边界。