1. 模型幻觉

核心定义

模型幻觉(Hallucination)是指大模型生成看似合理、表达流畅,但与事实、上下文或可验证来源不一致的内容。

1.1 常见成因

成因说明
训练数据缺口模型没有足够可靠的事实依据,只能基于概率补全
提示词约束不足问题边界、输出格式、事实来源没有被明确限定
上下文污染检索片段、历史消息或工具结果中混入错误信息
目标函数错位模型更倾向于给出完整回答,而不是承认不确定

1.2 工程治理

关键原则

幻觉不能只靠”提醒模型不要编造”来解决,需要把事实源、证据链和失败处理写进系统设计。

  • 在输入层面:使用明确的事实来源、约束条件和输出格式。
  • 在检索层面:通过 RAG、引用溯源和重排序提升上下文质量。
  • 在输出层面:要求模型标注不确定性,并在证据不足时拒绝结论。
  • 在验证层面:对高风险输出接入规则校验、工具校验或人工复核。

1.3 相关内容