我们几乎每天都会听到关于更广泛地成功实施AI工具的故事。随着ChatGPT、Midjourney及其他模型向公众开放，越来越多的人开始在日常生活中依赖AI。

虽然机器学习算法很明显能够满足更具挑战性的需求，但它们还不够完美。AI频繁出现的幻觉问题阻碍它们成为人类最可靠的替代者。虽然对于普通用户来说，AI错误只是一笑了之的小故障，但对于业务流程来说，这种不可预测性可能导致各种后果，轻则失去客户信任，重则官司缠身。

一些国家已开始起草有关AI模型的法规，以提供使用和适用性方面的框架。不妨弄清楚神经网络为何、如何开始产生幻觉，以及如何尽量避免这个问题。

什么是AI幻觉?

虽然有时我们无法确定AI错误的原因，但幻觉通常来源于生成式系统创建文本的方式。AI在响应用户的查询时，根据一系列之前的数据给出一组可能的单词。一些单词跟在其他单词之后的可能性不是确保最后一句话准确的可靠方法。AI可以拼凑出听起来似乎合理但不一定准确的术语——在人类看来，这些术语可能看起来完全是无稽之谈。一个例子是向ChatGPT询问哪些国家有匹配和不匹配的结算市场。虽然它能够提供“连续净结算”(CNS)作为匹配结算系统的例子，但我对系统所在的国家(本例中是美国)感兴趣，提示在这里生成了错误的输出。

然而，有时检测AI幻觉可能来得比较棘手。虽然一些错误很明显，但其他错误比较微妙，可能不会被人注意到，当输出是自动处理的或者由在该领域专业知识有限的人处理时尤为如此。未被发现的AI问题可能会导致不可预见、不想要的后果。在拥有准确可靠信息至关重要的领域尤其如此。此外，一个提示越专门化，AI模型的准确性通常可能因缺乏它可能参阅的支持性补充材料而有所不同。上面的CNS例子就是一个典例;我无法通过谷歌搜索找到国家列表，希望ChatGPT可以提供一份整合的列表，但后者面临类似的障碍。

以下是因AI幻觉而出现的几类常见问题：

为什么LLM会产生幻觉?

AI幻觉是一个复杂的问题，用户和开发人员都不完全清楚其原因。以下是可能导致或促成幻觉的几个关键因素：

如何避免幻觉?

重要的是要记住，LLM就像“黑盒子”——就连数据科学家也无法完全遵循生成过程并预测输出。这就是为什么无法百分之百保护贵公司不受AI幻觉的影响。目前，使用AI模型的公司需要专注于预防、检测和尽量减少AI幻觉。以下是维护机器学习模型的几个技巧：

为了从一开始就避免这些不确定性和混乱，通过强调AI模型的可解读性和可解释性来规划模型的开发很重要。这意味着记录模型构建过程，为关键利益相关者确保透明度，并选择这样一种架构：尽管数据量和用户需求不断增长，仍易于解读和解释模型性能。这也将有助于满足监管要求，因为这个领域受到政府的严格审查。

如果你不使用AI模型来处理敏感信息，可以尝试运用搜索增强生成来减少幻觉的风险。AI将不再单单依赖现有的训练数据和来自用户的上下文，而是将在网上搜索相关信息。然而，这项技术还没有显示出非常可靠的结果。未经过滤的搜索结果有时就像AI模型幻觉一样不真实。

幻觉总是不好的吗?

在AI系统中，幻觉和创造力之间的关系似乎类似人类想象力的过程。人类常常通过让自己的思想游离于现实之外来构思出创意。

生成最具创新性和独创性结果的AI模型也往往有时生成并不基于事实真相的内容。一些专家认为，完全摆脱幻觉可能会损害创意内容的创作。

然而，重要的是要明白一点：这种类型的输出常常缺乏事实基础和逻辑思维，因而它们不适合基于事实的任务。

原文标题：How to Detect and Minimise Hallucinations in AI Models，作者：ParthSonara