ChatGPT 和 Bing Chat 为何擅长捏造故事？

黑神话悟空

法学教授 Jonathan Turley 发现自己被 ChatGPT 列入了性骚扰名单，澳大利亚一位市长发现 ChatGPT 声称他有贿赂罪被判处监禁，为什么 AI 聊天机器人 ChatGPT 和 Bing Chat 擅长捏造故事？AI 研究人员通常将此类错误称为“幻觉（hallucinations）”，一部分人认为这个形容词太拟人化了，暗示了它们能自己做决定。商业大语言模型的创造者可能会以此为借口将错误输出归罪于模型本身而不是他们自己。“虚构”可能是更恰当的比喻。在人类心理学中，记忆出现空白，在无意欺骗他人时大脑会虚构出空白部分。ChatGPT 与人脑的工作原理不同，但虚构是更合适的比喻。ChatGPT 事实上已经比它的前辈能更有效的抑制虚构了。这种虚构能力与大语言模型的工作方式相关。ChatGPT 等模型是根据统计概率挑选出一个适合上下文的词，当它寻找其数据集中不存在的信息时，它会用看似合理的词贴补空白。它是使用海量的数据集训练的，编造虚构故事对其而言就是信手拈来，它还能根据上下文让虚构的故事看起来逼真。AI 研究人员使用名叫 temperature（温度）的属性去控制模型的这种胡编乱造的“创造性”。如果它的值设置过低的话准确度会提高但会变得不太有趣。平衡创造性和准确度是微调 ChatGPT 之类模型的一大挑战。AI 公司 Hugging Face 的首席伦理科学家 Margaret Mitchel 说，ChatGPT 不是构建去实事求是，因此也不会实事求是。就是这么简单。

黑神话悟空

通过人类的资料成长，也学会了狡辩

羚芈

鉴于读起来有点奇怪，找到原文尝试重新翻译一下。

• In academic literature, AI researchers often call these mistakes "hallucinations." But that label has grown controversial as the topic becomes mainstream because some people feel it anthropomorphizes AI models (suggesting they have human-like features) or gives them agency (suggesting they can make their own choices) in situations where that should not be implied. The creators of commercial LLMs may also use hallucinations as an excuse to blame the AI model for faulty outputs instead of taking responsibility for the outputs themselves.
  

在学术文献中，AI 研究员通常称这类错误是“向壁虚造”。但随着人工智能的话题成为主流，这样的标签备受争议，一些人认为它赋予了 AI 人性化的特点，或者给予了它们自行决定的权利，而这些权限本不该为 AI 所拥有。商业性大型语言模型的建立者也同样用杜撰来责难 AI 模型生成错误的内容，自己也得以开脱。

• Still, generative AI is so new that we need metaphors borrowed from existing ideas to explain these highly technical concepts to the broader public. In this vein, we feel the term "confabulation," although similarly imperfect, is a better metaphor than "hallucination." In human psychology, a "confabulation" occurs when someone's memory has a gap and the brain convincingly fills in the rest without intending to deceive others. ChatGPT does not work like the human brain, but the term "confabulation" arguably serves as a better metaphor because there's a creative gap-filling principle at work, as we'll explore below.
  

目前，生成式 AI 的出现为时不久，我们需要现存于理念的隐喻来阐释这些高技术概念，以更好推广。基于此，我们认为，“无稽之谈”（confabulation）虽与“向壁虚造”类似，也并非完美，但仍好于后者。人类心理学认为，记忆若出现空缺，大脑便自信地为其填充内容，尽管无意地欺骗别人，但也做出了无稽之谈。正如我们紧接着要研究的那样，由于在 ChatGPT 运行时也会存在有意义地填补空缺原则，所以尽管它的运行并不类似大脑，但“无稽之谈”有理由是更好的比喻。

• Whether the GPT model makes a wild guess or not is based on a property that AI researchers call "temperature," which is often characterized as a "creativity" setting. If the creativity is set high, the model will guess wildly; if it's set low, it will spit out data deterministically based on its data set.
  

AI 研究员使用“温和度”一词来表示创造性这一属性，来判断 GTP 模型是否在肆意猜测。创造性设置得强，模型就会胡猜乱想；设置得低，输出的信息就完全由设定的数据决定。

• "It was not built to be factual and thus will not be factual. It's as simple as that."
  

建造 AI 并不是为了实事求是，因此也没产出求实的内容。原因就这么简单。

注：

• hallucination 有妄想，毫无事实根据的想法之义，结合上下文往这方面措辞也比较合适。confabulation 同样是虚构，但是无意识的，并非有意的，所以选择了相对客观的“无稽之谈”，和向壁虚构、杜撰、臆造等一样都是没有根据地捏造，但后二者的动作性较强，意识性也相对强一点，由此做出区分。
  
• 温和度似乎比温度好。温和度对应AI 胡编乱造的狂野性（wildly），温度更倾向冷热程度这种外在客观。
  

综上，二手信息果然难以准确还原一手的内容，语言壁垒也不经意地让翻译损耗了部分原意。