OpenAI将减少AI“幻觉”的风险
OpenAI，人工智能（AI）研究公司，是 AI 善意聊天机器人 ChatGPT 的背后推手，正在寻找对抗 AI “幻觉”的方法。周三，OpenAI 宣布了他们正在研究一种方法，让训练 AI 模型提高 ChatGPT 的数学问题解决能力，防止传播错误信息。
根据 OpenAI 的说法，缓解幻觉是建立对齐 AGI 和解决推理问题的“关键步骤”。幻觉是指 AI 生成的意外结果，即 AI 训练数据似乎无法证明的响应。例如， ChatGPT 在回答用户的问题“达芬奇何时绘制了蒙娜丽莎？”时，出现了错误的幻觉，聊天机器人回答说蒙娜丽莎是在 1815 年创作的，而实际上蒙娜丽莎是在 1503 年至 1506 年之间绘制的。
另一个引起批评浪潮的案例发生在四月份， ChatGPT 指责美国刑事辩护律师和法学教授乔纳森·特利犯下性侵犯罪。此外，聊天机器人错误引用了一篇 2018 年的《华盛顿邮报》文章。这只是 AI 误导的众多例子之一。
为了减少幻觉风险， OpenAI 提出了一种新方法，即训练 AI 模型为每个正确的推理步骤奖励自己，而不是奖励正确的最终答案。这个原则被称为“过程监督”。
OpenAI 解释道：
“我们可以使用结果监督或过程监督来训练奖励模型以检测幻觉，结果监督是基于最终结果提供反馈，过程监督是为推理链中的每个单独步骤提供反馈。”
在研究中，该公司比较了两个过程，并发现过程监督往往是一个更强大的工具，并且导致显着更好的性能。
该公司表示：
“过程监督比结果监督具有几个对齐优势。它直接奖励模型遵循对齐的思维链，因为该过程中的每个步骤都接受精确的监督。过程监督还更有可能产生可解释的推理，因为它鼓励模型遵循人类批准的过程。相比之下，结果监督可能会奖励不对齐的过程，而且通常更难以审查。”
OpenAI 警告用户不要盲目相信 ChatGPT，称“ ChatGPT 可能会产生关于人物、地点或事实的不准确信息”。其网站上写道：
“当用户注册使用该工具时，我们努力尽可能透明，让用户知道 ChatGPT 可能不总是准确的。然而，我们认识到还有更多的工作要做，以进一步减少幻觉的可能性，并教育公众关于这些 AI 工具的当前限制。”
除了研究论文外， OpenAI 还发布了一个包含 800,000 个人类标签的数据集，用于训练所描述的监督模型。然而，目前尚不清楚该论文是否经过同行评审，它目前只能被视为初步研究。
We will continue to update 算娘; if you have any questions or suggestions, please contact us!
Was this article helpful?
93 out of 132 found this helpful
Related articles
