OpenAI将减少AI“幻觉”的风险

OpenAI,人工智能(AI)研究公司,是 AI 善意聊天机器人 ChatGPT 的背后推手,正在寻找对抗 AI “幻觉”的方法。周三,OpenAI 宣布了他们正在研究一种方法,让训练 AI 模型提高 ChatGPT 的数学问题解决能力,防止传播错误信息。

根据 OpenAI 的说法,缓解幻觉是建立对齐 AGI 和解决推理问题的“关键步骤”。幻觉是指 AI 生成的意外结果,即 AI 训练数据似乎无法证明的响应。例如, ChatGPT 在回答用户的问题“达芬奇何时绘制了蒙娜丽莎?”时,出现了错误的幻觉,聊天机器人回答说蒙娜丽莎是在 1815 年创作的,而实际上蒙娜丽莎是在 1503 年至 1506 年之间绘制的。

另一个引起批评浪潮的案例发生在四月份, ChatGPT 指责美国刑事辩护律师和法学教授乔纳森·特利犯下性侵犯罪。此外,聊天机器人错误引用了一篇 2018 年的《华盛顿邮报》文章。这只是 AI 误导的众多例子之一。

为了减少幻觉风险, OpenAI 提出了一种新方法,即训练 AI 模型为每个正确的推理步骤奖励自己,而不是奖励正确的最终答案。这个原则被称为“过程监督”。

OpenAI 解释道:

“我们可以使用结果监督或过程监督来训练奖励模型以检测幻觉,结果监督是基于最终结果提供反馈,过程监督是为推理链中的每个单独步骤提供反馈。”

在研究中,该公司比较了两个过程,并发现过程监督往往是一个更强大的工具,并且导致显着更好的性能。

该公司表示:

“过程监督比结果监督具有几个对齐优势。它直接奖励模型遵循对齐的思维链,因为该过程中的每个步骤都接受精确的监督。过程监督还更有可能产生可解释的推理,因为它鼓励模型遵循人类批准的过程。相比之下,结果监督可能会奖励不对齐的过程,而且通常更难以审查。”

OpenAI 警告用户不要盲目相信 ChatGPT,称“ ChatGPT 可能会产生关于人物、地点或事实的不准确信息”。其网站上写道:

“当用户注册使用该工具时,我们努力尽可能透明,让用户知道 ChatGPT 可能不总是准确的。然而,我们认识到还有更多的工作要做,以进一步减少幻觉的可能性,并教育公众关于这些 AI 工具的当前限制。”

除了研究论文外, OpenAI 还发布了一个包含 800,000 个人类标签的数据集,用于训练所描述的监督模型。然而,目前尚不清楚该论文是否经过同行评审,它目前只能被视为初步研究。

We will continue to update 算娘; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

区块链

韩国警方逮捕312人,打击基于加密货币的毒品交易行动

韩国警方正在加大对基于加密货币的贩毒行为的打击力度,并在一次大规模缉毒行动中逮捕了312人

资讯

韓國加密交易所報告被標記交易增加,監管努力加劇 😱💰

在2023年,一家韩国加密货币交易所的交易数量大幅增加,向当地当局报告了超过16,000笔交易这表明相比以往,交易所有了长足的...

比特币

韩国分析师预测比特币价格持续上涨

一位韩国加密分析师指出,随着韩国逐步迎来加密货币热潮,比特币价格持续上涨的趋势可能会持续

资讯

百事可乐和可口可乐宣布合并,创造亚洲最大的Web3生态系统🐉

令人振奋的消息!Klaytn和Finschia基金会正式宣布他们计划成功合并他们的区块链此举将带来一个全新的基金会和强大的加密货币...

区块链

人类智能(Anthropic AI)从韩国筹集1亿美元,以加强电信行业

Anthropic的联合创始人Dario Amodei表示,他认为行业特定的LLMs是创建“更安全、更可靠”人工智能技术应用的一种方式

NFT

Yuga Labs 为 NFT 市场中的创作者版税站出来

五月,韩国金融监督服务(FSS)将与美国主席加里·根斯勒举行会谈,探讨非同质化代币(NFTs)的潜力,为两国提供宝贵的洞察和合作机会