OpenAI将减少AI“幻觉”的风险

OpenAI,人工智能(AI)研究公司,是 AI 善意聊天机器人 ChatGPT 的背后推手,正在寻找对抗 AI “幻觉”的方法。周三,OpenAI 宣布了他们正在研究一种方法,让训练 AI 模型提高 ChatGPT 的数学问题解决能力,防止传播错误信息。

根据 OpenAI 的说法,缓解幻觉是建立对齐 AGI 和解决推理问题的“关键步骤”。幻觉是指 AI 生成的意外结果,即 AI 训练数据似乎无法证明的响应。例如, ChatGPT 在回答用户的问题“达芬奇何时绘制了蒙娜丽莎?”时,出现了错误的幻觉,聊天机器人回答说蒙娜丽莎是在 1815 年创作的,而实际上蒙娜丽莎是在 1503 年至 1506 年之间绘制的。

另一个引起批评浪潮的案例发生在四月份, ChatGPT 指责美国刑事辩护律师和法学教授乔纳森·特利犯下性侵犯罪。此外,聊天机器人错误引用了一篇 2018 年的《华盛顿邮报》文章。这只是 AI 误导的众多例子之一。

为了减少幻觉风险, OpenAI 提出了一种新方法,即训练 AI 模型为每个正确的推理步骤奖励自己,而不是奖励正确的最终答案。这个原则被称为“过程监督”。

OpenAI 解释道:

“我们可以使用结果监督或过程监督来训练奖励模型以检测幻觉,结果监督是基于最终结果提供反馈,过程监督是为推理链中的每个单独步骤提供反馈。”

在研究中,该公司比较了两个过程,并发现过程监督往往是一个更强大的工具,并且导致显着更好的性能。

该公司表示:

“过程监督比结果监督具有几个对齐优势。它直接奖励模型遵循对齐的思维链,因为该过程中的每个步骤都接受精确的监督。过程监督还更有可能产生可解释的推理,因为它鼓励模型遵循人类批准的过程。相比之下,结果监督可能会奖励不对齐的过程,而且通常更难以审查。”

OpenAI 警告用户不要盲目相信 ChatGPT,称“ ChatGPT 可能会产生关于人物、地点或事实的不准确信息”。其网站上写道:

“当用户注册使用该工具时,我们努力尽可能透明,让用户知道 ChatGPT 可能不总是准确的。然而,我们认识到还有更多的工作要做,以进一步减少幻觉的可能性,并教育公众关于这些 AI 工具的当前限制。”

除了研究论文外, OpenAI 还发布了一个包含 800,000 个人类标签的数据集,用于训练所描述的监督模型。然而,目前尚不清楚该论文是否经过同行评审,它目前只能被视为初步研究。

We will continue to update 算娘; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

区块链

“Celsius”破产接近尾声,债权人批准重组计划

在破产申诉中,大多数类别的投票结果超过98%,赞成重组

区块链

Celsius起诉StakeHound未能归还价值1.5亿美元的代币

StakeHound拥有55,000个以太币、5,000万个MATIC和66,000个DOT,Celsius想要收回这些资产

区块链

“波场创始人孙宇晨考虑购买FTX的持有代币以缓解市场的卖压影响”

创始人孙宇晨正在考虑竞标FTX持有的资产,以减少出售可能对市场造成的影响,同时他旨在推动该行业的增长

区块链

FTX起诉Dan Friedberg,指控其使用“封口费”来压制举报者的声音

FTX已对前首席监管官丹·弗里德伯格提起诉讼,指控他支付了威胁揭露交易所的“真正欺诈本质”的举报人

资讯

FTX获得法院批准,清算价值7.44亿美元的Grayscale信托资产

破产的加密货币交易所FTX刚刚获得破产法院批准,可以出售由Grayscale管理的数字信托基金的股权

区块链

报告:尽管知晓臭名昭著的资产负债表,BlockFi对FTX和Alameda的高风险投资

根据最近解密的报告显示,BlockFi Inc.的高管在上周的法庭文件中忽视了风险管理团队多次发出的关于向Sam Bankman-Fried的Alam...