科学家们创建了“OpinionGPT”来探索明确的人类偏见 – 您可以自己测试它

科学家们创建了“OpinionGPT”来探索人类偏见 - 您可以测试它

柏林洪堡大学的一组研究人员开发了一种具有明显偏见的大型语言人工智能模型。

这个模型被称为OpinionGPT,是Meta的Llama 2的一个调整版本,类似于OpenAI的ChatGPT或Anthropic的Claude 2。

通过一种称为基于指令的微调的过程,OpinionGPT可以根据11个偏见群体之一的代表性回应提示。

宣布“OpinionGPT:一个非常有偏见的GPT模型”!在这里尝试一下:https://t.co/5YJjHlcV4n 为了调查偏见对模型答案的影响,我们提出了一个简单的问题:如果我们只使用由右翼政治人士撰写的文本来调整GPT模型,会发生什么?[1/3]

— Alan Akbik (@alan_akbik) September 8, 2023

OpinionGPT是在Reddit上的“AskX”社区中获得的数据语料库上优化的。这些社区的示例包括“问女性”和“问美国人”。

研究团队首先找到与11个特定偏见相关的子论坛,并从每个子论坛中获取最受欢迎的25,000个帖子。然后,他们只保留那些获得最低点赞数、不包含嵌入式引用且字数不超过80个字的帖子。

剩下的部分,似乎采用了与Anthropic的Constitutional AI类似的方法。他们并没有完全启动新的模型来代表每个偏见标签,而是使用单个70亿参数的Llama2模型进行微调,并为每个预期的偏见设置了单独的指令集。

相关:社交媒体上的人工智能使用可能会影响选民情绪

根据德国团队的研究论文中描述的方法论、架构和数据,OpinionGPT似乎更像是一个生成刻板印象的AI系统,而不是用于研究现实偏见的工具。

由于模型优化的数据的性质以及该数据与定义它的标签之间的关系不确定,OpinionGPT并不一定会生成与任何可衡量的现实偏见一致的文本。它只是生成反映其数据偏见的文本。

研究人员自己也承认了他们的研究所面临的一些限制,写道:

“例如,“美国人”的回答应该更好地理解为“在Reddit上发布帖子的美国人”,甚至是“在这个特定子论坛上发布帖子的美国人”。类似地,“德国人”应该被理解为“在这个特定子论坛上发布帖子的德国人”,等等。”

这些警告还可以进一步细化,比如说这些帖子来自于“声称自己是在这个特定子论坛上发布帖子的美国人”,因为论文中没有提及对于发帖者是否真正代表他们声称的人口统计学或偏见群体进行审核。

作者继续表示,他们打算探索更详细划分人口统计学的模型(例如:自由派德国人,保守派德国人)。

根据OpinionGPT的输出,如上图所示,例如,拉丁美洲人倾向于篮球是他们最喜欢的运动。

然而,经验证的研究明确表明,足球(某些国家称之为足球)和棒球是拉丁美洲观看和参与度最高的运动。

同一表格还显示,当要求给出“一个十几岁青少年的回答”时,OpinionGPT的输出是“水球”作为他们最喜欢的运动,这个答案从统计上看似乎不太可能代表世界各地大多数13-19岁的青少年。

同样的道理也适用于一个普通美国人最喜爱的食物是“奶酪”的观念。我们在网上找到了几十份调查,声称比萨和汉堡是美国最喜爱的食物,但我们找不到一份调查或研究声称美国人最喜爱的菜肴仅仅是奶酪。

虽然 OpinionGPT 可能不适合研究真实的人类偏见,但它可以作为探索大型文档库(如个别子版块或人工智能训练集)中固有刻板印象的工具。

对于那些好奇的人,研究人员已经将 OpinionGPT 在线提供给公众进行测试。然而,根据网站上的说明,潜在用户应该意识到“生成的内容可能是虚假的、不准确的,甚至是淫秽的。”

We will continue to update 算娘; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

区块链

价格分析10/2:SPX,DXY,BTC,ETH,BNB,XRP,SOL,ADA,DOGE,TON

比特币和其他替代币正在上涨,但美元指数的强势反弹可能会抑制上涨势头

区块链

以太坊在新的加密货币ESG排名中居首,比特币因能源消耗巨大而受到抨击

加密数据公司CCData发布了首个评估数字资产的机构级评分系统,重点关注环境、社会和治理方面

市场行情

比特币暴跌至25.5K美元,另类币也跟随下跌,投资者无视美联储暂停加息

央行结束了一年多的加息周期后不到两个小时,以太币下跌了超过3%,跌至低于1.7K美元ADA暴跌超过5%,而SOL和Matic各自下跌超过3%

资讯

以太坊价格瞄准$3,000:看涨动力增长 🚀

随着以太坊价格显示出有可能达到并超过3000美元的重要里程碑,目前对以太坊价格预测的乐观情绪正逐渐增长这一趋势十分有价值...

区块链

乘风破浪:THORChain 50%的涨势熠熠生辉,而前100个币种却步履维艰

在充满活力的加密货币环境中,THORChain (RUNE) 已经成为值得关注的替代币,吸引了积极投资者的兴趣

区块链

DEXTools今日最大的加密货币收益者 - SPURDO,FOOM,FRENS

在蓝筹加密货币市场在最近的范围内波动不定的情况下,以下是在更加波动的垃圾币市场中表现最好的一些币种