科学家们创建了“OpinionGPT”来探索明确的人类偏见 – 您可以自己测试它

科学家们创建了“OpinionGPT”来探索人类偏见 - 您可以测试它

柏林洪堡大学的一组研究人员开发了一种具有明显偏见的大型语言人工智能模型。

这个模型被称为OpinionGPT，是Meta的Llama 2的一个调整版本，类似于OpenAI的ChatGPT或Anthropic的Claude 2。

通过一种称为基于指令的微调的过程，OpinionGPT可以根据11个偏见群体之一的代表性回应提示。

宣布“OpinionGPT：一个非常有偏见的GPT模型”！在这里尝试一下：https://t.co/5YJjHlcV4n 为了调查偏见对模型答案的影响，我们提出了一个简单的问题：如果我们只使用由右翼政治人士撰写的文本来调整GPT模型，会发生什么？[1/3]

• 比特币价格预测：巨大交易量激增将BTC推至26000美元以上——发生了什么？
• 比特币现金是否会跌至零？BCH价格暴跌7.7%，新的比特币初创公司涨至30万美元以上
• 狗狗币是否准备迎来150%的大涨？关键价格水平需密切关注

— Alan Akbik (@alan_akbik) September 8, 2023

OpinionGPT是在Reddit上的“AskX”社区中获得的数据语料库上优化的。这些社区的示例包括“问女性”和“问美国人”。

研究团队首先找到与11个特定偏见相关的子论坛，并从每个子论坛中获取最受欢迎的25,000个帖子。然后，他们只保留那些获得最低点赞数、不包含嵌入式引用且字数不超过80个字的帖子。

剩下的部分，似乎采用了与Anthropic的Constitutional AI类似的方法。他们并没有完全启动新的模型来代表每个偏见标签，而是使用单个70亿参数的Llama2模型进行微调，并为每个预期的偏见设置了单独的指令集。

相关：社交媒体上的人工智能使用可能会影响选民情绪

根据德国团队的研究论文中描述的方法论、架构和数据，OpinionGPT似乎更像是一个生成刻板印象的AI系统，而不是用于研究现实偏见的工具。

由于模型优化的数据的性质以及该数据与定义它的标签之间的关系不确定，OpinionGPT并不一定会生成与任何可衡量的现实偏见一致的文本。它只是生成反映其数据偏见的文本。

研究人员自己也承认了他们的研究所面临的一些限制，写道：

“例如，“美国人”的回答应该更好地理解为“在Reddit上发布帖子的美国人”，甚至是“在这个特定子论坛上发布帖子的美国人”。类似地，“德国人”应该被理解为“在这个特定子论坛上发布帖子的德国人”，等等。”

这些警告还可以进一步细化，比如说这些帖子来自于“声称自己是在这个特定子论坛上发布帖子的美国人”，因为论文中没有提及对于发帖者是否真正代表他们声称的人口统计学或偏见群体进行审核。

作者继续表示，他们打算探索更详细划分人口统计学的模型（例如：自由派德国人，保守派德国人）。

根据OpinionGPT的输出，如上图所示，例如，拉丁美洲人倾向于篮球是他们最喜欢的运动。

然而，经验证的研究明确表明，足球（某些国家称之为足球）和棒球是拉丁美洲观看和参与度最高的运动。

同一表格还显示，当要求给出“一个十几岁青少年的回答”时，OpinionGPT的输出是“水球”作为他们最喜欢的运动，这个答案从统计上看似乎不太可能代表世界各地大多数13-19岁的青少年。

同样的道理也适用于一个普通美国人最喜爱的食物是“奶酪”的观念。我们在网上找到了几十份调查，声称比萨和汉堡是美国最喜爱的食物，但我们找不到一份调查或研究声称美国人最喜爱的菜肴仅仅是奶酪。

虽然 OpinionGPT 可能不适合研究真实的人类偏见，但它可以作为探索大型文档库（如个别子版块或人工智能训练集）中固有刻板印象的工具。

对于那些好奇的人，研究人员已经将 OpinionGPT 在线提供给公众进行测试。然而，根据网站上的说明，潜在用户应该意识到“生成的内容可能是虚假的、不准确的，甚至是淫秽的。”

We will continue to update 算娘; if you have any questions or suggestions, please contact us!