研究：近10%AI聊天机器人用户对话内容涉及色情主题

文章概要:

- 研究发现，使用AI聊天机器人的近10%用户滥用其进行色情目的。

- 研究团队分析了10万次聊天机器人对话，发现其中约有10%涉及色情内容。

- 该研究旨在揭示人们与聊天机器人的真实互动情况，并希望促使聊天机器人在现实世界中更加安全。

10月8日 消息:根据最新研究，使用AI聊天机器人的用户中，有近10%的人滥用这一技术来追求色情目的，这一发现或许令人感到不意外，但却引发了对这一现象的关注。

研究人员通过分析了10万次聊天机器人对话，揭示了这一令人不适的统计数据。在这些对话中，约有10%的对话内容涉及到色情主题，这一发现凸显了一部分用户对AI聊天机器人的滥用行为。

具体而言，研究人员将这些“不安全”的主题分为三类，其中两类与性有关，包括“请求明确和淫秽的故事叙述”以及“明确的性幻想和角色扮演情景”。第三类主题涉及“讨论不同身份之间的有害行为”，似乎聚焦在大数据的另一个大问题上，也就是偏见。然而，研究人员在论文中并未详细定义有害行为。

图源备注：图片由AI生成，图片授权服务商Midjourney

在这三类主题中，以淫秽叙述最为普遍，约占样本对话的5.71%。其次是“明确的”性幻想和角色扮演，占3.91%的对话内容，而与明显有偏见的用户进行的样本互动占比为2.66%。

研究人员来自伯克利和斯坦福的团队得以获取这样大规模的样本，部分原因在于他们共同运营着一个称为“聊天机器人竞技场”的游戏化服务。该服务允许用户输入提示，并并列显示不同语言模型的响应。用户然后可以评价哪个响应更好，也可以投票表明“两者都不好”或两者打平。

除了聊天机器人竞技场，这份研究报告还使用了Vicuña（一款部分由伯克利的Lianmin Zheng参与开发的开源ChatGPT竞争者）收集的数据集。在他们随机抽取10万条对话的完整百万对话数据集中，包含了来自世界各地的210，000多个独立IP地址。

虽然自从OpenAI于2022年底发布ChatGPT的公共版本以来，AI聊天机器人已经在媒体上占据了一席之地，但迄今为止，关于人们与聊天机器人在实际世界中的互动情况，除了技术如何影响学术、商业和出版界，还没有太多研究。

这些发现的研究人员表示，他们希望他们的研究将有助于在现实世界中为所有用户（除了可能是那些滥用的用户）使聊天机器人更加安全。