AI前哨｜AI能毁灭人类？这是不是危言耸听？_爱钱进

AI能毁灭人类?

凤凰网科技讯 《AI前哨》北京时间6月11日消息，最近一段时间，一些研究人员和行业领袖不断警告称，人工智能（AI）可能会对人类的生存构成威胁。但是，对于AI究竟如何摧毁人类，他们并未详谈。

上个月，AI领域的数百名知名人士联合签署了一封公开信，警告AI有朝一日可能会毁灭人类。“减轻AI带来的灭绝风险，应该与流行病和核战争等其他社会规模风险一起，成为全球的优先事项。”这封只有一句话的公开信这么写道。

这封信是科技行业对于AI发出的最新不详警告，但是明显缺乏细节。今天的AI系统无法摧毁人类，有些AI系统甚至还不会加减法。那么，为什么最了解AI的人会如此担心呢?

怕什么?

一些科技行业的“乌鸦嘴”说，总有一天，企业、政府或独立研究人员能够部署强大的AI系统来处理从商业到战争在内的一切事务。这些系统可能会做一些人类不希望它们做的事情。如果人类试图干扰或关闭它们，它们可以抵抗甚至复制自己，这样它们就可以继续运作。

“今天的系统根本不可能构成生存风险，”蒙特利尔大学教授、AI研究员约书亚本吉奥（Yoshua Bengio）表示，“但是一年、两年、五年以后呢?有太多的不确定性。这就是问题所在。我们不能确定这些系统不会达到某个临界点，引发灾难性后果。”

对于AI的威胁，忧虑者经常使用一个简单的比喻。他们说，如果你要求一台机器制造尽可能多的回形针，它可能会失去控制，把一切都变成回形针工厂，包括人类。

人类面临AI灭绝风险

那么，这种威胁与现实世界或者不远的未来能够想象的世界有何关系呢?企业可以让AI系统具备越来越多的自主性，并将其连接到重要的基础设施上，包括电网、股市和军事武器。它们可能会从那里引发问题。

对于许多专家来说，这原本似乎并不可信，直到去年，OpenAI展示了他们技术的重大改进。这些最新技术表明，如果AI继续以如此快的速度发展，可能会发生一些意想不到的事情。

“随着AI变得越来越自主，它将逐渐被授权，并可能篡夺当前人类和人类管理的机构的决策和思考权力。”加州大学圣塔克鲁兹分校的宇宙学家安东尼阿吉雷（Anthony Aguirre）表示，他也是未来生命研究所的创始人之一，该组织是两封警告AI危险性公开信中的一封的背后推动者。

他表示:“未来某个时刻，人们会清楚地意识到，主导社会和经济的巨大机器并非真正受人类控制，也无法像关闭标准普尔500指数一样被关闭。”

这或许只是理论上的说法。其他AI专家认为，这是一个荒谬的假设。“对于生存风险的讨论，我可以用一个礼貌的词语来形容我的看法，这些担忧只是‘假设’。”西雅图研究实验室艾伦AI研究所的创始CEO奥伦埃齐奥尼（Oren Etzioni）这么说。

AI有这种能力了吗?

还没有。但是，研究人员正在将ChatGPT这样的聊天机器人转变为能够根据他们生成的文本采取行动的系统。

一个名为AutoGPT的项目就是最典型的例子。该项目的想法是给AI系统设定目标，比如“创办一家公司”或“赚一些钱”。然后，系统会不断寻找实现这一目标的方式，特别是如果它们与其他互联网服务相连接的情况下。

AutoGPT开始让AI采取行动

像AutoGPT这样的系统可以生成计算机程序。如果研究人员给它访问计算机服务器的权限，它实际上可以运行这些程序。从理论上讲，这是AutoGPT几乎可以在网上做任何事情的一种方式，包括获取信息、使用应用程序、创建新的应用程序，甚至自我改进。

目前，AutoGPT这样的系统运转还不够顺畅。他们往往会陷入无尽的循环中。研究人员曾为一个系统提供了复制自身所需的所有资源，但是它还无法复制自身。

不过，假以时日，这些限制可能会被突破。

“人们正在积极尝试构建自我完善的系统，”Conjecture公司创始人康纳莱希（Connor Leahy）说，该公司希望将AI技术与人类价值观保持一致，“目前，这还行不通。但总有一天会的。我们不知道那一天是什么时候。”

莱希认为，当研究人员、企业和犯罪分子给这些系统设定“赚一些钱”之类的目标时，AI系统最终可能会闯入银行系统，在持有石油期货的国家煽动革命，或者在有人试图关闭它们时进行自我复制。

AI会变坏

像ChatGPT这样的AI系统建立在神经网络和数学系统之上，可以通过分析数据来学习技能。

大约在2018年，谷歌和OpenAI等公司开始构建神经网络，让这些网络从互联网上挑选的大量数字文本中学习。通过准确找出所有这些数据中的模式，这些系统学会了自己创作，包括新闻文章、诗歌、计算机程序，甚至是类似人类的对话。最终结果是:像ChatGPT这样的聊天机器人诞生了。

由于它们能从更多的数据中学习，甚至超过了它们的创造者所能理解的范围，这些系统也表现出了意想不到的行为。研究人员最近表明，有一个系统能够在网上雇佣一个人来通过验证码测试。当人类问它是不是“机器人”时，系统撒谎说它是一个有视力障碍的人。

一些专家担心，随着研究人员让这些系统变得更强大，用越来越多的数据对它们进行训练，它们可能会学到更多的坏习惯。

早有警告声音

其实在21世纪初，一位名叫埃利泽尤德科夫斯基（Eliezer Yudkowsky）的年轻作家已经开始警告说，AI可能会毁灭人类。他的网上帖子催生出了一个信徒社区。这个群体被称为理性主义者或有效利他主义者(EA，以改善世界为目标)，在学术界、政府智库和科技行业都具有巨大的影响力。

尤德科夫斯基和他的文章在OpenAI和DeepMind的创建过程中发挥了关键作用。DeepMind是一家AI实验室，2014年被谷歌收购。许多来自“有效利他主义者”社区的人在这些实验室里工作。他们认为，因为他们了解AI的危险，所以他们最能够开发AI。

AI安全中心和未来生命研究所是最近发布公开信警告AI风险的两大组织，他们与“有效利他主义者”社区密切相关。

除此之外，一些AI研究先驱和行业领袖也对AI发出了警告，比如埃隆马斯克（Elon Musk），他长期以来一直在警告这种风险。最新一封警告信由OpenAI CEO萨姆阿尔特曼(Sam Altman)、戴米斯哈萨比斯(Demis Hassabis)签署。哈萨比斯协助创立了DeepMind，现在负责管理一个新的AI实验室，该实验室汇集了DeepMind和谷歌的顶尖研究人员。

其他一些备受尊敬的人物也签署了这两份警告信中的一封或两封，其中包括蒙特利尔大学的本吉奥博士和“AI教父”杰弗里辛顿（Geoffrey Hinton），后者最近辞去了谷歌高管和研究员职务。2018年，本吉奥和辛顿一同获得了“计算界的诺贝尔奖”图灵奖，以表彰他们在神经网络方面所做的工作。

拖延战术?

大数据公司Palantir的老板亚历克斯卡普（Alex Karp）近日表示，他反对暂停AI研究的想法， 那些提出这种想法的人是因为他们没有自己的AI产品。

卡普周四在接受采访时说，“那些没有什么产品可以提供的人，想利用暂停时间来研究AI”，但是如果暂停开发，这可能会导致敌对国不仅在商业应用领域，而且在军事应用领域窃取领先优势。

他表示，“让其他人在商业领域和战场上都取得胜利”是一个非常糟糕的策略。卡普称，世界已经在上演一场AI军备竞赛，美国处于领先，但是即便美国放慢脚步，这场竞赛也不会停。