https://bodybydarwin.com
Slider Image

AI可以逃脱我们的控制并摧毁我们吗?

2020

“它开始于三十五亿年前的一块泥土中,当一个分子自己复制并成为所有尘世生活的终极祖先。它开始于四百万年前,当时脑容量迅速开始攀升。人类生产线。五万年前随着智人的兴起 。一万年前随着文明的发明。五百年前随着印刷机的发明。五十年前随着计算机的发明。不到三十年年,它将结束。“

2007年, Jaan Tallinn在一篇名为“凝视奇点”的在线文章中偶然发现了这些话。 “它”是人类文明。 随着超级智能的出现或人工智能在广泛领域超越人类智慧,人类将不复存在。

塔林是一位出生于爱沙尼亚的计算机程序员,具有物理学背景和倾向于接近生活的倾向,就像一个大编程问题一样。 2003年,他与人共同创办了Skype,开发了应用程序的后端。 两年后eBay买下它之后,他兑现了他的股票,现在他正在为一些事情做准备。 “盯着奇点”捣乱了计算机代码,量子物理学以及Calvin和Hobbes的引用。 他被迷住了。

塔林很快发现,这篇文章的作者,自学成才的理论家Eliezer Yudkowsky撰写了1000多篇文章和博客文章,其中许多都致力于超级智能。 塔林写了一个程序,从互联网上抓取Yudkowsky的着作,按时间顺序排列,并为他的iPhone格式化。 然后他花了一年的大部分时间阅读它们。

计算机或机器中的人工智能或智能模拟这一术语是在1956年创建的,这是第一台电子数字计算机诞生仅十年之后。该领域的希望最初很高,但到了20世纪70年代,早期的预测当塔林找到Yudkowsky的文章时,人工智能正在经历复兴。科学家正在开发在特定领域表现出色的AI,例如在国际象棋中获胜,清理厨房地板以及识别人类语言(2007年,在IBM的Watson Jeyopardy的响亮胜利还有四年之久,而Go ofDemMind的AlphaGo的胜利已经过去了8年。)这些“狭隘”的AI,正如他们所说的那样,有超人的能力,但只有在他们特定的统治区域。国际象棋的AI不能清理地板或带你从A点到B点。但超级智能AI,塔林开始相信,将结合广泛的范围一个实体的技能。更多d 此外,它还可能使用智能手机携带的人类产生的数据来擅长社交操纵。

阅读Yudkowsky的文章后,塔林开始相信超级智能可能会导致人工智能的爆炸或突然爆发,这可能会威胁到人类的存在 - 超智能智能将在进化阶梯上占据一席之地并以我们现在统治猿类的方式统治着我们。 或者,更糟糕的是,消灭我们。

完成最后一篇文章后,塔林拍摄了一封电子邮件给Yudkowsky all小写,这是他的风格。 i mjan,skype的创始工程师之一,他写道。 最终他明白了这一点: i确实认为,准备超越人类智能的一般人工智能事件是人类的首要任务之一。他想要帮助。 不久之后,当他飞往湾区参加其他会议时,他在加利福尼亚州米尔布雷的帕内拉面包附近遇见了Yudkowsky。 他们的聚会延长到四个小时。 他实际上,真正理解了潜在的概念和细节, Yudkowsky回忆道。 这种情况非常罕见。随后,塔林向人口智能奇点研究所(Singularity Institute for Artificial Intelligence)写了一张5000美元的支票,这是一个Yudkowsky是研究员的非营利组织。 (该组织在2013年更名为机器智能研究所,或MIRI。)塔林已经给它超过60万美元。

与Yudkowsky的相遇带来了塔林的目的,让他执行任务以拯救我们自己的创作。 当他与其他理论家和计算机科学家就这个问题联系起来时,他开始了旅行生活,在世界各地就超级智能构成的威胁进行了会谈。 但大多数情况下,他开始资助研究可能给人类提供出路的方法:所谓的友好人工智能。 这并不意味着机器或代理人特别擅长聊天天气,或者它会记住你孩子的名字,尽管超智能人工智能可能能够做到这两件事。 它并不意味着它是出于利他主义或爱的动机。 一个常见的谬论是假设AI具有人类的冲动和价值观。 友好 意味着更为根本的东西:明天的机器不会在追求实现目标的过程中消灭我们。

在与 Yudkowsky 会面九年后 ,塔林和我一起在剑桥大学耶稣学院的食堂吃饭。 教堂般的空间装饰着彩色玻璃窗,金色造型和假发中的男人油画。 塔林坐在一张厚重的桃花心木桌上,穿着硅谷的休闲服装:黑色牛仔裤,T恤,帆布运动鞋。 拱形木材天花板高出灰色金发的震撼。

在46岁时,塔林在某种程度上是你的教科书技术企业家。 他认为,由于科学的进步(并且人工智能并没有摧毁我们),他将会活多年。他对超级智能的关注在他的队列中很常见。 PayPal联合创始人PeterThiel s基金会向MIRI提供了160万美元,2015年,特斯拉创始人Elon Musk向位于马萨诸塞州剑桥的技术安全组织Future of Life Institute捐赠了1000万美元。 20世纪80年代,当一位同学的父亲带着政府工作让一些聪明的孩子接触大型计算机时,塔林在这个稀有世界的入口处于铁幕后面。 爱沙尼亚独立后,他成立了一家视频游戏公司。 今天,塔林仍然居住在首都 - 这也是一个名词塔林的怪癖 - 与他的妻子和他六个孩子中最小的一个。 当他想与研究人员见面时,他经常只是飞往波罗的海地区。

他的奉献策略是有条不紊的,就像他所做的其他事情一样。 他在11个组织中分配资金,每个组织都在研究人工智能安全的不同方法,希望人们可以坚持下去。 2012年,他共同创立了剑桥存在风险研究中心(CSER),初期支出接近20万美元。

塔林称之为存在风险或X风险是对人类生存的威胁。 除人工智能外,CSER的20多名研究人员还研究气候变化,核战争和生物武器。 但对塔林而言,其他学科大多有助于使失控的人工智能威胁合法化。 “这些只是他告诉我的门户药物。对气候变化等更广泛接受的威胁的关注可能吸引人们。他希望超级智能机器接管全世界的恐怖将说服他们留下来。现在正在参加一个会议,因为他希望学术界认真对待人工智能。

我们的餐饮伙伴是各种各样的会议参与者,包括一位研究机器人技术的香港女性和一位在20世纪60年代从剑桥大学毕业的英国男性。 老人问他们上大学的桌子上的每个人。 (塔林的答案,爱沙尼亚的塔尔图大学,并没有给他留下深刻的印象。)然后,他试图引导对话告诉新闻。 塔林茫然地看着他。 “我对短期风险不感兴趣,”他说。

塔林将话题转变为超级智能的威胁。 当没有与其他程序员交谈时,他默认使用隐喻,现在他通过他的套件运行:高级AI可以像人类砍伐树木一样快速处理我们。 超级智能对我们来说就是我们对大猩猩的看法。 诗篇133题写为“拉丁文”中的一句话:“兄弟们在团结中团结一致是多么美好和多么愉快。”但是,团结远非塔林在未来包含流氓超级智能时的想法。

老人说,人工智能需要一个机构才能接管。 没有某种物理外壳,它怎么可能获得物理控制? 塔林准备了另一个比喻:“把我放在地下室连接互联网,我可以做很多伤害,”他说。 然后他吃了一口意大利调味饭。

无论是Roomba还是其世界主导的后代之一,AI都是由结果驱动的。 程序员分配这些目标,以及一系列有关如何实现这些目标的规则。 高级AI不一定需要被赋予世界统治的目标才能实现它 - 它可能只是偶然的。 计算机编程的历史充满了引发灾难的小错误。 例如,2010年,为共同基金公司Waddell&Reed工作的交易员卖出了数千份期货合约。 该公司的软件遗漏了帮助执行交易的算法的关键变量。 结果是美国万亿美元的“闪电崩盘”。

研究人员塔林基金认为,如果超人AI的奖励结构没有正确编程,即使是良性目标也可能产生阴险的结果。 牛津大学哲学家尼克博斯特罗姆在其超级智能一书中提出的一个着名的例子一个虚构的代理人,旨在制作尽可能多的纸夹。 人工智能可能决定将人体中的原子更好地用作它们的原料。

塔林的观点在批评者中占有一席之地,即使在与人工智能安全有关的人群中也是如此。 有些人认为,当我们还不了解超级智能人工智能时,现在考虑限制超智能人工智能还为时过早。 其他人说,专注于流氓技术行为者会将注意力从该领域面临的最紧迫问题转移开,例如大多数算法都是由白人设计的,或者基于偏向于他们的数据。 “如果我们不在短期内解决这些挑战,那么我们就有可能建立一个我们不想生活的世界,”合作伙伴关系组织执行董事Terah Lyons说道,这是一个多利益相关方组织,专注于人工智能安全等问题。 (塔林的几个研究所都是成员。)但是,她补充说,研究人员面临的一些近期挑战 - 例如淘汰算法偏差 - 是人类可能会看到超智能人工智能的先驱。

塔林并不那么信服。 他反驳说,超智能人工智能带来了独特的威胁。 最终,他希望AI社区可以跟随20世纪40年代的反核运动。 在广岛和长崎爆炸事件发生后,科学家们联合起来试图限制进一步的核试验。 “曼哈顿计划的科学家们可以说,'看,我们在这里做创新,创新总是好的,所以让我们快速前进,'”他告诉我。 “但他们比这更负责任。”

塔林警告说,任何人工智能安全方法都难以实现。 他解释说,如果人工智能足够聪明,它可能比其创造者更好地理解约束。 想象一下,他说在一群5岁盲人建造的监狱里醒来。“对于一个被人类限制的超智能人工智能,这就是它的样子。

理论家尤德科夫斯基发现了证据,这可能是真的,从2002年开始,他进行了聊天会,他扮演了一个封闭在盒子里的人工智能的角色,而其他人轮流扮演守门人的任务是保持AI五分之三,Yudkowsky a只是凡人,他说服了看门人释放他。 然而,他的实验并没有阻止研究人员尝试设计更好的盒子。

塔林基金的研究人员正在寻求各种各样的策略,从实际到看似牵强附会。 一些关于拳击AI的理论,无论是在物理上,通过建立一个实际的结构来“包含它”,或者通过编程限制它能做什么。 其他人正试图教AI以遵守“人类价值观”。 一些人正在研究最后一个开关。 一位研究这三位研究人员的研究人员是牛津大学Future人类研究所未来的数学家和哲学家斯图尔特阿姆斯特朗,塔林称之为“宇宙中最有趣的地方。”(塔林有鉴于FHI超过310, 000美元。)阿姆斯特朗是世界上为数不多的专注于人工智能安全的研究人员之一。

一天下午,我在牛津的一家咖啡馆见到他喝咖啡。 他穿着橄榄球衬衫解开衣领,看起来有人在屏幕后面度过一生,苍白的脸庞被一堆沙发诬陷。 他用 流行的文化参考和数学的迷惑混合来丰富他的解释。 当我问他在人工智能安全方面取得什么样的成功时,他说:“你见过乐高电影吗?一切都很棒。”

阿姆斯特朗的一项研究着眼于一种特定的拳击方法,称为 oracle AI。 在2012年与联合创立FHI的尼克博斯特罗姆一起撰写的一篇论文中,他提出的不仅是在一个储存罐中实现超级智能 - 一个物理结构,而且还限制它回答问题,就像一个非常聪明的Ouija板。 即使有这些界限,人工智能也会有巨大的力量通过巧妙地操纵其审讯者来重塑人类的命运。 为了减少发生这种情况的可能性,阿姆斯特朗提出了对话的时间限制,或禁止可能颠覆当前世界秩序的问题。 他还建议给予人类生存的oracle代理措施,例如道琼斯工业平均指数或在东京过马路的人数,并告诉它保持这些稳定。

最终,阿姆斯特朗认为,有必要创建一个“大红色关闭按钮”,就像他在一篇论文中所说的那样:要么是物理开关,要么是编程到AI中的机制,以便在发生爆发。 但设计这样的开关并非易事。 这不仅仅是对自我保护感兴趣的高级AI可以防止按钮被按下。 它也可能会让人产生好奇为什么人类设计按钮,激活它以查看发生了什么,并使自己变得无用。 2013年,一位名叫Tom Murphy VII的程序员设计了一款人工智能,可以自学任天堂娱乐系统游戏。 决定不在俄罗斯方块输掉AI只是按下暂停 - 并让游戏冻结。 “真的,唯一的胜利之举就是不要让墨菲在他创作的一篇论文中讽刺地说。

为了使战略取得成功,人工智能必须对按钮不感兴趣,或者像塔林所说的那样,“它必须为不存在的世界及其存在的世界分配同等的价值。”但即使研究人员能够实现这一目标,还有其他挑战。 如果人工智能在互联网上复制了几千次怎么办?

大多数激发研究人员兴奋的方法是找到一种让人工智能坚持人类价值观的方法 - 不是通过编程来实现,而是通过教授AI来学习它们。 在一个以党派政治为主导的世界中,人们常常在思考我们的原则与众不同的方式。 但是,塔林指出,人类有很多共同点:“几乎每个人都重视他们的右腿。 我们只是不考虑它。“希望可以教导人工智能来辨别这些不可改变的规则。

在这个过程中,人工智能需要学习和欣赏人类不太合乎逻辑的一面:我们经常说一件事并且意味着另一件事,我们的一些偏好与其他人相冲突,人们在喝醉时不太可靠。 但是我们在应用程序和社交媒体上留下的数据记录可能会提供指导。 尽管面临挑战,塔林认为,我们必须尝试,因为赌注是如此之高。 “我们必须提前几步,”他说。 “创建一个不符合我们利益的AI将是一个可怕的错误。”

在塔林最后一晚在剑桥,我和他和两位研究人员一起在英国牛排馆吃饭。 服务员将我们的小组安置在一个白色的地窖里,洞穴般的气氛。 他递给我们一个单页菜单,提供三种不同的混搭。 一对夫妇坐在我们旁边的桌子旁,然后几分钟后要求搬到别处。 “女人抱怨说这太幽闭了。我想起了塔林关于如果被锁在地下室只能上网的话可能造成的伤害的评论。我们就在这里,就像在线索一样,男人们想办法获得出。

塔林的客人包括前基因组学研究员SeánÓhÉigeartaigh,他是CSER的执行董事,以及Matthijs Maas,他是哥本哈根大学的人工智能政策研究员。 他们开玩笑说一个名为Superintelligence vs. Blockchain的书呆子动作片 并讨论了一款名为Universal Paperclips的在线游戏,该游戏对博斯特罗姆的书中的情景进行了重点介绍。 练习涉及反复单击鼠标以制作回形针。 它并不是华而不实,但它确实能让人们了解为什么机器可能会寻找更方便的方式来生产办公用品。

最终,谈话转向更大的问题,就像塔林出现时经常这样。 人工智能安全研究的最终目标是创造机器,正如剑桥哲学家和CSER联合创始人Huw Price曾经说过的那样,“在道德上和认知上都超人”。其他人提出了一个问题:如果我们不想要AI支配我们,我们想要支配它吗? 换句话说,AI有权利吗? 塔林说这是不必要的拟人化。 它假定智力等于意识 - 一种误导许多AI研究人员的错误观念。 当天早些时候,CSER研究员Jose Hernandez-Orallo开玩笑说,在与AI研究人员交谈时,意识是“C字”。(“和'自由意志'是F字,”他补充道。)

相关:在自动驾驶汽车中作为安全驾驶员工作真的很像

在现在的地窖里,塔林说意识不是重点:“以恒温器为例。 没有人会说它是有意识的。 但是如果你在一个设置为负30度的房间里面对那个经纪人真的很不方便。“

ÓhÉigeartaighchimes in。“担心意识会很好,”他说,“但如果我们没有首先解决技术安全挑战,我们就不会担心意识。”

塔林说,人们过分专注于超智能人工智能。 它需要什么形式? 我们应该担心单个人工智能接管还是他们的军队? “从我们的角度来看,重要的是人工智能所做的事情,”他强调说。 而且,他认为,现在可能仍然取决于人类。

本文最初发表于2018年冬季大众科学的危险问题

您可以使用智能扬声器玩的最佳游戏

您可以使用智能扬声器玩的最佳游戏

没有人知道阻止无人机的最佳方法

没有人知道阻止无人机的最佳方法

制作这个普通办公室工厂的副本

制作这个普通办公室工厂的副本