出品：新浪科技《科学大家》 中信新思
作者：托比·奥德（Toby Ord）
作者简介：澳大利亚哲学家，任教于牛津大学，是牛津大学人类未来研究所高级研究员，本文节选自其著作《危崖》（The Precipice： Existential Risk and the Future of Humanity）。
1956 年夏天，一小群数学家和计算机科学家聚集在达特茅斯学院，开始了设计智能机器的宏伟计划。他们探索了认知能力的许多方面，包括推理、创造力、语言、决策和学习。他们的问题和立场将决定人工能（AI）这一新兴领域的发展方向。而在他们看来，最终的目标是制造出在智力上可与人类媲美的机器。
几十年过去了，随着人工智能成为一个稳定发展的领域，人们降低了对它的期望。人工智能在逻辑、推理和游戏方面取得了巨大的成功，但在其他一些领域却顽固地拒绝进步。到了 20 世纪 80 年代，研究人员开始理解这种成功和失败的模式。出乎意料的是，我们视为人类智力巅峰的任务（如微积分或国际象棋），计算机执行起来其实比那些我们认为几乎不费吹灰之力即可完成的任务（如认出一只猫、理解简单的句子或捡鸡蛋）要容易得多。所以，虽然有些领域里人工智能远远超过了人类的能力，但也有一些领域不如两岁孩童。72 这种未能取得全面进展的情况导致许多人工智能研究者放弃了实现完全通用智能的早期目标，并重新定义他们的领域，为解决具体的问题研发专门的技术。他们放弃了一个不成熟领域里新生热情所追求的更宏大目标。
但情况正在逆转。从人工智能诞生之初，研究人员就试图构建不需要清晰编程就能学习新事物的系统。最早的机器学习手段之一是构建类似于人类大脑结构的人工神经网络。在过去的十年里，这种手段终于有了起色。设计和训练上的技术改进，加上更丰富的数据集和更强大的计算能力，使我们能够训练出比以往更大以及学习能力更深入的网络。
这种深度学习使网络有能力学习微妙的概念和区别。它们现在不仅能识别一只猫，而且在区分不同品种的猫方面，表现也超过了人类。它们比我们更能识别人脸，还能分辨同卵双胞胎。而且我们已经可以将这些能力用于感知和分类以外的领域。深度学习系统可以在不同语言之间进行翻译，其熟练程度接近人工翻译。它们可以生成人类和动物的逼真图像。它们只要听一个人讲几分钟话，就可以用这个人的声音说话。而且它们可以学会精细而连续的操控方式，如学会驾驶汽车或使用机械臂拼乐高零件。
但也许最能预示未来的重要标志是它们学会玩游戏的能力。自达特茅斯会议以来，游戏一直是人工智能的核心部分。持续而稳定的进步使人工智能的国际象棋水平从 1957 年参与业余比赛一直发展到 1997 年超越了人类，而且是大幅领先。77 要达到这个水平，需要大量的国际象棋策略方面的专家知识。
2017 年，深度学习被应用于国际象棋，并取得了令人瞩目的成果。人工智能公司 DeepMind 的一个研究团队创造了 AlphaZero：一个基于神经网络的系统，从头开始学习下棋。它从新手到象棋大师只用了四个小时。在不到一个职业棋手下两盘棋的时间里，它发现了人类花费几个世纪才发掘出来的策略知识，发挥出了超越顶尖棋手和传统程序的水平。而令棋手们欣喜的是，它赢得比赛的方式不是计算机象棋所代表的枯燥刻板风格，而是让人想起国际象棋浪漫时代的创造性和大胆技法。
但最重要的是，AlphaZero 能做的不仅仅是下国际象棋。它用同样的算法从零开始也学会了下围棋，并在八小时内远远超过了任何人类的能力。世界上最优秀的围棋选手一直认为自己的棋艺已经接近完美，所以很震惊地发现自己被如此彻底地击败。正如卫冕世界冠军柯洁所说："人类数千年的实战演练进化，计算机却告诉我们人类全都是错的。我觉得，甚至没有一个人沾到围棋真理的边。"
正是这种通用性成了前沿人工智能最令人印象深刻的特点，它重新点燃了让人工智能赶上和超越人类智能各个方面的雄心壮志。这个目标有时被称为通用人工智能（AGI），以区别于曾经占据主导地位的狭隘技术。虽然国际象棋和围棋这些历史弥新的游戏最能展现深度学习所能达到的辉煌成就，但它的广度是通过 20 世纪 70 年代的雅达利电子游戏来揭示的。2015 年，研究人员设计了一种算法，可以学习玩几十种差异极大的雅达利游戏，其水平远远超过人类的能力。与从棋盘的符号意义开始学习国际象棋或围棋的系统不同，雅达利游戏系统直接从分数和屏幕上的原始像素学习和掌握这些游戏。它们证明了通用人工智能体的概念是可以实现的：通过原始的视觉输入来学习控制世界，在不同的环境中实现其目标。
这种通过深度学习取得的迅猛进展，让人们对可能很快实现的目标极为乐观。企业家们争先恐后地将每一项新的突破付诸实践：从同声传译、私人助理和无人驾驶汽车，到改进监控设备和致命性自主武器等更令人关注的领域。这是一个满怀希望的时代，同时也是一个充满道德挑战的时代。人们对人工智能固化社会歧视、导致大规模失业、支持压迫性的监控以及违反战争准则等问题表示严重关切。事实上，这些受到关注的每一个领域都可以自成一章或者为此写一本书。但本书关注的是人类面临的生存性风险。人工智能的发展会不会在这个最广泛的范围内构成风险？
最有可能的生存性风险将来自人工智能研究人员的宏伟抱负 —成功创造出超越人类自身的通用智能体。但这种情况发生的可能性有多大，以及什么时候会发生呢？ 2016 年，有人对 300 多名机器学习领域的顶级研究人员进行了详细调查。当被问及人工智能系统何时能"比人工更好、成本更低地完成每一项任务"时，他们的平均估计是到2061 年有 50% 的可能，而到不久后的 2025 年出现这种情况的可能性为 10%。
图 5.1：人工智能发展和热门程度的量表。人脸显示了最近在生成"虚拟"人物真实形象方面所取得的迅猛进展。图表则显示了国际象棋 AI 在超越人类象棋大师的过程中取得的长期进步（以 ELO 等级分衡量），以及最近该领域学术活动的增加（以 arXiv 上发布的论文数和会议的出席率衡量） 这份调查结果应该谨慎地解读。它评估的并不是通用人工智能何时会被创造出来，甚至不是专家们认为有可能发生什么事情，而且得的预测众说纷纭。然而，这次调查向我们表明，专家群体基本上认为通用人工智能并不是难以实现的梦想，而是有可能在十年内出现的，在一个世纪之内出现的可能性更大。因此，让我们以此为出发点评估风险，并思考如果通用人工智能被创造出来会发生什么。
人类目前还掌握着自己的命运，我们可以选择我们的未来。
当然，每个人对理想未来有着不同的看法，我们中的许多人更注重个人诉求，而不是实现任何这样的理想。但如果有足够多的人愿意，我们可以选择任何一种丰富多彩的未来。而对于黑猩猩、山鸟或者地球上的任何其他物种来说，情况就不一样了。正如我们在第一章中看到的那样，人类在世界上的独特地位是我们独一无二的心智能力所产生的直接结果。无与伦比的智慧带来了无与伦比的力量，从而让我们得以掌控自己的命运。
如果研究人员在本世纪某个时候创造了一种几乎在每一个领域都超越人类能力的人工智能，会发生什么事情？这种创造的行为会使我们把自己的地位拱手相让，使我们不再是地球上心智能力最强的实体。如果没有一个非常好的计划来保持情况受控，我们还会把最强大物种的地位以及可以掌控自我命运的物种这一地位让出来。
就这种情况本身而言，也许并不值得过于担心。因为有很多方法能让我们有希望保持控制权。我们可能会试着制造总是服从人类命令的系统，或者系统可以自由地做它们想做的事情，但它们的目标与我们的目标完全一致 —这样，在构筑它们的理想未来时，它们也会构筑我们的未来。不幸的是，为数不多的正在研究这类计划的研究人员发现，这些计划比预期的要困难得多。事实上，提出担忧的主要就是这些研究人员。
为了了解他们为什么担忧，我们需要探讨得再深入一些，审视我们目前的人工智能技术，以及为什么这些技术很难规范或控制。有一项或可让我们最终创建通用人工智能的领先范式把深度学习与早期称为强化学习的理念结合了起来。人工智能体会因在各种情况下表现出的行为而获得奖励（或惩罚）。例如，一个玩雅达利游戏的人工智能每次在游戏中获得分数时，就会得到奖励，而一个搭建乐高的人工智能体可能在拼好零件时得到奖励。有了足够的智慧和经验，人工智能体就会变得非常善于将环境引导到获得高额奖励的状态。
明确哪些行为和状态会让人工智能体得到奖励的规定被称为人工智能体的奖励函数。这可以由设计者规定（如上述情况）或由人工智能体习得。在后一种情况下通常允许人工智能体观察专业人士对任务的演示，推断出最能解释专业人士行为的奖励系统。例如，人工智能体可以通过观察专业人士操控无人机来学习，然后构建一个奖励函数，惩罚飞得离障碍物太近的行为，以及奖励到达目的地的行为。不幸的是，这两种方法都不能轻易地上升到在人工智能体的奖励函数中写入人类价值观。我们的价值观太复杂、太微妙了，无法靠手指输入来指定。而且我们还不能通过观察人类的行为推断出人类复杂的价值观的全部。即使我们能够做到，人类也是由许多个体组成的，他们有不同的、不断变化的以及不确定的价值观。每一种复杂情况都会带来深刻的未解难题，即如何将观察到的东西结合成人类价值观的某种总体表征。
因此，短期内任何使人工智能体与人类价值观相一致的尝试都只会产生一个有缺陷的版本。其奖励函数中将缺失我们所关心的重要部分。在某些情况下，这种错位大多是无害的。但人工智能系统越是智能，越能改变世界，情况就越难办。哲学和小说经常要求我们思考，当我们为了某些关心的事情而去优化社会，却忽视或误解了一个关键的价值，会发生什么。当我们对结果进行反思时，就会发现这种失序的乌托邦尝试可能大错特错了：我们会像《美丽新世界》里那样浅薄，或者像杰克·威廉森的《无所事事》里那样失去控制权。如果我们不能对齐人工智能体，它们就会努力创造这样的世界并让我们受困其中。
甚至这也属于最好的情况。它假设系统的构建者正在努力使人工智能体与人类的价值观相一致。但我们应该认为，一些开发者会更专注于通过构建系统来实现其他目标，比如赢得战争或实现利润最大化，而且可能不太关注道德约束。这些系统可能危险得多。
这些问题自然会让人们认为，如果我们发现人工智能系统将我们引向一条错误的道路，我们可以直接关闭它们。但到了最后，即使是这种由来已久的退路也可能失败，因为我们有充分的理由相信，一个足够智能的系统有能力抵制我们关闭它的尝试。这种行为不会被恐惧、怨恨或求生等情绪所驱动。相反，它直接来自系统一心一意追求回报最大化的偏好：被关闭是一种丧失能力的形式，这将使它更难获得高额回报，所以系统有动力去避免被关闭。这样一来，回报最大化的终极结果将使高智能系统产生谋求生存这一工具性目标。
而这不会是唯一的工具性目标。人工智能体也会抵制使其奖励函数更符合人类价值观的尝试 —因为它可以预知，这将影响它获得当前它认为有价值的东西。它将寻求获得更多的资源，包括计算能力上的、物理上的或者属于人类的，因为这些资源会让它更好地塑造世界以获得更高的奖励。而最终它将有动力从人类手中夺取对未来的控制权，因为这将有助于实现所有这些工具性目标：获得大量资源，同时避免被关闭或者奖励函数被改变。由于人类干扰所有这些工具性目标在其意之中，它会有动机向我们隐瞒这些目标，直到我们再也来不及进行有意义的抵抗。
对上述情景持怀疑态度的人有时会说，这种情况所依赖的人工智能系统要聪明得可以控制世界，但又要愚蠢得无法意识到这不是我们想要的。但这属于一种误解。因为事实上我们对人工智能动机的简述已经明确承认，系统会发现它的目标与我们的目标不一致 —这才是促使它走向欺骗、冲突和夺取控制权的原因。真正的问题是，人工智能研究者还不知道如何制造这样一个系统：它在注意到这种错位后，会把它的终极价值更新至与我们保持一致，而不是更新它的工具性目标来战胜我们。
我们也许可.............
原文转载：http://tech.shaoqun.com/a/670889.html
跨境电商：https://www.ikjzd.com/
跨境电商教程：http://www.kjdsnews.com
出品：新浪科技《科学大家》中信新思 作者：托比·奥德（TobyOrd） 作者简介：澳大利亚哲学家，任教于牛津大学，是牛津大学人类未来研究所高级研究员，本文节选自其著作《危崖》（ThePrecipice：ExistentialRiskandtheFutureofHumanity）。 1956年夏天，一小群数学家和计算机科学家聚集在达特茅斯学院，开始了设计智能机器的宏伟计划。他们探索了
百飞科海外仓：https://www.ikjzd.com/w/1429
巴西B2W：https://www.ikjzd.com/w/1729
TheMarket：https://m.ikjzd.com/w/1922
2021深圳光明农场大观园国庆游玩攻略：http://www.30bags.com/a/714400.html
深圳龙岗万达广场营业时间（从几点到几点）：http://www.30bags.com/a/730410.html
深圳在地生长街头艺术展好玩吗：http://www.30bags.com/a/782408.html
海外仓分销平台终于掉坑里了：http://www.kjdsnews.com/a/685808.html
小而美的类目应该是这个样子：http://www.kjdsnews.com/a/685809.html
黑五倒计时一周，亚马逊老鸟四大爆单秘诀：http://www.kjdsnews.com/a/685810.html
精彩活动推荐</a>：http://www.30bags.com/a/779412.html<br /><a href='http://www.kjdsnews.com/a/681735.html'>Google广告出价策略怎么定？28个PPC定价指标帮你布局！</a>：http://www.kjdsnews.com/a/681735.html<br /><a href='http://www.kjdsnews.com/a/681736.html'>海外B2B平台值不值得做？</a>：http://www.kjdsnews.com/a/681736.html<br /><a href='http://www.kjdsnews.com/a/681737.html'>【智能呼啦圈】在亚马逊美国站上的（发明专利）防侵权预警437</a>：http://www.kjdsnews.com/a/681737.html</span>
<div style='clear: both;'></div>
</div>
<div class='post-footer'>
<div class='post-footer-line post-footer-line-1'>
<span class='post-author vcard'>
Posted by
<span class='fn' itemprop='author' itemscope='itemscope' itemtype='http://schema.org/Person'>
<meta content='https://draft.blogger.com/profile/12097658034347528915' itemprop='url'/>
<a class='g-profile' href='https://draft.blogger.com/profile/12097658034347528915' rel='author' title='author profile'>
<span itemprop='name'>Discount Watches</span>
</a>
</span>
</span>
<span class='post-timestamp'>
at
<meta content='http://nanfan2004.blogspot.com/2021/11/437.html' itemprop='url'/>
<a class='timestamp-link' href='https://nanfan2004.blogspot.com/2021/11/437.html' rel='bookmark' title='permanent link'><abbr class='published' itemprop='datePublished' title='2021-11-18T16:29:00+08:00'>4:29 PM</abbr></a>
</span>
<span class='post-comment-link'>
<a class='comment-link' href='https://nanfan2004.blogspot.com/2021/11/437.html#comment-form' onclick=''>
No comments:
</a>
</span>
<span class='post-icons'>
<span class='item-control blog-admin pid-1402241387'>
<a href='https://draft.blogger.com/post-edit.g?blogID=5707563663905255998&postID=1794778520578774271&from=pencil' title='Edit Post'>
<img alt='' class='icon-action' height='18' src='https://resources.blogblog.com/img/icon18_edit_allbkg.gif' width='18'/>
</a>
</span>
</span>
<div class='post-share-buttons goog-inline-block'>
<a class='goog-inline-block share-button sb-email' href='https://draft.blogger.com/share-post.g?blogID=5707563663905255998&postID=1794778520578774271&target=email' target='_blank' title='Email This'><span class='share-button-link-text'>Email This</span></a><a class='goog-inline-block share-button sb-blog' href='https://draft.blogger.com/share-post.g?blogID=5707563663905255998&postID=1794778520578774271&target=blog' onclick='window.open(this.href, "BlogThis!")
