哲学家、《超级智能》（Superintelligence）[1]的作者兼著名存在性风险学者尼克·波斯特洛姆通过一系列反乌托邦的思维实验向公众发出了关于人工智能的警示。在他的一项“噩梦实验”中，广义人工智能的目标是实现回形针产量的最大化。波斯特洛姆认为，这台让回形针产量最大化的机器为了开发更加成功的回形针生产技术而不断提高自身的智能，最终成为他所说的超级智能。基于这种智能水平的不断提高，该思维实验推测这台机器在某一天会把我们的整个太阳系变成一堆回形针。37
虽然我尊重波斯特洛姆和他的研究，但我对这一思维实验表示质疑。正如我之前所述，广义人工智能的特点是越来越复杂的目标设定。积累回形针的目标太过愚蠢以致机器本身无法变得非常智能或有创造力。
然而，波斯特洛姆的研究鼓励我们思考的是这一“实用功能”理念，或者叫根据对个人的实用程度对备选方案进行排序的数学函数。大部分人的期望都是由许多目标组成的。比如，如果希望获得幸福，那么我们的目标就是改变生活中的各种体系。除了花更多时间陪伴家人和获得更多的睡眠之外，我们可以进行体育锻炼和在社区中从事志愿活动。另一方面，狭义的“实用功能”会转而利用数学方法找到最快捷的途径，实现特定结果的最大化。这就是波斯特洛姆所提出的存在性风险。如果我们把提升人类幸福感作为广义人工智能机器的一个目标，那将发生什么？
机器都会追求实现这一目标的最快方法，不管带来何种后果。机器可能会选择一种超级算法，制造探针刺激入睡者分泌内啡肽，或强迫喂食鸦片，从而使人获得生物化学中界定的精神愉悦感。目前执行“实用功能”的机器仅限于象棋等有限的领域，但未来广义人工智能的“实用功能”必定是复杂的。即便如此，这些机器还是有可能重新评估自己的“实用功能”。我们能否控制这些目标？可能不行。马斯克等反对进一步发展人工智能的人认为，仅凭这一事实就应该减慢科学进步的速度。他们认为，目前唯一让我们免于灭顶之灾的原因是人工智能还没有宏大的目标。
我们不是预言家，我们中的任何人都无法预测人工智能的未来目标。我们可以知道的是当今世界所面临的现实。在我看来，人类中的穷凶极恶之辈比未来任何的广义人工智能都要危险。在短期内，相比于让回形针产量最大化的机器，一个能够控制先进狭义人工智能的疯狂领导者要危险得多。鉴于目前实际存在的威胁，停止发展更先进的智能技术于我们而言有何益处？更值得警惕的是，如果我们停止研究，而其他一些不怀好意的政治力量仍在继续研究，那我们该怎么办？
许多善良、智慧和理性的人都赞成限制和禁止特定类型的人工智能研究，尤其是对可能用于军事的系统的研究，而我对此的观点是，这些禁令不可能起到预期作用。
事实上，与许多过去的制裁和禁令一样，此类措施可能只会让我们试图禁止的集团和组织开展隐藏的地下项目。
以核武器扩散的历史为例。核武器已经传播到美国之外，而美国是第一个开发出这种武器的国家。俄罗斯、美国、英国、法国、印度、巴基斯坦、以色列、南非、朝鲜等都拥有核武器，伊朗也可能拥有核武器。在大部分情况下，这些国家会受到严格的制裁，甚至连军民两用系统的出口也被禁止，但现状又如何？事实上，许多分析家认为由于中东复杂的盟友与敌对关系，伊朗核武器的开发意味着沙特阿拉伯、阿联酋和土耳其如果目前还没有开发核武器，那么它们很快也将这么做。38
另一个例子是无人作战飞机（UCAV）。美国在这一领域起到了带头作用，并且在全球地区战争中广泛地使用“掠夺者”和“收割者”无人机，许多美国的盟友和敌人都想要获得这项技术。比如美国的两个盟友巴基斯坦和沙特阿拉伯都要求获得无人作战飞机技术。在遭到拒绝后，它们开发了本土技术。土耳其航宇工业公司（TAI）开发出Anka中海拔长距离无人飞机。39作为全球受制裁最严重的国家之一，伊朗也已开发出多种非常先进的无人机。其中包括一种隐形无人机，它似乎是复制于美国的RQ–170型飞机。40伊朗曾侵入一架RQ–170型飞机并迫使其降落在伊朗的领土上。
除了这些具体的例子之外，我们还需要思考这些禁令背后的心理，尤其是当它们与战略技术相关时。囚徒困境是博弈论中最著名的问题之一，它为我们提供了一种围绕不同的人工智能的未来进行情景规划的有效工具。41囚徒困境指的是这样一种境况，一个团伙的两名成员A和B被逮捕并分开关押。如果他们互相背叛，则每个人要坐两年牢。如果A背叛B，但B没有背叛A，则A将无罪释放，B将被判刑三年。如果他们都保持沉默，则各自服刑一年。虽然看起来保持沉默是“最划算”的行为，因为双方所受到的惩罚最小且相同，但他们都不相信对方会采取这一“最划算”的行为。理由是只要背叛对方，就有可能被无罪释放。A和B都不得不考虑对方可能采取最有利于自己的选择，而且如果这样的话，被背叛的一方将被处以最大的惩罚（三年有期徒刑）。因此，双方经过考虑后所采取的行为往往是互相背叛，并一起“蹲”两年牢房。
现在让我们把这个困境扩展到人工智能禁令上。人工智能无疑是一项对机器、制造、能源、国防等所有领域产生革命性影响的技术。如果军事领域的人工智能被禁止，那么许多国家都会开始像囚徒困境中的A和B那样思考：
情景1：如果一个国家遵守禁令，而其他国家暗中继续开发人工智能武器，那么其他国家的优势就会被最大化，而遵守禁令的国家将会处于极大的劣势。
情景2：如果所有国家自愿放弃开发并遵守禁令，那是最好的情况，但谁也无法保证这种情况会出现。与囚徒一样，这些国家会在未充分掌握其他国家决定的情况下在内部做出决定。
情景3：如果所有国家都开发出先进的人工智能技术，此时的情况不如每个国家都遵守禁令那么美好。虽然风险依然存在，但至少所有国家都会意识到，如果它们中的任何一个国家使用人工智能武器，都会遭到抵抗。换言之，将出现威慑。
我们是否应该祈祷人工智能被用在好的地方，被用来造福我们而不是伤害我们？我们是否应该专注于这个目标并努力使其成为现实？当然如此，但我们不应该自我麻痹，认为通过一纸禁令就能解决问题。人工智能已经存在并且将继续存在，它将变得越来越聪明和能干。到时候，任何禁令都无法阻止创新的爆发。
我们真正需要做的是，在可解释的人工智能、道德体系和人工智能安全等领域加倍投资，以此加快人工智能的发展速度，而不是在强制命令和禁令这条路上越走越远。这些才是真正的技术、能力和算法，它们能安全处理事故并防止技术滥用。以无人驾驶汽车为例，我们需要将生命托付给多种执行感知和决策任务的机器学习算法。
在这种情况下，设定超高的安全性与可解释性标准可谓迫在眉睫。比如我们可以通过指标保证狭义人工智能每一百万小时的错误数量是人类的十分之一、百分之一或千分之一。我们可以从非常熟悉这些指标的航空业获得这方面的灵感。航空技术，包括半智能控制系统等，每天都需要负责保障数百万人的生命安全。因此，目前飞机比由人类完全控制的汽车要安全得多。这个例子说明，我们可以通过类似于当下智能控制系统的方式提升狭义人工智能系统的安全性。
然而，这个方案面临着一个关键质疑，而这值得我们在此讨论。作为目前最成功的机器学习系统，深度学习系统利用了神经网络、大规模收集统计权重和激活函数。在人类看来，这些其实都是乱七八糟的数字，它们在经过不断调整后，可以用来解释新的数据。在这些结构中，对大多数人类观察者来说，知识和学习的表示方式根本无法辨识。因此，批评接踵而至。这些系统似乎成了一个个“黑匣子”，人类无法探究和分析。
这一批评是对的，人工智能界必须赶快补救这个问题。我自己的研究重点是自主式控制系统的可解释性与安全性 42，而美国和全球的一些著名研究者正在研究其他可以提高人工智能控制系统（自主系统）可解释性与安全性的方法。美国国防部高级研究计划局（DARPA）作为美国国防部负责尖端科技研发的部门，在过去几十年主持开展了许多前沿性研究，其中一个名为xAI的项目专门资助可解释性领域的研究。43
这些都是严肃而重要的工作，它们试图让狭义人工智能变得可以被理解、被说明，并且最终能以直接和具体的方式被修改，从而防止得出错误的结论或保留错误的事实。
正如其他新兴技术一样，关于人工智能的未来使用及其安全性问题，将出现许多不同意见。虽然要面对诸多挑战，但我会始终保持乐观的态度，相信我们能够开发出可解释的安全系统，从而大规模部署人工智能。更重要的是，我相信人工智能的益处将超过它的风险和缺点。在我看来，现在唯一需要做的就是加倍努力发明出更加容易被理解和被说明的系统。
无论对人工智能的态度是乐观还是悲观，你都必须记住，科技一旦被释放就不可能再回到“瓶子”中。好奇是人的本性。在历史长河中，我们一直展示着无止境的发明欲望。我们不可能停止发明吗？我认为是不可能的。出色的发明家创造出各种各样的东西，而创造出能够进行自我创造的东西是任何发明家的最高成就。