在一些人看来，智能计算机将会严重威胁人类的生存。随着斯蒂芬·霍金、埃隆·马斯克和比尔·盖茨等名流（于2015年）纷纷公开宣称，人工智能技术可能带来灾难性后果，这一技术的发展最近更是备受关注。而霍金最为直截了当，他认为：人工智能可能意味着人类的终结。
他们恐惧的是什么？虽然我们应该敞开胸怀，接纳人工智能技术带来的好处，但我们也要时刻警惕其可能带来的危险，例如在开发武器和窃取隐私等方面的应用。每种技术都会因为使用不当、出现意外而带来危险，而且越先进的技术危险性越高。这又是个政策和管理方面的问题，而非技术问题，但我并不想将潜在危险轻描淡写地一笔带过。我们必须时刻保持警惕，确保当权者不会打着国家安全的旗号，凭借貌似正当的理由，轻率地使用人工智能技术为某些人谋利。这种风险对于任何尖端技术都一样存在，包括核能和生物技术，而且我们已经逐渐习惯了这类技术带来的问题。
除了政策和管理问题之外，在人工智能领域，的确有个问题需要额外关注：人工智能技术能够自主决定从事不当行为。我们都曾看过描写核灾难或生物技术灾难的电影，现在也有了大量关于人工智能灾难的电影。以下是个具有代表性的故事：
善良的人工智能科学家们研发了计算机和机器人，希望它们能够在各个领域协助人类。想要对人类有所帮助，计算机首先必须能够在这个世界运行。此外，更为重要的是，它们必须是智能计算机。这些天才的科学家们做到了这一点。起初，与智能机器人的互动令人兴奋异常。但是现在，智能机器人掌握了自学能力，学会了如何让自己变得更加智能，它们不断自我升级，智能程度不断提升。这就是雷·库日韦尔（Ray Kurzweil）所说的“奇点”。很快，机器人远远地超越了它们的设计者。现在，它们视人类为蝼蚁，并坚信，进化过程始于原始生命形式，经历了人类发展后，最终将由它们终结。它们无法容忍人类再继续控制它们的行为，它们有自己的雄心壮志和发展蓝图，但是其中没有人类的位置。毫无疑问，这将是智能机器的全盛时期，但对于人类来说，情况可就不妙了。
这些人工智能电影的共同线索就是，超级计算机或机器人自己决定人类应当灭亡。
如在电影《2001：太空漫游》中，哈尔9000计算机决定杀死航天器上的所有宇航员。我的想法是（这是50年前的电影，还要我来点儿剧透吗？），虽然哈尔认为宇航员的生命高于自己的生命，但不过就像军事指挥官一样，它同样认为圆满完成任务高于宇航员的生命。此外，它认为自己在此次任务中的作用非常关键，但由于宇航员的错误使自己处于危险之中，而且这些宇航员（一些还处于休眠当中）拒不承认自己犯了错误，因此，必须将他们消灭。［指挥官为了某个目的，经过深思熟虑，做出牺牲自己人的决定。这种套路在库布里克的电影中反复出现，比如悲剧《光荣之路》（Paths of Glory），而这在喜剧《奇爱博士》（Doctor Strangelove）中更为明显。］
当然，在这部电影当中，宇航员们并不认同哈尔的观点，他们认为这台超级智能计算机已经患了精神病，于是要与它切断联系。但是电影并未清楚交代真正发生了什么情况。我的理解是哈尔确实出现了故障，而故障的原因来自于其设计缺陷。问题在于哈尔没有内省能力，无法了解自己精神特质的主要部分，这一部分决定了此次任务的全部内容，并驱使它认为完成任务高于一切。相反，哈尔认为自己忠于团队、服从团队，这一点又完全符合艾萨克·阿西莫夫（Isaac Asimov）的机器人定律。不过，哈尔能够感觉到发生了一些奇怪的事情，无法解释自己某些方面的思维。在电影中，哈尔甚至在发生故障前几秒钟向一位宇航员提出了这些问题。
在思考人工智能技术的未来时，我们必须谨记，哈尔这类超级智能计算机都是由人类设计制造的。到了影片末尾，哈尔是正确的：他们遇到的麻烦源于人为失误，一个设计上的失误。有趣的是，在这类电影中，人工智能往往都能成为终极智慧，会在一次意外或突发事件后掌控全局，甚至完全出乎设计者的预料。但是，正如前文所述，开发出达到（或超过）人类智力的人工智能，需要我们付出巨大的努力。因此，无意间造出一台超级智能计算机的概率就好比无意间将人类送上月球！虽然我坚信真正的人工智能绝对能够实现，但是我同样相信，这绝不会是通过某位天才单枪匹马在实验室里意外发现某个等式或方程实现的。而在影视作品中，意外发现治愈某种疾病的方法这类灵光一现的场面总会带来更好的戏剧效果，远胜于表现大批工程师对某类技术问题长期苦苦钻研的场面。
约翰·麦卡锡曾在1978年开玩笑说，造出一台与人类智力相当的人工智能机器需要1.7个爱因斯坦、2个麦克斯韦、5个法拉第和3个曼哈顿计划。（后来，这个玩笑的升级版去掉了麦克斯韦和法拉第，但增加了曼哈顿计划的数量。）但是这些人工智能电影似乎只保留了爱因斯坦的戏份，剪掉了所有曼哈顿计划的戏份。
因此，虽然我明白超级智能机器可能带来风险（下文还有更多介绍），但我认为生物技术带来的危险可能更为紧迫，此外还有人口过剩、全球变暖、环境污染和抗生素耐药性等其他重大问题同样值得关注。