我们所看过的所有科幻电影和书籍将一个预期深深地植入我们的脑海中，让我们相信某个奇点式的“临界点”最终将会到来，到时候，通用人工智能就会出现。设备将越来越智能，直至有一天，在硅谷一间秘密研究实验室的深处，一条消息突然出现在马克·扎克伯格或谢尔盖·布林的电脑显示器上，该消息称通用人工智能已经实现。就像厄内斯特·海明威（Ernest Hemingway）写过的关于破产的内容，通用人工智能先是逐渐地酝酿，然后就突然诞生了。这是电影惯用的叙事手法，如詹姆斯·卡梅隆（James Cameron）的力作《终结者2：审判日》（Terminator 2: Judgment Day）里描绘的那样。在这部影片里，观众获悉超级计算机“天网”于美国东部时间1997年8月4日凌晨2点14分具有了自我意识。当天凌晨2点13分的时候，计算机用户可能都对自己搜索引擎的搜索结果史无前例的精确而感到惊奇，或者对《命令与征服之红色警报》（Command and Conquer: Red Alert）里人工智能采取的超级战略感到惊奇（嗨，这是1997年！）。2点15分，喀——嘭——！生命终结了！
在摩尔定律主导的世界里，计算力量的发展像钟表一样可以预测，超级智能也很难挣脱这种预测。就像苹果的新一代iPhone的发布，人人都想知道预计的发布日期。比如，上一章里所提及的雷·库兹韦尔就预测奇点会在2045年出现。
库兹韦尔之于奇点就像史蒂夫·乔布斯之于智能手机：他们都不是第一个想到创意的人，但却是推广它的人。作为11家公司（包括为Siri提供语音技术支持的人工智能公司Nuance）的创始人，库兹韦尔一直被不亚于比尔·盖茨的权威人士赞为“预测人工智能未来的最佳人选”。《福布斯》杂志的称赞甚至更上一层楼，它称库兹韦尔是“托马斯·爱迪生的后继者”，甚至是“终极思考的机器”。与悲观主义者截然相反，库兹韦尔认为奇点对人类而言绝对是有益的：技术人员会经历《圣经》中所形容的狂喜，在这种狂喜之中，一切问题都迎刃而解，而且我们所有人，甚至是技术大亨，也永远都不必再运用自身的智慧了。
但是，并非所有人都相信奇点会如此神奇。正如艾伦·图灵通过图灵测试所指出的那样，“机器能否思考”这一问题毫无意义，因为几乎不可能评估出任何肯定的结果。在上一章里，我们可以发现，认为随着计算机的速度越来越快，计算机自然而然地会产生意识的看法有些过于简单了。考虑到区分弱人工智能与强人工智能的难度，一些人错误地认为，在弱人工智能中，人工智能得到的结果是预编程后的结果，是用一种算法执行特定的一系列步骤进而获得一个可预知的结果。这就意味着，如果训练过程执行恰当，人工智能基本不可能产生不可预知的结果。然而，基因算法可能生成我们意料之外的解决方案。程序员以“目标函数”的方式设立了算法目标，但并不完全知道计算机会如何实现这个目标。这同样适用于人工智能为了实现目标而创建的种种策略，和第三章所讨论的强化学习领域一样。在两个场合里，人类创建者都无法按部就班地预测人工智能的“自发”行为。
当涉及意识的迹象时，一切都变得更加复杂了。举例来说，如上一章所述，如果在计算机内部成功复制线虫的神经系统，这是否代表实现了通用人工智能？尽管这种突破可能产生种种改进现有机器学习工具的见解，但或许回答仍是：这不能代表实现了通用人工智能。线虫的行为中可以被视为智能行为的相对较少。处于食物链高层的动物也是如此。尽管我们坚持认为，目前的狭义人工智能仅能在严格指定的领域中运行，但是这一点同样可以适用于几乎所有生命形式。蜜蜂可以建筑蜂巢，但不能建造水坝或土堆；海狸可以建造水坝但不能建造蜂巢和土堆；白蚁能建造土堆却不会建造蜂巢和水坝。到目前为止，在所有动物中，人类拥有的技能最通用，但我们仍有某些更为擅长的行为和较不擅长的行为。如果我们构建一个单用途人工智能，这个人工智能在一个领域中拥有“意识”和推理能力，而在其他领域中没有“意识”和推理能力，那是否实现了通用人工智能？鉴于今天的神经网络越来越擅长执行感知任务，却仍然无法理解伦理等话题，这一假设十分合理。
即使假设库兹韦尔关于指数级增长的理论继续适用，那么所有事物也不可能一次同时出现，更不用说制定准确的时间表了。
“他对最近几年发展情况的预测能力令我大为震惊。”当我向杰夫·辛顿问及他对库兹韦尔的奇点理论的看法时，他略微迟疑了一下，随后说：“这是个讽刺。”
“看透未来就像看穿迷雾，”辛顿继续说道，“当你置身迷雾中，咫尺距离可能看得非常清楚。如果你看向稍远的地方，就会有些模糊。但如果你再将目光放得更远，你根本什么都看不到。这是因为看透迷雾的难度呈指数级增长。每穿透一段距离的迷雾都将失去一定比例的光线。”那么，这就意味着我们完全找错目标了吗？并不全是。“我们的技术将越来越好。”他说，“我看不到有任何理由表明生物大脑必须成为终极的思考机器。我认为，最终他们能够设计出比自身好的东西。那么，问题就成了：政策是什么以及人们决定要用技术去做什么。如果国家掌权人希望建造入侵小国家的机器人杀手，从而不牺牲任何美国人，那么这就是我们要面对的结果。”
但这不只是人工智能在遥远未来的应用，或者通用人工智能的发展，它现在就带来了挑战。