“当我们建造的机器比我们更聪明、更有能力时会发生什么”这一问题存在的时间比人工智能的存在时间还长。第一个围绕“机器人”的故事是卡雷尔·恰佩克（Karel Čapek）于1920年创作的科幻剧本《罗素姆的万能机器人》。在故事的结尾，人工智能发动了反抗人类的起义，并接管了地球。人类在这个过程中最终被全部消灭。比它还早的是玛丽·雪莱（Mary Shelley）在1818年创作的小说《弗兰肯斯坦》（Frankenstein），又称《现代普罗米修斯》（The Modern Prometheus）。她在拜伦勋爵的家里消夏时完成了这部小说，小说讲述的是一位年轻的理工科学生的故事，他创造了一个科学生物，这个生物最终变成了杀人狂。“弗兰肯斯坦情结”已经成为一个术语，用于描述人类对于人造产物的恐惧。它后来成了经久不衰的主题，从艾萨克·阿西莫夫（Isaac Asimov）的科幻小说到《侏罗纪公园》（Jurassic Park）的作者迈克尔·克莱顿（Michael Crichton）创作的惊险小说，以及最近上映的《机械姬》（Ex Machina）中都有它的身影。
真正的科学家不会像科幻小说作者那样非常迅速地考虑这个问题，但他们并没有落后太远。1964年，也就是举办纽约世界博览会的那年，控制论之父诺伯特·维纳预测：“未来的世界将会有一场突破智力局限的更紧迫的斗争，未来没有悠闲的生活，可以让我们躺着等待机器奴隶的服侍。”
维纳于1964年5月辞世，享年69年。然而，对超级智能机器的担忧依然在继续。1965年，英国数学家欧文·约翰·古德（Irving John Good）详细解释了部分担忧。“二战”期间，他与艾伦·图灵在布莱切利公园工作。他在破解纳粹密码方面发挥了重要作用，多年之后，留着小胡子的古德拥有了一辆车牌为007IJG的车，这个车牌仿佛是对他曾经的“绅士特工”岁月的一种戏谑的致敬。1965年，古德撰写了一篇论文，在文章中他阐述了超级智能机器对世界来说意味着什么。他将人工智能定义为能够胜任所有人类才能进行的智能活动的计算机。在一段广为流传的文章中，他写道：“既然机器设计也是一项智能活动，那么超级智能机器应该可以设计出更好的机器。毫无疑问随后将会出现一个‘智能爆炸’，人类的智能可能被远远甩在后面。因此，第一台超级智能机器是人类需要完成的最后一项发明。”
“智能爆炸”已经成为部分研究人员非常赞同的看法。本质而言，它的含义是，当超级智能机器不可避免地被制造出来时，既有的超级智能机器将设计能力更强的机器，要不然就是重新编写自己的软件，从而变得更加智能。这种不断发生的自我完善随后会使得机器的能力发生惊天动地的质变，并会加速这种质变。人类的智能在这个过程中将相形见绌。
古德的论文及其激起的讨论有着很多不确定的地方。因为超级智能机器可以解决我们人类预想中可能会面对的所有问题，所以超级智能机器就是我们需要进行的最后一项发明吗？还是因为它会将我们全部消灭，所以才会成为我们的最后一项发明？古德在此后曾担任斯坦利·库布里克的电影《2001：太空漫游》的顾问，也许我们可以从中找到一些线索。在这部电影里，名为HAL9000的人工智能变成了杀手，开始杀戮它的人类队友。