随着我们将越来越多的工作交给人工智能，我们可能最后需要面对人工智能的权利问题。许多作家已经提出了这个问题，但是在主流目光集中到这一点之前，它依然远落后于人工智能是否会为人类带来危险这个问题。举例来说，英国技术作家比尔·汤普森（Bill Thompson）因其每周的BBC新闻专栏而闻名，他认为将艾萨克·阿西莫夫的第一法则（机器人不得伤害人，也不得见人受到伤害而袖手旁观）写进超级人工智能的代码中有些类似于“为奴隶戴上枷锁或把大猩猩装进笼子，它也折射出我们的信念，即人工智能应该且必须永远服务于人类，而不能成为一种自主的心灵”。如果有人提议将这一条法则作为控制未来人工智能的政策，他认为：“我们在道义上有责任反对它。”
就像人类有与其人工智能助手结婚的权利，我不认为人工智能的公民权利在未来10年内会成为一个大众讨论的话题，但它是个值得考虑的话题。就像如果我们建立一个具有基本意识的生物仿真神经网络，那么强迫它为我们开车或优化搜索排名是对的吗？这使人联想起道格拉斯·亚当斯著名小说《宇宙尽头的餐馆》（The Restaurant at the End of the Universe）中的场景，在书中他描述了一个未来主义的电梯：天狼星控制系统公司的快乐人体垂直传送器。读者获悉，将今天的电动卷扬机驱动电梯与这种人工智能控制的电梯相比，就像“将一包混合坚果与天狼星国立精神病医院的整个西翼大楼相提并论”。天狼星控制系统公司快乐人体垂直传送器有点像第三章说的智能物联网设备，通过预测未来而工作。它甚至在你意识到自己要进入电梯之前，就会出现在正确的楼层去接你，“这样一来，也就免去了等电梯时人们被迫要进行的所有那些单调乏味的交谈、放松以及相互结识”。
但是，种智能电梯很快就厌倦了这种上上下下，产生了斜向运行的念头并付诸试验。道格拉斯·亚当斯将之称为“存在主义式的抗议”。讨论囚禁人工智能是否符合伦理这可能看起来有些可笑，但如果科学家成功开发出了一种人工智能，其行为与我们主张的以符合伦理的方式对待的真正生命体更为类似，那么这种讨论就不会那么可笑了。多年来，许多人工智能标准都已经发生了改变，我们对于“什么可以称之为意识”的看法也发生了变化。举一个著名的例子，法国哲学家、数学家勒内·笛卡儿曾经描写了他认为在建造一种机器时会遇到的挑战，而这种机器就是我们今天称为人工智能的机器。在1637年发表的《谈谈方法》（Discourse on the Method）中，笛卡儿写道：
如果有一些机器跟我们的身体一模一样，并且尽可能不走样地模仿着我们的动作，我们还是有两条非常可靠的标准来判明它们并不因此就是真正的人。第一条是：……它决不能把这些字排成不同的组合以恰当地和人对答，而这是最愚蠢的人都能办到的。第二条是：那些机器虽然可以做许多事情，做得跟我们每个人做的一样好，甚至更好，却决不能做别的事情。从这一点可以看出，它们的活动所依靠的并不是认识。
笛卡儿认为在有灵魂的思想者与一个没有灵魂却栩栩如生的非思想机器之间存在重大区别。“我思故我在。”是笛卡儿著名的人类自我辩解。对于笛卡儿来说，在灵魂尺度上，动物多少表现得有些糟糕。因此，一些笛卡儿的追随者决定四处踢狗。他们的论据是，由于无法达到“最驽钝的人”的思考水平，狗没有灵魂，因此它们的吠叫只是简单的机械反应。
这个标准即使用于人类自身，也存在诸多问题。你只需要看看理论上关于子宫里的胎儿或靠生命维持技术而生存的脑死亡患者是否有生命的辩论有多激烈，你就会明白这个主题有多大的不确定性。人工智能是否有权追求生活、自由和幸福的问题并不是一个需要我们现在就回答的问题，但如同向计算机植入道德，或考虑如何解决潜在的危险软件一样，总有一天我们要面对这个问题。
就像奇点一样，预测即将来临的事物并不像我们想象的那么简单。