神经网络在21世纪中叶迎来了又一次重大进展。2005年，杰夫·辛顿在多伦多大学任教，此前不久，他一直在英国伦敦大学学院工作，在那里建立了盖茨比计算神经科学组。这时，人们已经清楚地认识到，互联网能够生成大量数据集，这在10年前是想都不敢想的。如果说以前的研究人员面临的问题是没有足够的数据来对系统进行适当的训练，那么互联网的兴起则大大改善了这一状况。如今，据国际数据公司等研究公司估测，目前网上在线数据量约为4.4泽字节[1]。记者史蒂夫·洛尔（Steve Lohr）在其所著的极为有趣的《数据论》一书中指出，如果能将这些数据输入iPad Air（苹果超薄平板电脑）中，那么产生的堆栈将能够覆盖地球到月球距离的2/3。
然而，就像地球虽然有大量的水，但并不是所有水都可以喝一样，这些数据中好多都是未标记的。当数据集较小时，研究人员可以将主要精力放在正确标记所有数据上，这对训练系统来说更加有用。然而，随着数据量的增加，研究人员就无法再这样做。例如，2013年3月，网络相册Flickr共有8 700万注册用户，他们每天上传超过350万张新图片。从理论上看，这对那些想要建造一个能够识别图片的神经网络的人们来说是一个天大的好消息，但同样也提出了挑战。正如我们所看到的，训练神经网络最简单的方法就是向其展示大量图片，然后指出每张图片都是什么。通过标记图片，训练员既提供了输入（图片），又提供了输出（描述）。神经网络就可以反向传播，以纠正错误。这就是我们所了解的“监督式学习”。但是，流通中还有许多未标记或没有正确标记的图片，计算机如何对其进行识别呢？
幸运的是，杰夫·辛顿掀起了一场“非监督式学习”的革命，这种学习方式无须向计算机提供任何标记。机器能够访问的只有输入，无须解释它看到的是什么。首先，这听起来像是机器无法通过这种方式学习。如果没有得到明确的解释，即使是最智能的神经网络也不会知道某物到底是什么。实际上，辛顿发现的是“非监督式学习”可以用来训练上层特征，而且每次只能训练一层。这一发现成为“深度学习”的催化剂，而“深度学习”就是当前人工智能最炙手可热的领域。
我们可以将深度学习网络想象成工厂的一条生产线。输入原材料后，它们将随着传送带向下传递，后续的各个站点或层会分别提取不同的高级特性。为了继续完成一个图像识别网络的案例，第一层将用来分析像素亮度。下一层将根据相似像素的轮廓来确定图中存在的所有边界。之后，第三层将用来识别质地和形状等。到达第四层或第五层时，深度学习网络已经创建了复杂特性检测器。这时，它就能够了解4个轮子、挡风玻璃和排气管通常是同时出现的，眼睛、鼻子和嘴也是同时出现的。它不知道的仅仅是汽车和人脸都是什么样的。深度学习网络能够识别的许多特性可能都和手头的任务无关，但是其中有一些特性却是和手头任务高度相关的。
辛顿解释道：“训练这些特性检测器时，每次训练一层，这一层都试图在下面一层找到结构模式。之后，就可以在顶部贴上标签并使用反向传播来进行微调。”结果深深震撼了人工智能界。辛顿回忆道：“其中涉及一些数学问题，这总会给人们留下深刻的印象。”
有关深度学习的消息迅速传开。辛顿实验室的两名成员乔治·达尔（George Dahl）和阿卜杜勒–拉赫曼·穆罕默德（Abdel-rahman Mohamed）迅速论证了该系统不仅能够进行图像识别，还能够进行语音识别。2009年，俩人将其新创建的语音识别神经网络与已经使用了30多年的行业标准工具放到一起一较高下，结果是，深度学习网络获得了胜利。这时，谷歌邀请辛顿的一位博士生纳瓦迪普·杰特列（Navdeep Jaitly）修补谷歌的语音识别算法。看了一眼之后，他建议用深度神经网络取代整个系统。尽管一开始持怀疑态度，但杰特列的老板最终同意让他尝试一下。事实证明，新的程序比谷歌精心调试数年的系统表现还要出色。2012年，谷歌将深度学习语音识别程序嵌入安卓移动平台，错误率与之前相比立刻下降了25%。
那年夏天，辛顿终于收到了谷歌的电话。这个搜索巨头邀请他夏天到位于加利福尼亚州山景城的校园工作。尽管辛顿当时已经64岁了，谷歌却将他定为“实习生”，因为员工必须严格服从公司政策，即必须在公司工作好几个月之后才能被授予“访问科学家”的头衔。尽管如此，辛顿仍然加入了由20岁出头的年轻人组成的实习生组。他甚至还戴上了新实习生们专用的上面带有螺旋桨图案的帽子，被称作“新谷歌人”（Nooglers）。辛顿说：“我一定是史上最老的实习生。”当时，他开玩笑似的表示，那些并不知道他是谁的年轻同事肯定是把他当作“老笨蛋”了。
辛顿在谷歌的工作涉及为其他潜在的应用提出有关深度学习的建议。那年夏天的工作进展得十分顺利，第二年，谷歌正式聘用了辛顿。除他之外，谷歌还聘请了他的两名研究生，辛顿和这两名研究生共同创建了一家名为“DNNresearch”的公司。辛顿在一篇声明中写道：“我会继续在多伦多大学兼职任教，在那里我还有很多出色的研究生，但是在谷歌我能够看到我们如何处理超大型计算。”
在神经网络领域孤独地耕耘了30年后，杰夫·辛顿最终在世界最大的人工智能公司发挥了重要作用。