深度学习教父专访：AI已跨越重要分水岭

　　【中国智能制造网 名家论坛】Geoffery Hinton生于英国，被认为是机器学习的先锋，现在是多伦多大学教授，谷歌研究员。Hinton早在20世纪70年代就开始进入AI研究领域。以下是《福布斯》网站对Hinton的专访，发表于2016年6月20日。　　
　　从人脑到深层神经网络
　　
　　【PeterHigh】此前在多伦多大学，你的目标是发现一种学习过程，能有效地在大型高维数据集中找到复杂的结构，并证明这就是大脑学习理解事物的方式。能不能谈一谈这个，以及你在多伦多大学和谷歌都在研究什么？
　　
　　【GeoffreyHinton】显然，大脑非常善于处理非常高维的数据，并做出理解。例如，来自视觉神经的信息通常是百万量级的，并且几乎是即时的。大脑对此作了大量的解读，当我们获得视觉输入时，我们通常都会获得正确的理解。眼前是一只狗，我们看到的不会是一头大象。在心理实验中，有时候会出错，但是从整体上来看，我们非常善于发现现实生活中发生了什么，这要得益于这些非常高维的输入。在我们进行了大量的学习后，每次我们或多或少都会得到正确的答案。这是一种非常厉害的能力，计算机目前还没有。我们正在接近（让计算机拥有这种能力）。但是，这和统计学不太一样，在统计学方法中，你拥有的是低维数据，并且用于训练的数据也没那么多，而且，你训练的是一个很小的模型，并不会有太多的参数。
　　
　　大脑吸引我的地方在于，它有着大量的参数，比拥有的训练数据更多。所以，这和目前取得成功的神经网络有很大的不一样。目前，我们拥有数百万量级的神经网络，我们在数百万个样本上进行训练，效果都不错，有时候是几十亿的量级和几十亿的样本。但是，通常我们拥有的参数并不会像训练数据那样多，这跟大脑是不一样的。在每一秒的经历中，大脑拥有上万个参数。事实上，关于这样的系统如何工作，以及怎样让它们善于在数据中找到结构，我们并没有太多的经验。
　　
　　真正的人工智能，“我们已跨越重要的分水岭”
　　
　　【High】在发展真正的人工智能上，你怎么看？
　　
　　【Hinton】我认为我们已经跨越了一个十分重要的分水岭。不久之前，AI圈内大多数人所做的AI还是由逻辑学驱动的。这种智能的范式是逻辑推理，并且一个内部的表示看起来会是什么样，取决于它是属于哪一种象征结构。拥有大型的神经网络后，这已经完全被改变了。我们现在把内部表示看成是一个巨大的向量，并且，在如何让事物起作用上，我们并不会把逻辑作为一种范式。我们仅仅认为，你可以利用这些大型神经网路，它们可以学习而不是编程，你可以让它们学习所有的事情。许多年以来，AI圈内的人都认为这只是一个白日梦。
　　
　　有一些事情，人们会直接地认为是痴人说梦，举个例子：取一串英语单词以及另一串与之匹配的法语单词，双方在翻译上是对称的，在进行充分配对之后，你可以训练一个大型的神经网络，这样一来，以后如果你给这个神经网络一个新的英语单词，它就能把单词翻译成一个质量合格的法语。
　　
　　现在，我们在这上面依然没有做到好，但是既有的神经网络已经是先进的，处理的速度有了很大的提升，并且，我认为很快会在实践中得到应用。
　　
　　早在二三十年前，人们可能会说，这个想法完全是疯狂的。当然，你需要用语言学和现实世界的知识对大量的知识进行编程。
　　
　　一个相当愚蠢、简单的学习算法，能够仅仅从数据中进行学习，而不需要加入任何真实的语言学知识。这一想法听起来似乎完全是荒谬的。
　　
　　但是现在，对于思考过大脑的人来说，这也没有那么荒谬，因为这基本上就是大脑所要做的事。但是，正如我所说，AI已经跨越过了这一分水岭。AI圈内大多数人，尤其是年轻人，现在相信，如果你先要一个拥有大量知识的系统，比如，所拥有的知识需要花费上百万比特来量化的那些，那么获得一个包含所有这类知识的良好系统的办法是让系统可以从中进行学习。你并不需要把这些知识手动地输进去。
　　
　　用神经网络做真正的递归
　　
　　【High】你曾说过，随着技术的进步在许多不同的地方得到体现，正如此前描述的那些一样。你已经从一个从狂热分子转变到狂热核心了。
　　
　　【Hinton】对。我们中的许多人多年来一直有一个信仰，那就是如果我们有足够强大的计算能力，有足够多的数据，那么我们的技术就会起作用。我们现在已经证明了这一点。现在，我们的技术在进步：你让计算能力更强大，我们就能制作更好的模型；你给我们越大的数据库，我们就可以制作更好的模型。但如果你只是把所有的事情都编程，这就无法实现。
　　
　　【High】你在20世纪70年代就开始学习人工智能，虽然计算机技术的进步在帮助你实现目标，但是其中也面临着挑战。能不能讲一下是什么激励你选择人工智能，而不仅是拿下博士学位，还把其作为自己的职业呢？
　　
　　【Hinton】我想这可以归纳如下：不管怎么说，大脑都是在工作，而关于大脑如何学习，如何使用这些缓慢的神经元来计算，这确实是一个很大的疑惑。我一直以来的动力主要是，在大脑中，我们很清楚地知道人可以获得智能，而这跟数字化的计算机是很不一样的。具体说来，就是大脑中并没有人在编程。
　　
　　我记得，1973年，在爱丁堡大学，我作为研究生参与的第二个项目时，有人向我解释神经网络已经过时，并且没有机会得到应用。他们还说：“当然，神经网络了做不了递归（recursion）”，当时，递归被认为是智能的本质。我似乎必须要展示神经网络如何做递归，才能跟他们进行辩论。所以我开始准备展示如何在一个神经网络中做真正的递归。我所说的“真正的递归”指的是，怎么在网络中使用连接强度来做一些事情。如果我们处理这样一个句子“John did not like Bill because he was rude to Mary”，“he was rude to Mary”，是一个内嵌句，我必须使用处理整个句子时使用的相同的连接和神经元来处理这个句子。
　　
　　我要做的是存储我对句子的处理，随后，去处理嵌入句，然后把从嵌入句子中获得的信息融合到所存储的句子中。我计划去做一个神经元网络，要能做真正的递归。并且，通过在承担存储任务的神经元间施加暂时的权重，还真的做到了。我记得我曾对一个研究小组解释了这一方法，他们都不知道我为什么会要做这些。有趣的是，我当时解决了一个刚刚变得流行的难题。十多年之前，如何真正做到递归就已经是一个流行的难题，花了40多年，人们才真正认识到这是一个需要解决的问题。
　　
　　NCAP，Hinton的私人大脑俱乐部
　　
　　【High】作为神经计算与适应性感知程序（NCAP）的创建人，这是一个集合了计算机科学家、生物学家、电子工程师、神经网络科学家、物理学家、心理学家的网络。你能不能谈一下合作的重要性，还有怎么找到这些的思想家，让他们一起合作。
　　
　　【Hinton】一个人没必要在所有的这些领域都是专家。这太难了。你需要的是一个单个领域的专家，但是他也要理解项目主要是关于什么的，你在不懂的时候，就能问他们，而不需要自己去阅读大量的文献，再说，有时候你也不知道哪些论文是值得信任的。如果你有一个专家，他们会告诉你这些。这能为你节省大量的时间，他们可以从自己的视角出发，告诉你哪些事情是很蠢的，哪些不是。
　　
　　【High】NCAP是“只有邀请才能加入的”。能不能谈一下你是怎样建立这一网络的，在具体的项目中又是如何应用的。
　　
　　【Hinton】首先，我们建立NCAP时目的是相当简单的。我只是想到了我认识的所有人，所有善于交际的聪明人，并尝试把他们都拉到项目里来。有三个条件：你必须很聪明；你必须要善于互动；你必须要对大脑是如何运转的感兴趣。这一项目已经展开很多年了，我也认识了一些这类的人，我们刚好混搭得很好。
　　
　　【High】从2004年以来，计算能力急剧提高，所以，在把创意变现上，也变得更加迅速。你怎么看待你在NCAP获得的成果。
　　
　　【Hinton】从NCAP中，确实有一些成果。不只是神经网络。人们还做了许多别的事情，比如感知和控制。长期以来，获得认可的是深度神经网络。2004年以前，有一种广泛的认识是，训练多层的神经网络是很难的，NCAP中的许多人认为，只用监督式学习，很难在神经网络中做翻译。所以，回过头去看，有点奇怪的是，我们当时都把注意力放到了非监督式训练：在不了解网络正确的输出是什么样的情况下，你怎样才能一次学习一层。每一层都在尝试对下一层的结构和数据建模。这是深度学习获得的又一个重大突破：事实上，通过这些预训练，我们能让在深度网络中的学习变得更加容易。
　　
　　随后，人们发现，有了足够的数据和计算能力，在没有预训练的情况下，去学习这些深度网络也变得相当容易。在很多情况下，当你有了大量的数据，比如语音和许多视觉的问题上人们都已经不再考虑使用预训练。但是，预训练正是让深度网络再运行的催化剂。一旦我们知道深度网络能再次工作，我们便发现了它们其实能在没有经过预训练的情况下再工作。
　　
　　我想这解释了为什么让无监督学习了解深度网络是许多研究者都要处理的相同主题，并且，我认为，这是NCAP早期产出的一个成果。