2016年深度学习进展综述 挖掘其大潜力

　　【中国智能制造网 智造快讯】深度学习在机器学习领域中一直是核心话题，在过去几年和2016年也是如此。在本文中将阐述我们认为该领域中有贡献(或有潜力)的进展，以及组织和社区如何确保这些强大的技术对所有人都有利。

 

历史上研究人员所努力的主要挑战之一是无监督学习 。我们认为2016年对于这一领域来说是一个伟大的一年，主要是因为在生成模型上进行了大量工作。

此外，自然地与机器交流的能力也是梦想目标之一，并且诸如Google和Facebook之类的巨人已经提出了几种方法。在这方面，2016年所有关于自然语言处理(Natural Language Processing，NLP)问题的创新，是实现这一目标的关键。

无监督学习
　　
无监督学习是指从原始数据中提取模式和结构，无需额外信息的任务，而不是需要标签的监督学习。

对于这个问题，使用神经网络的经典方法是自动编码器(autoencoders)。基本版本由多层感知器(Multilayer Perceptron，MLP)组成，其中输入和输出层具有相同的尺寸大小，并训练较小的隐藏层以恢复输入。一旦训练完毕，从隐藏层的输出对应于可用于聚类、维数降低、改进监督分类甚至用于数据压缩的数据表示。

生成式对抗网络(GAN)
　　
近年来出现了基于生成模型的新方法。所谓生成式对抗网络，它能够解决模型无监督学习的问题。GAN是一场真正的革命，这种研究带来了深远的影响。在这个演示视频中，Yann LeCun(深度学习的创始人之一)说，GAN在过去20年里，是机器学习重要的思想。

虽然生成式对抗网络早在2014年由Ian Goodfellow提出，但直到2016年，GAN才开始显示出真正的潜力。改进的技术帮助培训和改善体系架构(深卷积GAN)，据介绍，今年已经修正了以前的一些局限性。新的应用程序(我们稍后列出其中的一些)展现了它们的强大和灵活性。

直观的想法
　　
想象一下，一个有抱负的画家，想做艺术赝品(G)，还有人想通过鉴定画作来谋生(D)。你首先给D展示了一些毕加索的画作。然后G制作赝品，试图欺骗D，使其相信是毕加索的原作。有时候会得逞。然而，当D开始熟悉更多毕加索风格(学习更多的样本)，G就越来越更难欺骗D，所以他必须做得更好。随着这个过程的持续，不仅D能够很好地分辨出哪个是毕加索的风格，哪个不是;而且G也能得以提高仿毕加索绘画的能力。这就是背后GAN的设想。

技术上来说，GAN由两个网络之间的持续推动(因此“对抗”)：一个生成器(generator，G)和一个辨别器(discriminatory，D)。给定一组训练示例(如图像)，我们可以想像，有一个底层分布 (x)来管理它们。使用GAN，G将产生输出，并且D将判断它们是否来自训练集合的相同分布。

G将从一些噪声z开始，因此生成的图像是G(z)。D从分布(实际)和伪造的(从G)采用图像和它们进行分类：D(x)和D(G(Z))。

D和G都在同时学习，并且一旦G被训练成它知道足够多的关于训练样本的分布，它可以产生新的样本，有着非常相似的属性：

这些图像由CIFAR-10训练的GAN产生。如果你注意到细节，你可以看到它们确实不是真正的对象。但是，有些东西抓住了某些特征，使它们可以从远处来看很像真实的东西。

InfoGAN
　　
近的发展已经将GAN的想法不仅扩展到近似数据分布，还扩展到语义有解的学习、数据的有用向量表示。这些期望的向量表示需要捕获丰富的信息(与自动编码器中相同)，并且也需要是可解释的，意味着我们可以区分部分向量，这些部分有助于在生成的输出中的特定类型的形状变换。

OpenAI研究人员在8月提出的InfoGAN模型解决了这个问题。简而言之，InfoGAN能够生成包含有关在无人监督的方式数据集信息表示。InfoGAN能够以无监督的方式生成包含有关数据集信息的表示。例如，当应用于MNIST数据集时，它能够推断数字的类型(1,2,3，……)，所生成样本的旋转和宽度，而不需要手动标记数据。