深度学习：2016年的进展综述及2017年的预测

<div class="blogpost-body" id="cnblogs_post_body">
<div class="rich_media_thumb_wrp" id="media">
 <img alt="" class="rich_media_thumb" id="js_cover" src="https://beijingoptbbs.oss-cn-beijing.aliyuncs.com/cs/5606289-af6de9ef78a375e73d2234fd38e4ef7b">
</div>
<div class="rich_media_content" id="js_content">
 本文综合了Pablo的博客和Carlos E.Perez的博客，经作者授权，由InfoQ中文站社区编辑刘志勇编译整理并分享。
 深度学习在机器学习领域中一直是核心话题，在过去几年和2016年也是如此。在本文中将阐述我们认为该领域中最有贡献（或最有潜力）的进展，以及组织和社区如何确保这些强大的技术对所有人都有利。
 历史上研究人员所努力的主要挑战之一是无监督学习。我们认为2016年对于这一领域来说是一个伟大的一年，主要是因为在生成模型上进行了大量工作。
 此外，自然地与机器交流的能力也是梦想目标之一，并且诸如Google和Facebook之类的巨人已经提出了几种方法。在这方面，2016年所有关于自然语言处理（Natural Language Processing，NLP）问题的创新，是实现这一目标的关键。
 无监督学习
 无监督学习是指从原始数据中提取模式和结构，无需额外信息的任务，而不是需要标签的监督学习。
 对于这个问题，使用神经网络的经典方法是自动编码器（autoencoders）。基本版本由多层感知器（Multilayer Perceptron，MLP）组成，其中输入和输出层具有相同的尺寸大小，并训练较小的隐藏层以恢复输入。一旦训练完毕，从隐藏层的输出对应于可用于聚类、维数降低、改进监督分类甚至用于数据压缩的数据表示。
 生成式对抗网络（GAN）
 近年来出现了基于生成模型的新方法。所谓生成式对抗网络，它能够解决模型无监督学习的问题。GAN是一场真正的革命，这种研究带来了深远的影响。在这个演示视频中，Yann LeCun（深度学习的创始人之一）说，GAN在过去20年里，是机器学习最重要的思想。
 虽然生成式对抗网络早在2014年由Ian Goodfellow提出，但直到2016年，GAN才开始显示出真正的潜力。改进的技术帮助培训和改善体系架构（深卷积GAN），据介绍，今年已经修正了以前的一些局限性。新的应用程序（我们稍后列出其中的一些）展现了它们的强大和灵活性。
 直观的想法
 想象一下，一个有抱负的画家，想做艺术赝品（G），还有人想通过鉴定画作来谋生（D）。你首先给D展示了一些毕加索的画作。然后G制作赝品，试图欺骗D，使其相信是毕加索的原作。有时候会得逞。然而，当D开始熟悉更多毕加索风格（学习更多的样本），G就越来越更难欺骗D，所以他必须做得更好。随着这个过程的持续，不仅D能够很好地分辨出哪个是毕加索的风格，哪个不是；而且G也能得以提高仿毕加索绘画的能力。这就是背后GAN的设想。
 技术上来说，GAN由两个网络之间的持续推动（因此“对抗”）：一个生成器（generator，G）和一个辨别器（discriminatory，D）。给定一组训练示例（如图像），我们可以想像，有一个底层分布（x）来管理它们。使用GAN，G将产生输出，并且D将判断它们是否来自训练集合的相同分布。
 G将从一些噪声z开始，因此生成的图像是G(z)。D从分布（实际）和伪造的（从G）采用图像和它们进行分类：D(x)和D(G(Z))。
 <img alt="" src="https://beijingoptbbs.oss-cn-beijing.aliyuncs.com/cs/5606289-ec9cf499f8dba8b48564f11350948de3"> GAN如何工作。
 D和G都在同时学习，并且一旦G被训练成它知道足够多的关于训练样本的分布，它可以产生新的样本，有着非常相似的属性： 
 <img alt="" src="https://beijingoptbbs.oss-cn-beijing.aliyuncs.com/cs/5606289-df38b258512593970597dff81ae866ed"> 由GAN生成的图像。
 这些图像由CIFAR-10训练的GAN产生。如果你注意到细节，你可以看到它们确实不是真正的对象。但是，有些东西抓住了某些特征，使它们可以从远处来看很像真实的东西。
 InfoGAN
 最近的发展已经将GAN的想法不仅扩展到近似数据分布，还扩展到语义有解的学习、数据的有用向量表示。这些期望的向量表示需要捕获丰富的信息（与自动编码器中相同），并且也需要是可解释的，意味着