深度学习:2016年的进展综述及2017年的预测

论坛 期权论坛     
选择匿名的用户   2021-5-30 01:44   142   0
<div class="blogpost-body" id="cnblogs_post_body">
<div class="rich_media_thumb_wrp" id="media">
  <img alt="" class="rich_media_thumb" id="js_cover" src="https://beijingoptbbs.oss-cn-beijing.aliyuncs.com/cs/5606289-af6de9ef78a375e73d2234fd38e4ef7b">
</div>
<div class="rich_media_content" id="js_content">
  <p>本文综合了Pablo的博客和Carlos E.Perez的博客,经作者授权,由InfoQ中文站社区编辑<strong>刘志勇</strong>编译整理并分享。</p>
  <p>深度学习在机器学习领域中一直是核心话题,在过去几年和2016年也是如此。在本文中将阐述我们认为该领域中最有贡献(或最有潜力)的进展,以及组织和社区如何确保这些强大的技术对所有人都有利。</p>
  <p>历史上研究人员所努力的主要挑战之一是无监督学习 。我们认为2016年对于这一领域来说是一个伟大的一年,主要是因为在生成模型上进行了大量工作。</p>
  <p>此外,自然地与机器交流的能力也是梦想目标之一,并且诸如Google和Facebook之类的巨人已经提出了几种方法。在这方面,2016年所有关于自然语言处理(Natural Language Processing,NLP)问题的创新,是实现这一目标的关键。</p>
  <p>无监督学习</p>
  <p>无监督学习是指从原始数据中提取模式和结构,无需额外信息的任务,而不是需要标签的监督学习。</p>
  <p>对于这个问题,使用神经网络的经典方法是自动编码器(autoencoders)。基本版本由多层感知器(Multilayer Perceptron,MLP)组成,其中输入和输出层具有相同的尺寸大小,并训练较小的隐藏层以恢复输入。一旦训练完毕,从隐藏层的输出对应于可用于聚类、维数降低、改进监督分类甚至用于数据压缩的数据表示。</p>
  <p><strong>生成式对抗网络(GAN)</strong></p>
  <p>近年来出现了基于生成模型的新方法。所谓生成式对抗网络,它能够解决模型无监督学习的问题。GAN是一场真正的革命,这种研究带来了深远的影响。在这个演示视频中,Yann LeCun(深度学习的创始人之一)说,GAN在过去20年里,是机器学习最重要的思想。</p>
  <p>虽然生成式对抗网络早在2014年由Ian Goodfellow提出,但直到2016年,GAN才开始显示出真正的潜力。改进的技术帮助培训和改善体系架构(深卷积GAN),据介绍,今年已经修正了以前的一些局限性。新的应用程序(我们稍后列出其中的一些)展现了它们的强大和灵活性。</p>
  <p><strong>直观的想法</strong></p>
  <p>想象一下,一个有抱负的画家,想做艺术赝品(G),还有人想通过鉴定画作来谋生(D)。你首先给D展示了一些毕加索的画作。然后G制作赝品,试图欺骗D,使其相信是毕加索的原作。有时候会得逞。然而,当D开始熟悉更多毕加索风格(学习更多的样本),G就越来越更难欺骗D,所以他必须做得更好。随着这个过程的持续,不仅D能够很好地分辨出哪个是毕加索的风格,哪个不是;而且G也能得以提高仿毕加索绘画的能力。这就是背后GAN的设想。</p>
  <p>技术上来说,GAN由两个网络之间的持续推动(因此“对抗”):一个生成器(generator,G)和一个辨别器(discriminatory,D)。给定一组训练示例(如图像),我们可以想像,有一个底层分布 (x)来管理它们。使用GAN,G将产生输出,并且D将判断它们是否来自训练集合的相同分布。</p>
  <p>G将从一些噪声z开始,因此生成的图像是G(z)。D从分布(实际)和伪造的(从G)采用图像和它们进行分类:D(x)和D(G(Z))。</p>
  <p><img alt="" src="https://beijingoptbbs.oss-cn-beijing.aliyuncs.com/cs/5606289-ec9cf499f8dba8b48564f11350948de3"><br>GAN如何工作。</p>
  <p>D和G都在同时学习,并且一旦G被训练成它知道足够多的关于训练样本的分布,它可以产生新的样本,有着非常相似的属性: </p>
  <p><img alt="" src="https://beijingoptbbs.oss-cn-beijing.aliyuncs.com/cs/5606289-df38b258512593970597dff81ae866ed"><br>由GAN生成的图像。</p>
  <p>这些图像由CIFAR-10训练的GAN产生。如果你注意到细节,你可以看到它们确实不是真正的对象。但是,有些东西抓住了某些特征,使它们可以从远处来看很像真实的东西。</p>
  <p><strong>InfoGAN</strong></p>
  <p>最近的发展已经将GAN的想法不仅扩展到近似数据分布,还扩展到语义有解的学习、数据的有用向量表示。这些期望的向量表示需要捕获丰富的信息(与自动编码器中相同),并且也需要是可解释的,意味着
分享到 :
0 人收藏
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

积分:3875789
帖子:775174
精华:0
期权论坛 期权论坛
发布
内容

下载期权论坛手机APP