选自 ICML
机器之心编译
参与：黄清纬、吴攀、李亚洲、杜夏德、盛威
导语：昨日，ICML 2016 最具时间价值奖（Test of Time Award） 和 最佳论文奖（Best Paper Award） 两项奖项出炉。DeepMind 独占最佳论文中的两篇，另一篇最佳论文由斯坦福大学的研究人员提交。此外，今年的 ICML 的 Test of Time Award 由机器学习领域的两位学术领袖 David Blei 和 John Lafferty 合著的论文获得。值得一提的是，Nando de Freitas（扩展阅读：Nando de Freitas：贝叶斯深度学习和人工智能的未来）今年很火，他在 ICLR 2016上也拿了最佳论文奖，这次在 ICML 又拿出了一篇最佳论文，虽然在 ICML 上这篇他不是第一作者，也足以说明他是新生代机器学习研究的明星之一。
论文标题：动态主题模型（Dynamic Topic Models）
作者：David M. Blei，John D. Lafferty
![]()
摘要
一系列概率时间序列模型被开发出来用于分析大型文档集合中主题随时间的变化。这一方法是在表征主题的多项分布的自然参数上使用状态空间模型。开发的基于卡尔曼过滤器（Kalman filters）的变分近似法和非参数小波回归实现了对隐藏主题的近似后验推断（posterior inference）。除了给出连续语料库数量的预测模型之外，动态主题模型也提供一个进入大型文档集合的定性的窗口。这一模型的演示是通过对从 1880 至 2000 年间的 Science 杂志的 OCR（光学字符识别）档案分析完成的。
导语
管理激增的电子文档需要新的工具来完成对大型文档集的组织、搜索、检索和浏览任务的自动化。近期在机器学习和统计学上的一项研究已经发展成了一项新的技术，该技术能使用层级概率模型在文档集中寻找词语的模式（Blei et al., 2003; McCallum et al., 2004; Rosen-Zvi et al., 2004; Grif- fiths and Steyvers, 2004; Buntine and Jakulin, 2004; Blei and Lafferty, 2006）。这种模型被称为「主题模型（topic models）」，因为其发现的模式总是反映了能结合在一起形成文档的基本主题。这样的层级概率模型可以很容易地被归纳为其它类型的数据，例如，主题模型已经被用于分析图像（Fei-Fei and Perona, 2005; Sivic et al., 2005）、生物数据（Pritchard et al., 2000）和调研数据（Erosheva, 2002）。
在一个可改变的主题模型中，假定每一个文档的单词都独立取自多项混合文集。来自每个文档的单词的混合比例是随机的；混合的组分（或称主题（topics））被所有文档共享。因此，每个文档都反映了带有不同比例的组分。这些模型是对大型非结构化文档集进行降维的有力方法。此外，文档水平上的后验推断对信息检索、分类和主题导向浏览而言是非常有用的。
简单来说，可交换地处理词与识别每一文档中的语义主题是一致的。然而对很多主题集合而言，这一可交换文档的隐式假设并不适用。学术期刊、邮件、新闻报道、网页搜索日志这样的文件集合的内容都在不断变化。例如，Science 文章「The Brain of Professor Laborde」可能与「Reshaping the Cortical Motor Map by Unmasking Latent Intracortical Connections」这样的文章在同一个科学路径中。但 1993 年的神经科学研究看起来大大不同于 1991 年的研究。一个文档集的主题会随着时间进化，对潜在主题的动态进行明确地建模也是一件有趣的事。
在本论文中，我们开发了一个动态主题模型，该模型能在连续组织的文档语料库中获取不断演化的主题。我们通过分析 Science 杂志超过 100 年（1880 年由 Thomas Edison 建立，到现在一直在发布文章）的 OCR 文章演示了其适用性。在这一模型下，文章根据年份进行了分组，每年的文章产生于一系列从上一年的主题演化而来的主题。
在后面的内容中，我们从经典状态空间模型谈到了主题演化的统计模型的详细说明。然后，我们开发有效的近似后验推断（approximate posterior inference）技术，可用来从文档的连续集合中确定不断演化的主题。最终，我们展示了定性结果，该结果证明了动态主题模型如何以一种新的方式对大型文档集合进行探索；而定量结果也相比于静态主题模型得到了更大的预测精度。
同时我们也展示了数量成就，论证其相比于静态主题模型更加准确的预测能力。
作者介绍：
![]()
David Blei 是哥伦比亚大学统计与计算机科学系教授。2006 年博士后毕业于卡内基梅隆大学，之后直到 2014 年一直在普林斯顿大学任副教授。他开创了将 SVM 的最大间隔方法和马尔可夫网络的结构结合起来的方法，从而赢得了很大的荣誉。他在 2012 年获得科学家总统奖，2014 年初获得 2013 ACM-Infosys CS Award，另外还曾数次获得 NIPS 最佳论文奖。他的博士生导师 Micheal Jordan 曾教导过的多位学生都对机器学习的发展产生了深远的影响，其中包括吴恩达、Zoubin Ghahramani。
![]()
John Lafferty 是芝加哥大学统计和计算机科学系教授，也是 NIPS 和 ICML 中的一座高山，这一点可从他的 Publication list 里的 NIPS 和 ICML 数目上得到明证。2001 年， Lafferty 的 ICML 论文 Conditional Random Fields 被疯狂引用，也被广泛地应用在语言和图像处理方面，也出现了很多变体。现在 Lafferty 做的研究范围包括半监督学习、核学习（kernel learning）、图形模型和流形学习（manifold learning）。
最佳论文奖（Best Paper Award）
1. 论文标题：深度强化学习中的竞争网络架构（Dueling Network Architectures for Deep Reinforcement Learning）
作者：Ziyu Wang ，Tom Schaul，Matteo Hessel，Hado van Hasselt，Marc Lanctot，Nando de Freitas
![]()
摘要
近几年，已经有很多在强化学习中使用深度表征获得成功的例子。然而，这些应用中的很多例子仍然使用传统的架构，比如卷积网络、LSTMs，或者是自动编码器。在此论文中，我们提出了一个新的用于无模型（model free）强化学习的神经网络架构。我们的竞争网络（dueling network)表示了两种独立的评估量：一个用于状态价值函数（state value function)，一个用于状态依存动作优势函数（state-dependent action advantage function）。这一分解的主要好处是在没有将任何变化强加于低层的强化学习算法的情况下，在动作（action）间归纳学习。我们的结果显示，这一架构在多种价值相似的动作面前能引发更好的政策评估。此外，这一竞争架构使得我们的强化学习代理胜过 Atari 2600 领域最前沿的研究。
导语
在过去的几年中，深度学习对机器学习延展性和性能的快速发展做出了贡献（LeCun et al., 2015）。一个令人激动的应用是强化学习和控制的序列决策设定。值得关注的例子包括深度 Q-Learning（Mnih et al., 2015），深度视动（visuomotor）策略（Levine et al., 2015），循环网络注意力（Ba et al., 2015），以及嵌入式模型预测控制（Watter et al., 2015）。其他最近的成功包括大型并行框架（Nair et al., 2015）和围棋中的专家棋路预测（Maddison et al., 2015），这些产生的策略将蒙特卡洛树搜索程序匹配到了一起，当它们与搜索结合起来的时候（Silver et al., 2016），干脆利落的击败了一位专业棋手。
尽管如此，大部分强化学习方法使用的是标准的神经网络，比如卷积网络，MLPs，LSTMs，以及自动编码器。近期研究主要专注于设计改善控制和强化学习算法，或者简单的将现有的神经网络融入强化学习方法。在这里，我们选择一条不同的却互补的途径，主要专注于创新一种更适合于无模型强化学习的神经网络架构。这一方法好处是新的网络能轻易地与现有的、以后的强化学习算法结合。也就是说，这一论文提出了一个新的网络（图 1），但使用的是已经公开的算法。
![]()
图 1.一个流行的单流 Q-网络（上面）和我们的竞争 Q-网络（下面）。这一竞争网络是双流的，分开估算（标量）每一动作的状态价值和优势。绿色输出模块实现方程将他们结合起来。两个网络都能为每一个动作输出 Q 值。
我们提出的网络架构（竞争架构）明确地分离了状态值和（状态依赖）动作优势的表征。竞争架构由两个表征价值函数和优势函数的数据流构成，同时共享一个共同的（common)卷积特征学习模型。这两个数据流通过一个特殊的集合层结合起来，估测图1中的状态动作值函数 Q。这个竞争网络应该被理解作一个单一 Q 网络，带有两个可以替换现存算法中（如深度 Q 网络（DQN; Mnih et al., 2015）流行的单流 Q 网络的数据流。此竞争网络自动生成状态值函数和优势函数的单独估计，不需要任何额外的监督。
凭直觉来看，此竞争架构可以学那种状态有（或没有）价值，且不需要学习每个动作对每个状态的影响。在那些动作不会以任何相关方式影响到环境的状态中，这就特别有用。为了说明这点，看看图 2 中展示的显著图。这些图是通过计算关于输入视频的训练值和优势流的函数行列式生成的，计算按照 Simonyan 等人（2013）提出的方法。此特征显示了两种不同的时间步骤的值和优势显著图。在第一时间步骤(最左边的一对图象)，我们看到，值网络流注意到道路，特别是有新车出现的地平线。它也关注分数。另一方面，优势流不太关心可视输入，因为当前面没有车的时候，它的行为选择几乎无关紧要。然而，在第二时间步骤（最右边的一对图象）优势流关注可视输入，因为有车立即出现在前面时，可视输入的行为选择就很重要。
在本实验中，我们证明了当冗余的或相似的行为被加入到学习问题中，竞争构架可以在策略评估期间更快地识别正确行为。
我们也评估了竞争架构在挑战 Atari 2600 试验台中获得的结果，一个有相同结构和超参数的强化学习代理，必须能仅通过观察像素和游戏分数，就能玩 57 种不同的游戏。这些结果例证了对 Mnih （2015）和 Van Hasselt 等人（2015）的单流基线的大幅度改进。优先回放（Schaul et al., 2016）同我们提出的竞争网络的结合产生了该流行领域的最新技术。
![]()
图2. See，attend and drive：一个训练过的竞争构架下，在 Atari 游戏 Enduro 上的值和优势显图（红色覆盖物）。值流学习关注道路。优势流学习仅关注前方是否有车，以防止碰撞。
结论
我们介绍了一种在深度 Q-网络中分离值函数和优势函数的新的神经网络架构，同时它们会共享一个共同的特征学习模块。这一新的竞争架构，结合一些算法性的改进，能够大幅改善现有的挑战 Atari 领域中深度RL的解决方案。论文也展现了这些研究结果。
点评精选：
论文总结（总结了论文的主要主张/贡献）：在这篇论文中，作者基于分开建模状态值和动作优势的想法，提出了一款可供选择的用于深度 Q 网络（DQN）的架构和相关的学习方案。当被应用于 Atari 学习环境（Atari Learning Environment ）基准时，这项技术显著推进了当前最先进的研究成果。
意义-理由：这篇论文以一种有意义的方式推进了一个热门研究领域。尽管这「只」是 DQN 架构和训练上的一点轻微修改，但其所带来的重要改进必须要与整个社区共享。我期望它能激励人们进一步研究 Q 值逼近的优化表征。
详细评论：-ε（epsilon (l.514)）真的设置了一个这样小的值？（0.001）因为我猜想最优策略是尽可能快到达右上角，而要到达那里大约只有 70 步左右，不是行为策略将在大部分运行中只引进 0 和 1 的随机行为吗？
-1.521，只是为了肯定，这是一个统一的总和？（不是来自用于实例的行为策略的状态/动作概率的加权）
-图 4-5 说明它不总是在基线上提高。我意识到因为游戏巨大的变化性游戏的巨大多样性，这是可预期的，但是，为了更好理解所建议的方法的潜在瑕疵，在表现下降的地方，看看游戏是否还分享一些共同的模式，会很有趣。你有任何有趣的洞见/讨论可以加到这个主题上吗？
-1.845 「the values for all other actions remain untouched」：为什么会这样？单个更新就会改变内部状态表征，并因此修改对所有动作的预期（一般而言）。
作者：A aron van den Oord，Nal Kalchbrenner，Koray Kavukcuoglu
![]()
摘要
在无监督学习中，给自然图像分布建模是一个里程碑式的问题。这项任务要求得到可以同时表现图像、易于处理并且具备可扩展性的图像模型。我们展示了一个可以沿二维空间维度依次预测图像中像素的深度神经网络。我们的方法建立了原始像素值的离散概率模型，并且编码了图像中完整的依赖关系集合。该架构的不同之处在于它包括快速二维循环层（recurrent layers）和对深度循环网络中残差连接（ residual connections）的有效利用。我们完成了自然图像上的对数似然分数，其比之前最先进的还要好很多。我们主要的成果还包括提供多样化的 ImageNet 数据集基准。从模型中生成了新鲜多样且全局同一的样本。
导语
生成图像建模是非监督学习中的核心问题。概率密度模型能够用在从图像压缩、图像修复（例如，图1.）和去模糊，到生成新图像等各种任务中。当模型被限制在外部信息中时，可能会用来在文本描述基础之上创作图像或模拟计划任务中的未来结构。生成模型的一个巨大优势是几乎有数量无尽的图像数据可用来学习。但是，由于图像是高维和高度结构化的，所以估计自然图像的分布是十分具有挑战性的。
生成模型中的最重要障碍之一是建立复杂的、可表达的、同时易于处理和可扩展的模型。在这些左右权衡下，已经产生了大量不同的生成模型，每一种都有它们自己的优势。大部分工作集中在随机隐变量模型（如旨在提取有意义表征的 VAE）上 ，但往往同时出现一个无法处理的推理步骤，这可能会阻碍它们的表现。
在图像中建立一个易处理的像素联合分布模型，一个有效方法是将其强制转换为条件分布的产物；这个方法已经被用在 NADE 这样的自回归模型和完全可视化的 S 型函数信念网络（sigmoid belief networks）中。这个因子分解将联合模型问题转化为一个序列问题，在其中可以学习在之前给定的生成像素中预测下一个像素。但要在像素和复杂的条件分布中建立高度非线性的长程关联，一个极富表现力的序列模式是必要的。
循环神经网络（RNN）是一种强大的模型，它为一系列条件分布提供一个连贯的共享的参数。RNN 已被证实擅长解决从笔迹生成（Graves，2013）到性格预测（Sutskever et al.，2011），再到机器翻译（Kalchbrenner & Blunsom, 2013）等困难的序列问题。二维RNN已经在模拟灰度图像和纹理中产生了可喜的成果（Theis & Bethge, 2015） 。
在这篇论文中，我们推进了二维 RNN，并且将它们应用在大规模自然图像建模中。由此产生的 PixelRNN 由多达 12 个快捷二维长短期记忆（ LSTM ）层构成。
![]()
图2。左边：产生像素 xi 来制约之前在 xi 上方和左侧产生的所有像素。中间：在多尺度的情况下，我们也能在二次抽样的图像像素的条件下产生一个像素。右边：隐蔽卷积内的连通图。在第一层中，每一个 RGB 通道都与前面的通道和环境相连，但是它们自己之间没有连接。在下一层网络中，这些通道之间相互连接。
这些层在它们的状态中利用 LSTM 单元，采用一个卷积同时计算同一数据空间维度中所有的状态（Hochreiter & Schmidhuber, 1997; Graves & Schmidhuber, 2009）。第一类是 Row LSTM 层，其中卷积按照每一行进行计算；相似的技术在之前的论文（Stollenga et al., 2015）中也提到过。第二类是 Diagonal BiLSTM 层，其中卷积是沿着图像的对角线这种全新方式计算的。神经网络也在 LSTM 层周围整合了残差连接（residual connection）（He et al., 2015），这有助于训练深度达 12 层的 PixelRNN。
我们也考虑了另一个简化的架构，一个拥有和 PixelRNN 一样核心构成的架构。我们观察到，通过使用 Masked 卷积，卷积神经网络（CNN）也可以用作具有固定依赖范围的序列模型。这个 PixelCNN 架构是一个拥有 15 层的全卷积网络，其保留层间输入的空间分辨率，并且在每个位置上输出一个条件分布。
在没有引入独立假设的情况下，例如在隐变量模型中，PixelRNN 和 PixelCNN 都捕捉到了像素内在依赖的全部一般性。这些以来也是被维持在每一个独立像素内部的 RGB 色域值内。此外，对比之前以连续值对像素建模的方法，我们利用一个简单的 softmax 层实施了一个多项分布，建立离散值像素模型。我们观察到这种方法对于我们的模型即有代表性，也有训练上的优势。
这篇论文有以下几个贡献。在第 3 部分，我们设计了对应两种 LSTM 层的两个 PixelRNN 模型；我们描述了纯卷积的卷积 PixelCNN，它是我们最快的架构；同时我们设计了一个 PixelCNN 的多尺度版本。第 5 节我们证明了在我们的模型中利用离散 softmax 分布和采用残差连接（residual connections）对 LSTM 层的好处。接下来我们在 MNIST 和 CIFAR - 10 上测试模型，它们获得的似然得分要比之前的结果好的多。我们还为调整为 32 ×32 和 64 ×64 像素的大规模图像网络数据库提供结果；据我们所知，之前还没有在这个数据库中报告出从生成模型中获得似然值。最后，我们定性评估了从 PixelRNN 中生成的样本。
结论
在这篇论文中，我们着重改善并建立深度循环神经网络作为自然图像的生成模型。我们已经描述了神奇的二维 LSTM 层： Row LSTM 和 Diagonal BiLSTM 能更容易地扩展到更大的数据库中。这些模型被训练去建立原始 RGB 像素模型。我们把这些像素值看成离散变量。我们通过在条件分布中使用 softmax 层的方法，来把像素值处理成离散变量。我们采用了掩蔽卷积（masked convolutions）来允许 PixelRNN 在颜色信道之间对完全依赖性进行建模。我们提出并评估在带有多达 12 个 LSTM 层的 PixelRNN 中产生的模型的架构提升。我们已经证明 PixelRNN 能明显改善 MNIST 和 CIEAR – 10 数据库的最佳状态。我们还提供了 ImageNet 数据集生成图像建模的新标准。在从模型中抽取的样本和模型完成状况的基础上，我们可以得出结论，PixelRNN 能够建立局部空间和长程关联（spatially local and long-range correlations）的模型，也能生成清晰连贯的图像。因为当我们把这些模型做得更大时，这些模型会有所提升，而且还有几乎无限制的数据可以用来训练，在这个情况下，更多的计算和更大的模型很可能会进一步改善这些结果。
点评精选：
总结：此论文提出了一系列生成模型，可直接对像素的统计依赖关系进行建模。这些模型包括两个 PixelRNN：Row LSTM 和 Diagonal BiLSTM（区别主要在于它们进行预测使用到的条件信息所在的领域）；一个 PixelCNN，以及一个多尺度 PixelRNN。为了使得这些方法相比于简单的实施呈现出更高的计算效率（也就是更多并行），他们也做了一些努力。清晰度：论文中包含了很多内容。分享了四个模型的很多细节（比如离散输出），也有些没有分享出来（比如残差连接）。我倾向于认为要展现的还有很多。我喜欢作者把他们方法的各种新的方面打碎成不同的模块，比如 Sec.2.2 和 Sec.3.4。但其中一些部分过于浓缩，以至于难以摸清模型如何工作。例如，PixelCNN 的描述过于稀疏（仅一张图片），即使我认为我理解了，但其他人也能基于这种描述获得与作者同样的结果是不现实的。PixelCNN 和 多尺度 PixelRNN 都能从插图中获得极大的好处。意义：总而言之，这是一篇值得公布的令人印象深刻的论文，但其确实有一些令人沮丧的缺陷。除了上面说明的主要问题之外，论文中的实验就某种意义而言也不完整，大部分模型只在部分数据集设定上进行了探究。哪个模型在哪个数据集上进行探究的选择上也显得有些任意。看起来，作者受到太多 ICML 论文格式的限制，没有太多的时间和空间呈现出完整的、连贯的科学实验。这个模型在二值化 MNIST 测试上取得了 SOTA 的成绩，非常了不起的结果。但作者也应该报告 PixelCNN 和 Row LSTM 的表现。CIFAR 上的表现很好，而且此次模型对比也有。在 ImageNet 上，作者看起来只报告了 Row LSTM 的实验结果。在此任务中， PixelCNN 和 Diagonal BiLSTM 的表现如何呢？这些结果的缺失非常奇怪。至于新颖性，此论文中提出的模型和历史文献有非常大的相关性，作者也在论文中进行了讨论。所以，新颖性不是非常的高。但作者在实现模型更多并行，也就是 GPU 部署更加高效上的努力是非常有趣的一件事。我认为，这产生了非常有意义的贡献。
作者：Christopher De Sa，Kunle Olukotun，Christopher R e
![]()
摘要
吉布斯采样（Gibbs Sampling）是一种常被用于估计边缘分布（marginal distribution）的马尔可夫链蒙特卡罗技术（Markov chain Monte Carlo technique）。为了加速吉布斯采样，人们最近出现了通过异步执行并行处理它的兴趣。尽管一些经验结果表明许多模型都可以有效的进行异步采样，但传统的马尔克夫链分析却无法应用于异步的情况，因此对异步吉布斯采样只有很少的了解。在这篇论文中，我们设法更好地了解了异步吉布斯的两个主要挑战：偏差（bias）和混合时间（mixing time）。我们通过实验证明了我们的理论结果是符合实际结果的。导语
吉布斯采样是图形模型上最常用的一种马尔可夫链蒙特卡罗方法。在这种设置中，吉布斯采样（如下图表示的算法1）通过在每一个时间步骤中随机选择一个变量反复进行操作，并通过在模型中给定的其它变量的条件分布中取样来进行更新。通常情况下，这适用于推理问题，在这样的问题中我们会尝试估计给定分布中的一些请求事件的边缘概率。
对于稀疏的图形模型（常常应用吉布斯采样），每一次这样的更新都需要读取变量中仅一个小子集的值；因此每一次更新都可在现代硬件上得到非常快速的计算。因为吉布斯采样这样或那样有用的性质，许多系统都使用吉布斯采样执行大数据上的推理。
吉布斯采样是一种无处不在的算法，因此尝试在现代硬件上优化其执行速度就显得很重要了。不幸的是，尽管现代计算机硬件已在向着更加并行的架构发展，但传统的吉布斯采样则本质上是一种顺序算法；也就是说，算法 1 中回路并不能直接并行化。此外，对于稀疏模型，每一次迭代只有非常少的效果，意味着从该回路的主体中提取多并行性是很困难的。因为传统的吉布斯采样并行效果很差，所以研究吉布斯采样的可并行变体是很有趣的。已经有一些这样的变体被提出来了，包括隐含狄利克雷分配和分布式约束优化问题的应用。
在一种流行的变体中，多线程以无锁的形式并行运行吉布斯采样更新规则，这种策略被称为异步（asynchronous）或 HOGWILD! 执行（HOGWILD! execution）——在这篇论文中，我们交替使用了这两个术语。这个想法被提出过，但从未被理论地分析过，并且在许多模型上表现出了实际上更好的结果。但我们何时才能确保 HOGWILD! 吉布斯采样能产出准确的结果呢？除了高斯随机变量的情况，还不存在能让我们确保异步吉布斯采样将适用于特定的应用的分析。甚至由 HOGWILD!-吉布斯（HOGWILD!-Gibbs）带来的问题都没被怎么理解，更不要说它们的解决方案了。
正如我们将在后续章节中说明的那样，在分析异步吉布斯采样时存在两个主要问题。第一，我们将通过实例表明 HOGWILD!-吉布斯让人惊讶地可以是有偏差的——这和顺序吉布斯不一样，它并不总是产出任意接近目标分布的样本。第二，我们将会表明异步吉布斯采样的混合时间（链用来变得接近平稳分布的时间）可以比对应的顺序链大上多达几个指数。
为了解决偏差的问题，我们需要一些描述目标分布 π 和 HOGWILD!-吉布斯产生的样本分布之间的距离的方式。这里使用的标准概念是总变化距离（total variation distance），但对于计算边界概率这样的任务来说，其高估了由偏差所导致的误差。为了更好地描述这种偏差，我们引入了一个新的统计距离概念：稀疏变分距离（sparse variation distance）。尽管这种松弛的统计距离概念在其自己的领域内很有趣，但其在这里的主要好处是使用了一种更为本地化的链视角来更为严格地测量偏差的影响。
我们的主要目标是确定异步吉布斯的偏差和混合时间可以被选择边界的条件。在吉布斯采样分析中被用来产生巨大影响的一个参数是一个模型的总影响 α（total influence α）。这个总影响描述的是一个模型中一个变量的边缘分布依赖其它变量的值的程度——这个参数是 Dobrushin 条件（Dobrushin’s condition）（α |
|
转播
