ICLR 2019热议论文Top 5:BigGAN、斗地主深度学习算法

2018-12-13 03:47 来源:未知

  国庆佳节第一天,举国同庆!出门旅游想必到处都是人山人海,不如在家里看看论文也是极好的!近日,机器学习顶会之一的ICLR2019投稿刚刚截止,本次大会投稿论文采用匿名公开的方式。本文整理了目前在国外社交网络和知乎上讨论热烈的一些论文,一起来看看!

  首先我们来看看ICLR 2018,也就是去年的提交论文题目分布情况。如下图所示。热门关键词:强化学习、GAN、RIP等。

  上图为ICLR 2019提交论文的分布情况,热门关键词:强化学习、GAN、元学习等等。可以看出比去年还是有些变化的。

  在GoogleColaboratory上可以找到关于ICLR 2019提交论文话题之间更加直观的可视化图。我们选择了上图中排名第三的话题“GAN”,图中由红色表示。可以看出,排名第三的GAN与表中多个话题有交集,如training、state、graph等。

  尽管近期由于生成图像建模的研究进展,从复杂数据集例如 ImageNet 中生成高分辨率、多样性的样本仍然是很大的挑战。www.656.net为此,研究者尝试在最大规模的数据集中训练生成对抗网络,并研究在这种规模的训练下的不稳定性。研究者发现应用垂直正则化(orthogonal regularization)到生成器可以使其服从简单的「截断技巧」(truncation trick),从而允许通过截断隐空间来精调样本保真度和多样性的权衡。这种修改方法可以让模型在类条件的图像合成中达到当前最佳性能。当在 128x128 分辨率的 ImageNet 上训练时,本文提出的模型—BigGAN—可以达到 166.3 的 Inception 分数(IS),以及 9.6 的 Frechet Inception 距离(FID),而之前的最佳 IS 和 FID 仅为 52.52 和 18.65。

  浅层监督的一层隐藏层神经网络具有许多有利的特性,使它们比深层对应物更容易解释,分析和优化,但缺乏表示能力。在这里,我们使用1-hiddenlayer学习问题逐层顺序构建深层网络,这可以从浅层网络继承属性。与之前使用浅网络的方法相反,我们关注的是深度学习被认为对成功至关重要的问题。因此,我们研究了两个大规模图像识别任务的CNN:ImageNet和CIFAR-10。使用一组简单的架构和训练想法,我们发现解决序列1隐藏层辅助问题导致CNN超过ImageNet上的AlexNet性能。通过解决2层和3层隐藏层辅助问题来扩展ourtraining方法以构建单个层,我们获得了一个11层网络,超过ImageNet上的VGG-11,获得了89.8%的前5个单一作物。据我们所知,这是CNN的端到端培训的第一个竞争性替代方案,可以扩展到ImageNet。我们进行了广泛的实验来研究它在中间层上引起的性质。

  声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。

版权声明:转载须经版权人书面授权并注明来源
分享到:0