7 Papers | AI写论文更近一步?联邦学习怎样与通信领域结合

7 Papers | AI写论文更近一步?联邦学习怎样与通信领域结合
2019年09月15日 11:36 机器之心Pro

机器之心整理

参与:一鸣、杜伟

本周推荐的论文主要有推特转载很多的论文摘要抽取和生成论文(AI 写论文似乎更有希望了?)、联邦学习和通信领域结合的综述论文等。同时还有谷歌的 VideoBERT、系统优化中的强化学习、神经架构搜索相关的综述和案例介绍论文。

目录:

Best Practices for Scientific Research on Neural Architecture Search

A View on Deep Reinforcement Learning in System Optimization

On Extractive and Abstractive Neural Document Summarization with Transformer Language Models

Federated Learning for Wireless Communications: Motivation, Opportunities and Challenges

Batch Normalization is a Cause of Adversarial Vulnerability

VideoBERT: A Joint Model for Video and Language Representation Learning

Towards Understanding the Importance of Shortcut Connections in Residual Networks

论文 1:Best Practices for Scientific Research on Neural Architecture Search

论文地址:https://arxiv.org/pdf/1909.02453.pdf

摘要:在本文中,研究者展示了一系列用于神经架构搜索(NAS)领域的最佳范例。

推荐:本文提出了很多关于 NAS 方面经典且有趣的应用案例。读者可以根据文中提供出的最佳范例检查清单,形成对自己设计的 NAS 模型的评价体系。

论文 2:A View on Deep Reinforcement Learning in System Optimization

论文地址:https://arxiv.org/pdf/1908.01275v3.pdf

摘要:很多现实世界的系统问题需要推出安装和管理系统所采取措施的长期影响。这些问题具有延迟以及往往循序聚合的奖励,其本身往往是强化学习问题,并且表现出了在深度强化学习中利用最近重大进展的时机。但在一些情况下,深度强化学习为何完美契合这一问题尚不清楚。有时,深度强化学习的性能并不优于 SOTA 解决方案。与此同时,在另一些情况下,随机搜索或贪婪算法(greedy algorithm)的性能优于深度强化学习。在本文中,研究者们回顾、探讨和评估了最近系统优化中使用深度强化学习的趋势,并提出了一组基础指标用以指导将来系统优化中使用深度强化学习的有效性评估。他们的评估包括挑战、问题类型、深度强化学习设置下的问题表达方式、嵌入、使用的模型以及有效性和鲁棒性。论文结尾,研究者讨论了进一步推进系统优化中强化学习融合所面临的挑战和潜在发展方向。

推荐:本文介绍了强化学习在系统优化中的一系列应用。通过这样的综述论文,读者可以了解什么时候使用深度强化学习,什么时候更适合使用随机搜索等其他算法。

论文 3:On Extractive and Abstractive Neural Document Summarization with Transformer Language Models

论文地址:https://arxiv.org/pdf/1909.03186.pdf

摘要:我们提出了一种通过神经摘要为超过数千词的长文本生成抽象摘要的方法。我们先在生成摘要之前执行一个简单的抽取步骤,然后再将其用于在相关信息上调整 transformer 语言模型,之后将其用于生成摘要。我们表明这个抽取步骤能显著提升摘要结果。我们还表明这个方法能得到比之前的使用复制机制的方法更抽象的摘要,同时还能得到更高的 rouge 分数。

这段摘要读起来怎么样?事实上,以上你看到的摘要内容都不是人类完成的,它是由论文中的机器学习模型写出来的。这是来自 Element AI 的研究者最新公布的研究成果,他们使用了一种类似 GPT 的方法生成了相关研究论文的摘要。

模型生成文本摘要的流程。首先使用两种模型进行文本抽取,然后再生成一段完整的文本。

推荐:本文是 Reddit 和推特讨论很火热的一篇论文,使用了 Transformer 模型,可生成论文的摘要。虽然文本摘要任务并不新鲜,但是本文提出的模型是目前而言效果较好的,使得文本摘要算法距离实际应用更近一步了。

论文 4:Federated Learning for Wireless Communications: Motivation, Opportunities and Challenges

论文地址:https://arxiv.org/pdf/1908.06847v3.pdf

摘要:无线通信社区越来越有兴趣通过数据驱动且基于机器学习(ML)的解决方案来完善传统的、基于模型的设计方法。虽然传统的 ML 方法需要假设数据存在并要在中心实体(central entity)中处理 head,但是这些方法通常不适用于无线通信应用,因为私有数据表现出不可访问性,将原始数据传输至中心 ML 处理器所需的通信开销也非常大。因此,能够将数据保持在生成位置的分散化 ML 方法更具吸引力。得益于隐私保护特性,联邦学习与诸多无线应用息息相关,特别适用于 5G 网络。在本文中,研究者分别介绍了联邦学习的总体思路,探讨了 5G 网络中几种可能的应用,描述了未来无线通信背景下联邦学习研究所面临的的关键技术挑战和有待解决的问题。

联邦学习概念图示。

联邦学习在边缘计算和数据存储方面的应用。

推荐:联邦学习一直被认为是在近来既可以保证参与方拥有最好的模型,同时保护参与各方的数据安全和隐私。本文是一篇使用综述论文,介绍了联邦学习在数据安全敏感的通讯领域(特别是 5G)方面的应用,值得对机器学习和 5G、边缘计算等方面结合感兴趣的读者阅读。

论文 5:Batch Normalization is a Cause of Adversarial Vulnerability

论文地址:https://arxiv.org/pdf/1905.02161

摘要:批归一化是一种常用的方法,用于稳定和加速深度神经网络的训练。在许多案例中,批归一化的确降低了所需的参数量。然而,这同样也会降低神经网络对微小扰动的鲁棒性,有时候降低幅度可能高达两位数。进一步来说,使用权重降低来代替批归一化可以抵消神经网络对对抗样本的脆弱性和输入维度之间的关系。研究人员表示,这项工作和批归一化导致梯度爆炸的研究得出的结论是一致的。

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部