皇冠体育寻求亚洲战略合作伙伴,皇冠代理招募中,皇冠平台开放会员注册、充值、提现、电脑版下载、APP下载。

首页科技正文

欧博注册:谷歌推出新模子“pQRNN”,少量参数下举行文本分类,性能堪比BERT

admin2020-10-0638

皇冠新现金网平台:发改委:深入推进企业债券注册制改造,更好服务实体经济

发改委表示,近年来,国家发展改革委认真落实党中央、国务院、国务院金融委关于防范化解重大风险决策部署,始终高度重视企业债券风险防范工作,主要开展了四方面工作。

欧博注册:谷歌推出新模子“pQRNN”,少量参数下举行文本分类,性能堪比BERT 第1张

新智元报道

泉源:Google

编辑:QJP

【新智元导读】克日,谷歌推出了新模子「pQRNN」,它是由去年推出的「PRADO」进一步使用小模子改善而得,到达了SOTA效果。pQRNN的新颖之处在于,它可以连系一个简朴的映射和一个quasi-RNN编码器来举行快速并行处置。同时,谷歌证明了该模子能在参数较少的情况下举行文本分类义务,并到达BERT级别的性能显示

深层神经网络的快速生长在已往的十年中彻底改变了自然语言处置(NLP)领域 。同时,诸如珍爱用户隐私、消除网络延迟、启用离线功效以及降低运营成本等问题,迅速推动了可以在移动装备而不是在数据中心运行的 NLP 模子的生长。

然而,由于移动装备的内存和处置能力有限,这就要求运行在移动装备上的模子体积小、效率高,而且不影响其效果的质量。

去年,谷歌揭晓了一个名为「PRADO」的神经结构,使用一个参数目小于200K 的模子,在许多文本分类问题上取得了SOTA的效果。虽然大多数模子对每个token使用牢固数目的参数,然则 PRADO 模子使用的网络结构需要少少的参数来学习义务最相关或最有用的token。

PRADO是若何事情的

在一年前开发时,PRADO 行使了 NLP 领域特有的文本支解来削减模子的巨细并提高性能。

欧博注册:谷歌推出新模子“pQRNN”,少量参数下举行文本分类,性能堪比BERT 第2张

图:PRADO的模子结构

欧博注册:谷歌推出新模子“pQRNN”,少量参数下举行文本分类,性能堪比BERT 第3张

图:PRADO和LSTM在Yelp数据集上的对比

通常,NLP 模子的文本输入首先被处置成适合输入神经网络的形式,将文本支解成与预界说的通用字典(包罗所有可能的token列表)中的值相对应的Segment。

然后,神经网络使用可训练的参数惟一地识别每个Segment,该参数包罗Embedding table。然而这种行使文本支解的方式对模子的性能、巨细和延迟有很大的影响。

下图显示了使用种种的方式及其优缺点:

欧博注册:谷歌推出新模子“pQRNN”,少量参数下举行文本分类,性能堪比BERT 第4张

由于文本片断的数目是模子性能和压缩的一个主要参数,从而发生了一个问题: NLP 模子是否需要能够清楚地识别每一个可能的文本片断。为了回覆这个问题,谷歌还研究了 NLP 义务的内在复杂性。

-------------------------

欧博手机版下载

欢迎进入欧博手机版下载(Allbet Game):www.aLLbetgame.us,欧博官网是欧博集团的官方网站。欧博官网开放Allbet注册、Allbe代理、Allbet电脑客户端、Allbet手机版下载等业务。

-------------------------

只有少数 NLP 义务(例如语言模子和机器翻译)需要知道文本片断之间的细微差别,因此需要能够唯一地识别所有可能的文本片断。相比之下,其他大多数义务可以通过领会这些片断的一个小子集来解决。

此外,与义务相关的片断的子集可能不是最常见的片断,如 a,an,the 等,这对于许多义务来说是无用的片断。因此,允许网络为给定的义务确定最相关的部门可以带来更好的性能。

此外,模子不需要能够唯一地识别这些片断,只需要识别文本片断的簇。例如,情绪分类器只需要知道与文本中的情绪密切相关的簇即可。

欧博注册:谷歌推出新模子“pQRNN”,少量参数下举行文本分类,性能堪比BERT 第5张

行使这些发现,PRADO 被设计用来学习来自单词而不是单词片断或字符的文本片断簇,这使它能够在低复杂度的 NLP 义务中取得优越的显示。由于单词粒度更有意义,而且对于大多数义务来说最相关的单词数目很少,以是学习这样一个相关单词组成的子集所需的模子参数就少得多。

pQRNND:改善PRADO

在 PRADO 乐成的基础上,我们提出了一种改善的NLP模子 pQRNN。该模子由三个构建块、一个将文本中的token转换为三元向量序列的投影算子、一个浓密的bottleneck层和一堆 QRNN 编码器组成。

pQRNN 中投影层的实现与 PRADO 中使用的相同,并辅助模子学习最相关的tokens,而不需要使用一组牢固的参数来界说它们。它首先在文本中标记出tokens,并使用一个简朴的映射函数转换成三元特征向量。

这使得这个三元向量序列具有平衡的对称漫衍而且可以唯一地示意文本。这种示意并不直接有用,由于它没有解决所体贴的义务所需的任何信息,而且网络也无法控制这种示意。

我们将它传入一个麋集的bottleneck层,使网络能够学习与当前的义务相关的单词示意法,但bottleneck层发生的示意仍然没有考虑到单词的上下文。

接下来通过使用一堆双向 QRNN 编码器来学习上下文示意,其效果就是使得网络能够从没有经由预处置的输入文本中学习到上下文示意。

欧博注册:谷歌推出新模子“pQRNN”,少量参数下举行文本分类,性能堪比BERT 第6张

pQRNN的性能显示

作者在civil-comments数据集上对 pQRNN 举行评估,并在统一义务上与 BERT 模子举行对照。

简朴地说,由于模子巨细与参数数目成正比,故pQRNN参数比 BERT 小得多。此外,pQRNN 是量化处置过的,进一步削减了4倍的模子巨细。

公然训练的 BERT 版本在这项义务上显示不佳,因此将其与通过几个差别相关多语种数据源预训练后的BERT版本举行对照,以获得尽可能好的性能。

欧博注册:谷歌推出新模子“pQRNN”,少量参数下举行文本分类,性能堪比BERT 第7张

结论:轻量级文本分类神器

通过使用上一代模子PRADO证明了它可以作为下一代最先进的轻量级文本分类模子的基础。改善后的pQRNN模子解释这种新的体系结构险些可以到达BERT级的性能,只管只使用1/300的参数目和有监视的数据。

为了促进这一领域的进一步研究,谷歌现在已经开源了 PRADO 模子,并激励社区使用它作为新模子架构的起点。

网友评论

2条评论
  • 2020-09-26 00:06:10

    allbet欢迎进入allbetGaming网址:www.aLLbetgame.us。AllbetGaming网址开放AllbetGaming代理会员登录网址、AllbetGaming会员开户、AllbetGaming代理开户、AllbetGaming客户端下载、AllbetGamingAPP下载等业务。真的征服到我了

  • 2020-10-06 00:14:21

    菠菜发布网国内外各大菠菜平台网址。菠菜网为菠菜全行业免费提供发布,是运营多年的菠菜网址大全平台。我感觉融为一体了