基于深度哈希的文本表示学习

摘要：

文本表示学习作为自然语言处理的一项重要基础性工作,在经历了向量空间模型、词向量模型以及上下文分布式表示的一系列发展后,其语义表示能力已经取得了较大突破,并直接促进模型在机器阅读、文本检索等下游任务上的表现不断提升.然而,预训练语言模型作为当前最先进的文本表示学习方法,在训练阶段和预测阶段的时空复杂度较高,造成了较高的使用门槛.为此,本文提出了一种基于深度哈希和预训练的新的文本表示学习方法,旨在以更低的计算量实现尽可能高的文本表示能力.实验结果表明,在牺牲有限性能的情况下,本文所提出的方法可以大幅降低模型在预测阶段的计算复杂度,在很大程度上提升了模型在预测阶段的使用效率.

关键词：深度哈希、预训练语言模型、Transformer结构、文本表示学习、深度学习、注意力机制

所属期刊栏目：31

分类号：TP391;TN912.34;Q5

资助基金：国家自然科学基金61806221

在线出版日期：2022-06-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：158-166