基于注意力机制的概念化句嵌入研究

摘要：

大多数句嵌模型仅利用文本字面信息来完成句子向量化表示,导致这些模型对普遍存在的一词多义现象缺乏甄别能力.为了增强句子的语义表达能力,本文使用短文本概念化算法为语料库中的每个句子赋予相关概念,然后学习概念化句嵌入(Conceptual sentence embedding,CSE).因此,由于引入了概念信息,这种语义表示比目前广泛使用的句嵌入模型更具表达能力.此外,我们通过引入注意力机制进一步扩展概念化句嵌入模型,使模型能够有区别地选择上下文语境中的相关词语以实现更高效的预测.本文通过文本分类和信息检索等语言理解任务来验证所提出的概念化句嵌入模型的性能,实验结果证明本文所提出的模型性能优于其他句嵌入模型.

关键词：句嵌入、短文本概念化、注意力机制、词嵌入、语义表达

所属期刊栏目：46

资助基金：国家自然科学基金重点项目61751201

在线出版日期：2020-08-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：1390-1400