变体上下文窗口下的词向量准确性研究

摘要：

词向量的准确性在较大程度上影响了这些自然语言处理任务的运行.词向量通过词嵌入产生,在词嵌入的方法中,都将目标单词及其上下文作为训练的输入,因此上下文的选定对词嵌入有着重要的影响.文中通过使用word2vec词嵌入方法,研究各种变体上下文窗口对词嵌入准确度的影响.根据上下文窗口的各种宽度、偏移量、权值进行了一系列实验.从实验结果中发现,上下文窗口的变化只会对整体训练结果的准确性造成很小的影响,然而对于其中具体的各个单词却有显著影响.从而得出结论,即大量单词各自所适应的上下文窗口区别较大,而统一的上下文窗口难以实现对全部单词的最佳训练.

关键词：词向量、词嵌入、上下文窗口、自然语言处理、神经网络、深度学习

所属期刊栏目：42

分类号：TN912.34-34;TP391.1

资助基金：国家自然科学基金资助项目61501218

在线出版日期：2019-04-25（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：146-148,153