结合BiLSTM+CRF和TextRank的句法边界分析

摘要：

通过剖析短语结构层次句法分析的层次性和汉语结构特点,提出了一种把核心词作为词块的形式替换、层层进行词块组合的句法结构树.在句法边界分析的过程中,将词块识别和核心词提取分开进行.在词块识别模块,使用双向长短期记忆模型(Bi-directional Long Short-Term Memory,BiLSTM)和条件随机场(Conditional Random Field,CRF)结合的模型(BiLSTM+CRF)进行词块边界标记的识别,其中BiLSTM模型学习上下文特征,CRF模型学习输出标记序列结果的转移特征,达到预测标记序列联合解码的作用;在核心词提取模块,结合Word2vec词向量改进TextRank重要度排序算法,通过加入词语的相似度信息、位置信息、词性信息来提高识别准确度.实验对比了CRF、BiLSTM、BiLSTM+CRF词块识别分别与三种信息组合的Tex-tRank核心词识别的句法边界分析效果,并对比了各句长下每种模型的识别情况.结果表明,使用BiLSTM+CRF联合改进的TextRank识别效果最好,相比于基线LR方法F1值提升了6.58个百分点,整句正确率提升了3.68个百分点,验证了模型的有效性和稳定性.

关键词：词块识别、核心词提取、条件随机场、双向长短期记忆模型、TextRank

所属期刊栏目：43

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金61761025

在线出版日期：2022-07-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：1394-1400