组合多任务与迁移学习的故事发展预测

摘要：

使用机器挖掘故事中的潜在语义关系从而推断故事发展方向,是当前自然语言处理领域研究的热点之一.现有主流方法存在的共性问题是神经网络理解文本能力有限,模型的关注点均集中在挖掘单个语义信息上,导致模型泛化能力差,使得机器仅能通过单个语义理解文本.针对上述问题,作者提出一种组合多任务与迁移学习的新模型,该模型由共享层、特定任务层、迁移层以及组合层构成.模型的前两层组合语言模型与多任务学习,解决神经网络理解能力不足的问题,第二、三层训练多个语义任务,第四层融合多个语义信息,克服以往模型仅从单个语义理解文本的缺点.对比实验及消融实验表明,新模型预测精度与主流方法相比有较为显著的提升,各特定任务的语义信息有助于预测故事发展方向.

关键词：故事发展方向;语言模型;多任务学习;迁移学习

所属期刊栏目：45

分类号：TP391.1(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目;电子信息类专业硕士协同创新平台建设项目

在线出版日期：2021-11-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：19-28