基于解耦-检索-生成的图像风格化描述生成模型

摘要：

图像描述旨在为输入的图像生成描述文本以准确描述图像内容,而图像的风格化描述在此基础上引入了对语言风格的考虑,恰当表达出特定的语言风格,使得模型生成的描述文本更具多样性.为了更好地在生成的描述文本中融入风格元素,提出了基于解耦-检索-生成的图像风格化描述生成模型.该模型首先将风格化语料中的句子拆分成内容词汇和风格词汇,并构建了 一个内容-风格词汇的记忆模块;然后根据图像的事实描述从记忆模块中检索出与之相匹配的风格词汇;最后将图像的事实描述和检索出的风格词汇输入语言模型中生成风格描述.在真实数据集上的实验结果表明,相比已有方法,所提模型在各项评价指标上都有着更好的性能表现,可以在描述图像内容的同时表达出特定的风格.

关键词：图像描述、深度学习、文本生成、语言风格、编码器-解码器

所属期刊栏目：49

分类号：TP181(自动化基础理论)

在线出版日期：2022-06-24（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：180-186