基于全局属性注意力神经过程模型的数据补全研究

摘要：

注意力神经过程(Attentive Neural Process,ANP)模型采用生成模型的方法,以样本的任意局部上下文点为输入,输出整个样本的分布函数,从而模仿高斯过程回归完成数据补全任务.样本的属性信息可以为样本的生成提供重要信息,然而ANP模型忽略了对属性信息的使用.受条件变分自动编码机(CVAE)模型以标签为条件控制样本生成的启发,文中提出了全局属性注意力神经过程(Global-attribute Attentive Neural Process,GANP),将样本属性嵌入到编码器网络,从而使浅层变量隐含样本属性信息.同时,在解码器网络中加入样本属性作为特征,使模型的生成样本更为准确,特别是当输入上下文点数量稀少时,属性信息能够帮助模型生成更清晰、准确的样本.最后,从定性和定量两个方面证明了GANP性能的优越性,可以看出该模型扩展了NP家族模型的应用范围,从而更灵活、快速、准确地解决只有部分上下文信息时整个样本的数据补全问题.

关键词：神经过程、交叉注意力、变分推断、高斯过程、全局属性

所属期刊栏目：49

分类号：TP391.4(计算技术、计算机技术)

资助基金：国家自然科学基金61806221

在线出版日期：2022-10-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：111-117