稠密向量实体检索模型的二值化提速压缩

摘要：

在实体检索任务中,为了从大规模实体库中高效筛选与查询相关的候选实体,可使用稠密向量检索模型.然而在现有的稠密向量检索模型中,由于实体向量维度较高,导致实时计算效率较低、存储空间较大.文中通过实验发现这些实体向量存在大量的冗余信息:一方面,绝大多数实体向量分布在互不相同的象限里;另一方面,语义相近的实体所在的象限也更近.因此,文中提出二值化的实体检索方法,用于压缩实体向量,加速相似度计算.具体而言,方法利用符号函数(sign),二值化压缩高维稠密的浮点向量,并通过汉明距离加快检索.从理论上分析文中方法保证检索性能的原因.通过定性、定量的分析实验验证理论的正确性,并给出基于随机升维旋转的二值检索性能改善方法.

关键词：实体检索、嵌入式表示、稠密向量检索、近似近邻检索、乘积量化

所属期刊栏目：36

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金;中国科学院青年创新促进会项目;中国科学院青年创新促进会项目;中国科学技术协会青年人才托举工程项目;中国科学院计算技术研究所创新项目

在线出版日期：2023-03-02（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：60-69