互联网商品匹配算法

摘要：

实体解析是指识别同一实体的不同描述形式的过程,旨在保障数据质量,是数据清理、数据集成及数据挖掘中的关键技术.随着电子商务的不断发展和成熟,商品的多样性和消费者灵活的购买方式,使得对网络商品的精确识别和匹配成为大数据时代亟待解决的问题.与传统实体解析主要针对结构化数据不同,网络数据具有非结构化、异构和海量的特性,为此设计了综合相似度算法(synthesized similarity method,SSM)来计算网络商品数据间的相似度,同时引入凝聚的层次聚类框架,以匹配来自不同数据源的异构商品.此外,为了解决大数据环境下对执行效率的要求,从字符串相似度缓存、约束知识库和分块策略三个方面对SSM进行优化,基于真实数据集的实验结果验证了SSM的执行效率和有效性.

关键词：实体解析、大数据、非结构化数据、商品匹配

所属期刊栏目：22

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目61272438,61472253,61300167;上海市科委资助项目15411952502,14511107702

在线出版日期：2016-03-31（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：58-68