基于Word2 Vec的SCI地址字段数据清洗方法研究

摘要：

[目的/意义]旨在设计一种有效针对SCI地址字段的数据清洗方案,将Word2Vec词向量模型引入到SCI地址字段的清洗过程中,利用地址字段中上下文的信息,识别SCI地址字段中机构名称的不同写法,最终建立"机构名称映射表",达到数据清洗的目的.[方法/过程]首先,对SCI地址字段的数据进行预处理,按照规律将地址字段的信息构建成专有名词.然后,引入Word2Vec模型训练,利用训练好的模型结合余弦相似度找出与待清洗机构名相似的拼写形式.最后,建立"机构名称映射表"完成清洗.[结果/结论]通过实证分析发现,第一,在相同阈值下,该方法针对机构的识别准确要比传统字符匹配的方法要高.第二,在机构名变体与缩写的识别能力上有较好的表现.第三,该方法的运算速度是传统字符匹配算法的近40倍.Word2Vec词向量模型在数据清洗中有一定应用价值,能够根据SCI地址字段的上下文信息,清洗出指定机构名称的形似、变体和缩写机构名,从而达到数据规范化的目的.

关键词：数据清洗、Word2Vec、词向量模型、SCI地址字段

所属期刊栏目：38

分类号：TP391(计算技术、计算机技术)

在线出版日期：2019-05-06（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：195-200