扩展搜索日志上下文的新词识别

摘要：

[目的]大规模搜集、整理新词扩充现有词典,提高汉语分词准确率,推动中文信息处理的发展.[方法]根据搜索日志查询串特征及新词特点,提出扩展搜索日志上下文的新词识别方法.首先,通过分析查询串的特点获取种子词集合,利用种子词集在搜索日志中进行全文扩展,提取候选新词.其次,根据新词的时间属性发现新词串,最后基于词语的边界信息,提出改进左右熵方法抽取语料中存在的新词语.[结果]在搜狗日志上进行实验,P@100的平均准确率达到89.60％.[局限]对比词串集合的规模会在一定程度上影响新词的正确率.[结论]实验表明该方法适用于搜索日志这种缺失上下文信息的文本的新词识别.

关键词：搜索日志、全文扩展、新词、边界、改进左右熵

分类号：TP391(计算技术、计算机技术)

资助基金：本文系国家自然科学基金项目“基于本体的专利自动标引研究”项目编号:61271304、北京市教委科技发展计划重点项目暨北京市自然科学基金B类重点项目“面向领域的互联网多模态信息精准搜索方法研究”项目编号:KZ201311232037和北京市属高等学校创新团队建设与教师职业发展计划项目项目编号:IDHT20130519的研究成果之一.

在线出版日期：2014-12-18（万方平台首次上网日期，不代表论文的发表时间）

页码：59-65