基于Web的DCI垂直搜索引擎的研究与设计

摘要：

为了解决用户能够快速、准确的搜索互联网上数字作品信息的问题,分析设计了一个对数字作品版权唯一标识符(Digital Copyright Identifier简称DCI)数字作品的垂直搜索引擎.首先基于Heritrix网络爬虫技术,对互联网上的数字作品进行数据采集和正文信息抽取,并将抽取的数据保存到本地；然后基于Lucene的全文检索工具包,对本地数据进行分词、倒排索引、索引检索和改进的相关度排序等处理,最终设计实现了一个通用可扩展的DCI垂直搜索引擎.实验结果表明,该搜索引擎在很大程度上提高了网页信息抽取的准确度和数据的检索效率.

关键词：数据采集、倒排索引、垂直搜索引擎、信息抽取、相关度排序

所属期刊栏目：34

分类号：TP393(计算技术、计算机技术)

资助基金：国家科技部支撑计划课题基金项目2012BAH04f03

在线出版日期：2013-05-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：1481-1487