面向大规模数据的在线新事件检测

摘要：

通过分析基于新闻要素的在线新事件检测算法的时间消耗，提出一种面向大规模数据环境的在线新事件检测算法。该算法利用基于倒排索引的高效相似报道搜索机制，有效减少单路径聚类算法中的相似度比较次数。通过对报道预处理、报道与事件比较以及索引搜索这3个过程的并行化，提高算法在多机环境下的运行效率和可伸缩性。实验结果表明，该算法在不影响漏检率和误检率的基础上，提高了新事件检测的速度，并且在千万到亿级别的报道规模下，其吞吐量达到150条/s~200条/s。

关键词：新事件检测、单路径聚类、大规模数据、并行计算、倒排索引、MapReduce架构

分类号：TP391(计算技术、计算机技术)

资助基金：国家科技支撑计划基金资助项目“证券业云平台研发与运营”2012BAH13F02。

在线出版日期：2014-10-31（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：37-42