10.3969/j.issn.1000-3428.2014.10.008
面向大规模数据的在线新事件检测
通过分析基于新闻要素的在线新事件检测算法的时间消耗,提出一种面向大规模数据环境的在线新事件检测算法。该算法利用基于倒排索引的高效相似报道搜索机制,有效减少单路径聚类算法中的相似度比较次数。通过对报道预处理、报道与事件比较以及索引搜索这3个过程的并行化,提高算法在多机环境下的运行效率和可伸缩性。实验结果表明,该算法在不影响漏检率和误检率的基础上,提高了新事件检测的速度,并且在千万到亿级别的报道规模下,其吞吐量达到150条/s~200条/s。
新事件检测、单路径聚类、大规模数据、并行计算、倒排索引、MapReduce架构
TP391(计算技术、计算机技术)
国家科技支撑计划基金资助项目“证券业云平台研发与运营”2012BAH13F02。
2014-10-31(万方平台首次上网日期,不代表论文的发表时间)
共6页
37-42