互联网上信息报道的最早发布时间检测

摘要：

准确提取网上信息报道的最早发布时间,对于使用计算机辅助的社会科学研究来说具有重要价值.数据表明,有40%的信息报道无法从网页中直接提取出文章发布时间,此时,如果单纯依靠搜集时间和HTTP协议提供的网页文件最后修改时间信息来估计文章发布时间,就会造成较大误差.提出了两种能够提高计算精度的方法:链接分析法和拷贝分析法.大数据量实验表明,这两种方法具有很小的出错概率,是切实可用的.其中,链接分析法能够在一定程度上减少计算误差.而拷贝分析法则具有决定性的作用.当一篇信息报道能在网上找到多个拷贝(转载)时,就会有很大的概率准确推断出该报道在网上的最早发布时间.

关键词：文章发布时间检测、网络信息挖掘、网页内容分析、文本消重

所属期刊栏目：3

分类号：TP393.09(计算技术、计算机技术)

资助基金：The National Natural Science Foundation of China under Grant No.60773162;the National High-Tech Research and Development Plan of China under Grant No.2007AA01Z100国家高技术研究发展计划863;the Guangdong Key laboratory Foundation under Grant No.CCNL200601

在线出版日期：2009-06-12（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：51-59