Twitter中近似重复消息的判定方法研究

摘要：

微博客是Web2.0出现以来的一个新生概念.著名的Twitter系统是微博客中具有代表性的一个.其全球用户已经超过1.6亿,在世界范围内具有重要影响力:目前知名政治家、社会名流和大企业几乎都是Twitter的用户.Twitter系统中的消息小于0个字符,而且语法不规范.同时,由于Twitter允许用户以多种格式自由转发消息,系统中存在大量内容重复或近似重复的消息.重复消息的存在加重了系统存储的负担,对用户阅读、理解以及分析消息的内容也造成了不利影响.该文分析了Twitter系统中转发消息的语法特点,并利用这些语法特点提取规则,把转发的消息变成普通消息.该文还提出统计字符种类和最短编辑距离两种字符串距离计算的方法以判定Twitter中近似重复的消息.该文还分析了Twitter消息发送的方式以及不同登录方式的消息特征.实验结果表明,两种方法具有扩展性强、实现简单、效率高等优点,能够有效地检测Twitter上的信息重复现象.

关键词：微博客、Twitter、重复消息

所属期刊栏目：25

分类号：TP391(计算技术、计算机技术)

资助基金：国家242专项资助项目2009F108,2009A91,2009A19;国家自然科学基金资助项目60903139

在线出版日期：2011-06-03（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：20-27