基于内容相似度的网页正文提取

摘要：

提出一种将复杂的网页脚本进行简化并映射成一棵易于操作的树型结构的方法.该方法不依赖于DOM树,无须用HTMLparser包进行解析,而是利用文本相似度计算方法,通过计算树节点中文本内容与各级标题的相似度判定小块文本信息的有用性,由此进行网页清洗与正文抽取,获得网页文本信息,实验结果表明,该方法对正文抽取具有较高的通用性与准确率.

关键词：网页正文抽取、网页映射、网页清洗、文本相似度

所属期刊栏目：36

分类号：TP393(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目60575035,60975033;上海市重点学科建设基金资助项目J050103;上海大学研究生创新基金资助项目SHUCX092162

在线出版日期：2010-05-24（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：102-104