计算机应用于词频统计的算法研究

摘要：

首次提出自适应词额统计算法,该算法突破传统的思维模式,排除了在词频统计中预先设定庞大词库、对不同文章建立统一标准的复杂性,而以目标文章为基础,根据每篇文章的主题,动态生成切合该目标文章的统计标准,从而提高词频统计的效率;其基本原理是以文章为独立单位,确定一个关系场,在场中,从主标题出发,以关系微量为基本元素,以文章整体即关系场为计算区间,进行迭代累加,以组成文中各种固定组合,并对其进行记录与分析,将重复一定次数的固定组合上升为词,该词的集合即为本算法所求;最终以软件实现该算法思想,并进行了百篇文章的统计试验;实验结果表明,该算法具有一定的准确性、稳定性,提高了效率.

关键词：自适应、词频统计、关系场、固定搭配、重复频度

所属期刊栏目：30

分类号：TP391.4(计算技术、计算机技术)

在线出版日期：2008-01-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：64-66