布茨定律用于中文同频词规律的实证研究

摘要：

布茨定律反映了英文文本同频词的分布规律，但布茨定律是否适用于中文文本很少有学者对其进行深入研究。为了探究布茨定律对于中文文本的适用性，揭示中文文本同频词的统计规律，对大量中文文本同频词进行统计研究，实验过程中注重了实验数据规模的选取和文本长度跨度的设计。实验得出：随着文本长度的增大，低频词的同频词数与不同词数的比值并非定值，而是逐渐减小；低频词的同频词数与不同词数的关系呈幂函数增长。另外，随着文本长度的增大，低频词的同频词数与频次为1的同频词数的比值也非定值，而是逐渐增大。上述结果与布茨所做英文的实验不一致，故得出结论：布茨定律不适用于中文文本。

关键词：同频词、齐普夫定律、布茨定律、低频词

分类号：TP391(计算技术、计算机技术)

在线出版日期：2015-07-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：62-67