面向概括性小文本的文本分割算法

摘要：

文本分割是自然语言文本处理的一项重要研究内容.该文针对现有模型无法有效分割概括性小文本的不足,提出基于隐马尔可夫模型的统计算法.该算法利用小文本中各结构块的长度及词汇信息,对概括性小文本进行同一主题不同论述侧面的分割.对发射概率设计了基于句群和基于分割点2种不同的计算方法.以Medline摘要为样本进行的实验表明,该算法对概括性小文本分割是有效的,明显好于经典的TextTiling算法.

关键词：文本分割、概括性小文本、隐马尔可夫模型、边界识别、相似性度量

所属期刊栏目：34

分类号：TP311(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目60473071;高等学校博士学科点专项科研基金资助项目20020610007;四川大学计算机学院青年基金

在线出版日期：2009-02-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：43-45