基于分层狄利克雷过程模型的文本分割

摘要：

文本分割在文本摘要、信息检索等诸多领域都有重要的应用.主题模型是该领域研究中的重要方法,但目前基于主题模型的方法普遍依赖于主题个数的人工设置.针对此问题,本文提出了一种基于分层狄利克雷过程(Hierarchical Dirichlet process,HDP)模型的文本分割方法.首先使用HDP模型获取文本在主题空间的向量表示,然后将主题向量用于C99分割算法实现文本分割,最后使用两种优化策略对结果进行优化.实验结果表明,基于HDP模型的方法能够摆脱对人工设置主题个数的依赖,有效提高了文本分割的性能.

关键词：主题模型、文本分割、分层狄利克雷过程、CRF构造

所属期刊栏目：32

分类号：TP391(计算技术、计算机技术)

资助基金：国家高技术研究发展计划“八六三”计划2011AA7032030D;全军军事研究生课题2011JY002-158

在线出版日期：2017-06-12（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：408-416