Hedge Trimmer句子压缩技术的算法实现及改进

摘要：

压缩技术旨在模拟人类的文本概括和信息提取能力.句子压缩技术是自动生成能够保留原句核心内容的,合乎语法的,语义连贯的简短句子.文章分析了英文句子压缩技术中基于句法分析的Hedge Trimmer压缩技术,讨论了相关压缩理论,探索其压缩过程并用类C语言进行算法实现.提出了好的压缩句应该至少满足以下3个标准:第一是保留原句的核心内容,第二是具有正确的语法,第三是压缩长度合理.在算法的评估工作中,从DUC 2003语料库中选取了624个原始句子和对应的人工压缩句,与Hedge Trimmer压缩算法自动生成的压缩句进行对照分析.发现5种压缩效果不理想的情况,分析其原因并提出了改进策略.最后,通过实例对改进算法生成的压缩句和原来算法生成的压缩句进行对比评估,证明了改良算法能够获得更理想的压缩句.在英文句子压缩领域,改良的Hedge Trimmer句子压缩算法值得推广和应用.

关键词：句子压缩、Hedge Trimmer算法、评估、改进

所属期刊栏目：30

分类号：TP391.1(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目71002015;辽宁省教育厅高等学校科学研究项目2009B066;辽宁省高等教育学会"十二五"高等教育科研课题GHYB110231

在线出版日期：2013-03-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：519-524