基于Spark Streaming的流式并行文本校对

摘要：

互联网的高速发展催生了海量网络文本,这对传统的串行文本校对算法提出了新的性能挑战.尽管近年来文本自动校对任务受到了较多关注,但相关研究工作多集中于串行算法,鲜有涉及校对的并行化.文中首先对串行校对算法进行泛化,给出一种串行校对的通用框架,然后针对串行校对算法处理大规模文本存在的耗时长的不足,提出3种通用的文本校对并行化方法:1)基于多线程的线程并行校对,它基于线程池的方式实现段落和校对功能的同时并行;2)基于Spark MapReduce的批处理并行校对,它通过RDD并行计算的方式实现段落的并行校对;3)基于Spark Streaming流式计算框架的流式并行校对,它通过将文本流的实时计算转为一系列小规模的基于时间分片的批处理作业,有效避免了固定开销,显著缩短了校对时延.由于流式计算兼有低时延和高吞吐的优势,文中最后选用流式校对来构建并行校对系统.性能对比实验表明,线程并行适合校对小规模文本,批处理并行适合大规模文本的离线校对,流式并行校对有效减少了约110 s的固定时延,相比批处理校对,采用Stream-ing计算框架的流式校对取得了极大的性能提升.

关键词：自动校对、流式计算、并行计算、多线程、Spark

所属期刊栏目：47

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;四川省科技服务业示范项目

在线出版日期：2020-04-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：36-41