基于共享缓冲区的数据流处理框架设计与实现

摘要：

为解决数据流处理应用程序依赖数据流传输,分布式环境部署困难,应用开发难度大等问题,设计了一种基于共享缓冲区的数据流处理框架.该框架利用共享缓冲区为应用提供数据代理接口,实现数据流推动和分布式处理,并引入可自定义的负载均衡,解决了应用对数据流的依赖度和开发部署的难度系数,使其专注数据分析处理,无需关心数据的地理位置,提高了应用系统的稳定性和扩展性.通过在互联网病毒监控系统中应用,验证了该框架在分布式环境下的实时性和灵活性,使其可移植到云计算环境中.

关键词：流数据处理、数据处理、共享缓冲、分布式、云计算

所属期刊栏目：33

分类号：TP393(计算技术、计算机技术)

资助基金：湖南省自然科学基金项目10JJ5066

在线出版日期：2013-01-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：4398-4401,4406