面向外汇市场监测的分布式计算框架设计

摘要：

针对金融外汇市场监测指标计算复杂度高、完备性强、效率低等问题,基于Spark大数据架构提出了一种新的面向外汇市场监测的分布式计算框架.首先,对外汇市场监测的业务特性和现有技术框架进行了分析总结;然后,综合考虑了外汇单市场多指标和多市场多指标并行计算的业务特性;最后,基于Spark的有向无环图(DAG)作业调度机制和YARN的资源调度池隔离机制,分别提出了外汇市场级的有向无环图(M-DAG)模型和市场级资源分配策略——M-YARN.实验结果表明,所提面向外汇市场监测的分布式计算框架相对于传统技术框架在性能上提高了80％以上,可以有效保证大数据背景下外汇市场监测指标计算的完备性、精准性和时效性.

关键词：外汇市场、市场监测、Spark、有限无环图、资源分配

所属期刊栏目：40

分类号：TP399(计算技术、计算机技术)

资助基金：国家重点研发计划项目;上海市科学技术委员会科研计划项目

在线出版日期：2020-04-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：173-180