一种Spark轻量级客户端实现方法研究

摘要：

[目的]满足前端用户频繁交互需求,克服传统重客户端与Spark应用服务保持长连接会话的弊端.[方法]在边缘节点服务器上部署高性能负载均衡和动态代理组件(HAProxy),提供一种通过轻量级客户端提交Spark作业的实现方法,对Spark作业进行动态调度与全生命周期管理.[结果]通过Spark on YARN模式将多个具有相同功能、相互之间能独立运行的Rest服务部署到YARN集群上,利用HAProxy的自动重载机制进行动态更新和加载后端服务配置,使前端用户在对后端变动无感知的情况下,通过HAProxy统一对外接口,将Spark作业提交到分散运行在Yarn集群上无差别的Rest服务中执行.[结论]该方法无须保持边缘节点服务器与集群节点服务器之间的长连接会话,通过HAProxy能有效避免外部用户直接访问集群内部节点,实现集群内外安全隔离的目的,同时可在Spark on YARN运行模式下实现Spark作业的交互式提交与异步调度,完成对Spark作业全生命周期的自主控制.

关键词：HAProxy、Spark、YARN、动态配置

所属期刊栏目：42

分类号：TP391(计算技术、计算机技术)

在线出版日期：2023-09-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：19-24