基于磁盘I／O性能的Hadoop任务选择策略

摘要：

最大化利用本地磁盘的I／O 资源是提升计算集群性能的关键，但Hadoop系统中多数调度算法未考虑此项因素。为此，引入磁盘负载作为 Map任务选择的权衡参数，任务调度时参照磁盘负载程度选择合适的任务，以保证数据节点上各磁盘的负载相对均衡，并据此设计新的任务选择模块集成到 Hadoop 的调度器中。同时为进一步提升Hadoop系统的性能，实现Map作业的近似完全本地化执行。实验结果表明，该任务选择策略能够充分利用数据节点本地磁盘的 I／O 资源，可使节点的 I／O Wait 平均降低5％，CPU 利用率平均上升15％，作业的执行时间缩短20％。

关键词：Hadoop系统、调度算法、数据本地性、任务选择策略、磁盘负载、I/O 性能

所属期刊栏目：42

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金11375223，11375221；国家自然科学基金委员会-中国科学院大科学装置联合基金11179020。

在线出版日期：2016-12-02（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：76-82