面向Lustre集群存储的应用日志分析及系统自动优化框架

摘要：

在科学计算、大数据处理和人工智能等领域,对相关应用负载进行研究,分析负载I/O模式,揭示应用负载变迁规律等,对指导集群存储系统性能优化十分重要.当前应用种类繁多并且应用快速迭代更新,复杂的环境使得对应用负载的特性挖掘充满挑战.针对以上问题,在生产环境中收集了5个Lustre集群存储共计326天的应用日志信息,对应用负载的访问、负载特性进行了深入的探究与分析,并对已有观察进行了验证和补充.通过对应用日志信息横向、纵向和多维度对比分析与信息挖掘,总结了4个发现,并研究相关发现与以往工作的关联性,结合实际生产环境,给出了相应的系统优化策略与切实可行的实施方案,为用户、维护人员、上层应用开发者和多层存储系统设计等人员提供了相关参考与建议.同时,针对实际应用环境复杂、系统优化工作耗时费力等问题,设计并实现了一种系统自动优化框架(SAOF),SAOF可为指定应用负载提供资源预留、带宽限定等功能,初步测试表明,SAOF能根据系统资源与任务负载需求为不同任务提供自动化的QoS保障.

关键词：Lustre文件系统、日志分析、系统优化、服务质量、资源管理

所属期刊栏目：44

分类号：TP301(计算技术、计算机技术)

资助基金：国家自然科学基金;创新研究群体项目;浙江省万人计划;之江实验室自设科研项目

在线出版日期：2022-04-27（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：594-604