一个并发AI数据流处理节点内的通信模型

摘要：

物联网智能设备产生的大量并发AI数据流给云端处理中心带来了巨大的挑战,为了应对这一挑战,边缘计算将海量的并发AI数据流以流水线加工的方式将这些并发AI数据流分配给边缘服务集群内的计算节点处理.如何利用计算节点内有限的计算资源、以较低的成本提高并发AI数据流的处理与通信效率是本文研究的目标.提出了一种能够在处理并发AI数据流的计算节点内使用的通信模型,该通信模型结合DPDK的核绑定机制为并发AI数据流的接收过程、计算过程、发送过程均衡地绑定CPU核,还加入了数据流的分类计算、网卡端口的调度策略、缓冲环和全局网卡端口的负载监控.实验分析表明,并发AI数据流处理节点内的通信模型能够有效制定CPU核的均衡绑定策略,提高流处理节点之间的并发AI数据流的处理效率,还实现了多网口的均衡调度策略,使网卡端口的负载达到均衡状态,不会对端口造成太大的负载,同时带宽利用率和通信速率也大大提高,并且降低了边缘集群中流处理节点的部署成本,合理利用了节点内的计算资源处理并发AI数据流.

关键词：并发AI数据流、计算资源、均衡、DPDK、流处理节点

所属期刊栏目：12

分类号：TP393(计算技术、计算机技术)

资助基金：国家自然科学基金;上海重点科技攻关项目;上海重点科技攻关项目;上海智能家居大规模物联共性技术工程中心项目;上海市一流学科建设项目;上海市重点项目

在线出版日期：2022-12-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：26-33,40