面向异构工业任务高并发计算卸载的深度强化学习算法
刘晓宇1,2,3,4; 许驰1,3,4; 曾鹏1,3,4; 于海斌1,3,4
刊名计算机学报
2021
卷号44期号:12页码:2367-2381
关键词多接入边缘计算 工业无线网络 动态优先级 任务卸载 深度强化学习
ISSN号0254-4164
其他题名Deep Reinforcement Learning-Based High Concurrent Computing Offloading for Heterogeneous Industrial Tasks
产权排序1
英文摘要

进入工业 4.0 时代,大规模互联分布式智能工业设备产生了海量的具有时延敏感和计算负载差异的异构工业任务, 终端侧有限的计算能力难以支持任务的实时高效处理。通过工业无线网络将任务卸载到网络边缘侧服务器进行多接入边缘计 算成为解决终端侧算力受限问题的一种有效手段。然而,工业无线网络有限的时频资源难以支持大规模分布式工业设备的高 并发任务卸载。本文充分考虑异构工业任务高并发计算卸载中有限时频资源约束和建模难的问题,提出一种基于深度强化学 习的动态优先级并发接入算法(Deep Reinforcement Learning-based Concurrent Access with Dynamic Priority, CADP-DRL)。该算 法首先分析异构工业任务的时延敏感性和计算负载时变性,为工业设备分配不同的优先级,动态地改变工业设备接入信道进 行计算卸载的概率。然后,利用 Markov 决策过程形式化动态优先级高并发计算卸载问题,并采用深度强化学习方法建立高 维状态空间下状态到动作的映射关系。针对动态优先级和并发卸载的多目标决策问题,设计了包含优先级奖励和卸载奖励的 复合奖励函数。为保证训练数据的独立同分布,同时提高算法收敛速度,提出了带经验权重的经验回放方法。对比实验结果 表明,CADP-DRL 能够快速收敛,实时响应,在实现最小卸载冲突的情况下为高优先级工业设备提供最高的成功卸载概率 保证,性能优于 slotted-Aloha、DQN、DDQN 和 D3QN 算法。

语种中文
CSCD记录号CSCD:7102322
资助机构国家重点研发计划(2020YFB1710900) ; 国家自然科学基金(61803368, 61972389, 61903356, U1908212) ; 中国博士后科学基金(2019M661156) ; 辽宁省‘兴辽英才计划’项目(XLYC1801001) ; 中国科学院青年创新促进会
内容类型期刊论文
源URL[http://ir.sia.cn/handle/173321/30120]  
专题沈阳自动化研究所_工业控制网络与系统研究室
通讯作者许驰; 于海斌
作者单位1.中国科学院沈阳自动化研究所, 机器人学国家重点实验室, 沈阳 110016
2.中国科学院大学, 北京 100049
3.中国科学院机器人与智能制造创新研究院, 沈阳 110169
4.中国科学院网络化控制系统重点实验室, 沈阳 110016
推荐引用方式
GB/T 7714
刘晓宇,许驰,曾鹏,等. 面向异构工业任务高并发计算卸载的深度强化学习算法[J]. 计算机学报,2021,44(12):2367-2381.
APA 刘晓宇,许驰,曾鹏,&于海斌.(2021).面向异构工业任务高并发计算卸载的深度强化学习算法.计算机学报,44(12),2367-2381.
MLA 刘晓宇,et al."面向异构工业任务高并发计算卸载的深度强化学习算法".计算机学报 44.12(2021):2367-2381.
个性服务
查看访问统计
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。


©版权所有 ©2017 CSpace - Powered by CSpace