Predictive resource allocation: unsupervised learning of Markov decision processes

Abstract

由于人工智能 (artificial intelligence, AI) 在自然语言处理和计算机视觉等领域的成功应用, 近几 年机器学习技术已被广泛用于设计无线通信系统 [4] . 近期文献开始研究信息预测问题, 首先考虑了采 用先预测再优化的方法实现预测资源分配, 即通过循环神经网络 (recurrent neural network, RNN) 等 机器学习模型先预测未来的用户轨迹或平均数据率, 然后根据预测值优化在预测窗内多个帧之间的资 源分配 [5,6] . 为了分析预测资源分配何时相对于非预测资源分配具有较大的增益, 文献 [7] 推导了相对 增益的表达式, 分析了影响增益的关键因素. 由于先预测再优化方法没有利用新观测到的数据, 故当预 测窗较长时性能较差. 为了解决这个问题, 文献 [8] 把预测资源分配建模为马尔可夫决策过程 (Markov decision processes, MDP), 采用深度强化学习 (deep reinforcement learning, DRL) 根据当前和过去观测 的环境信息进行了在线决策.