专利推介丨一种基于深度强化学习的5G核心网用户面动态部署方法

    近日，我院研发的“一种基于深度强化学习的5G核心网用户面动态部署方法”获得国家发明专利授权（专利号：ZL202311074045.9）。本专利聚焦于5G及未来网络核心网用户面功能（UPF）部署的高能效与低时延协同优化难题，提出了一种创新的基于深度强化学习（DRL）的动态智能调度方案，为实现绿色、高效、自适应的核心网运营奠定了关键技术基础。

   技术突破：实现从静态配置到动态自优的运维方式

   传统核心网用户面部署方式多为静态或基于简单规则，无法有效适应业务流量的动态波动，导致资源利用率低、能耗高，且难以保障边缘业务所需的低时延。本专利的核心在于，首创了一套基于深度强化学习的动态部署与联合优化机制。该方法将网络动态调度问题构建为一个最小化总运营成本（涵盖服务器能耗、数据时延及服务迁移开销）的优化问题，并利用双深度Q网络（DDQN）算法，使系统能够从与环境的交互中自主学习，实现长期最优决策，从而完成从被动响应到主动预测优化的根本转变。

   核心技术路径：数据驱动的闭环智能决策

   本专利的实现是一个清晰的数据驱动闭环：

1. 问题建模与状态输入：将动态部署问题形式化为一个最小化总成本（包含服务器能耗、数据时延及流量迁移开销）的优化问题。系统实时采集网络状态，包括各基站流量负载、边缘服务器处理能力及历史调度结果。
2. DRL算法决策生成：采用DDQN算法构建决策模型。模型以当前网络状态为输入，输出将每个基站流量调度至特定边缘服务器的最优动作。
3. 模型迭代优化：系统依据决策产生的实际效果给予奖励或惩罚。若决策降低总成本，则获得奖励；若决策超出服务器处理能力，则受到惩罚。通过大量此类反馈，算法不断调整模型参数，最终学会能长期最小化运营成本的部署策略。
4. 收敛与应用：经过充分训练，算法能够稳定输出高精度部署策略，使系统总成本收敛至最优区间，并能随网络条件变化持续自适应调整。

   应用价值与显著优势

   本专利是5G核心网及未来网络实现智能化运营的关键技术，具有广阔应用前景，尤其适用于运营商网络节能降耗、边缘计算业务保障及网络切片资源动态调度等场景。

本专利的技术优势主要体现在以下方面：

• 显著降低运营成本：通过动态资源调配与负载均衡，在保障服务体验的同时，最大化降低能耗与迁移开销。
• 精准保障业务体验：通过优化用户面网元部署位置与流量路径，有效降低数据传输时延，赋能对时延敏感的垂直行业应用。
• 提升资源利用效率：驱动网络资源从静态预留转向动态随业务流动，大幅提升基础设施利用率。
• 具备强自适应能力：算法不依赖对流量模式的理想化假设，能够从实际网络数据中学习并适应复杂动态变化，工程鲁棒性强。

   此项专利授权，标志着我院在利用人工智能赋能通信网络核心层方面取得重要进展，为破解网络高效、绿色运营的共性难题提供了创新解决方案。