VisionRAN：面向O-RAN的视觉增强型gNB智能移动控制框架

溯溪而上

Cicely 6G标准与技术探索

葡萄牙波尔图大学CONVERGE项目组（Horizon Europe资助，Grant No. 101094831）的最新研究论文《A Vision-based Framework for Intelligent gNodeB Mobility Control》提供了一个多模态框架：首个符合O-RAN标准的多模态感知-决策-执行闭环验证框架。

该框架主要解决了：传统O-RAN架构仅传输信噪比（Signal-to-Noise Ratio, SNR）、关键性能测量（Key Performance Measurements, KPMs）等射频和物理层指标；缺乏对物理环境的结构化感知能力，导致在用户移动、视距（Line-of-Sight, LoS）被动态遮挡等场景下，gNB无法自主响应。

▍架构演进：视觉原生O-RAN

当前O-RAN规范中E2接口承载的数据类型受限：仅支持KPMs、SNR等传统射频与网络统计量。这些指标虽对链路级性能监控至关重要，却无法表征物理空间结构、障碍物位置或用户运动轨迹等环境上下文信息，致使网络控制器缺乏“环境认知”能力。
第六代（6G）网络所要求的预测性、情境感知型控制机制，需外部感知模态（如视觉、定位）的深度集成。但现有O-RAN规范未原生支持此类数据，形成智能网络控制器能力与底层架构能力之间的结构性断层。

该论文提出VisionRAN - 面向视觉增强的O-RAN架构扩展，其核心在于将环境感知能力下沉至E2接口层，使xApp可直接获取结构化视觉语义与三维定位数据，从而实现真正意义上的感知驱动型控制。



▍POS与VIS服务模型

VisionRAN的核心创新在于定义并实现了两类全新的E2服务模型：

(1) POS（Positioning Service Model) 负责结构化传递三维定位数据:

指示消息（indication message）向xApp上报gNB、RGB-D相机等关键网络实体的全局坐标系下的三维位置（x,y,z，单位cm）与速度矢量（vx,vy,vz，单位cm/s）;
支持xApp下发目标坐标（x,y,z）控制指令；

所有坐标均对齐部署环境的全局参考系。

(2) VIS（Vision Service Model）提供由RGB-D相机提取的语义级视觉信息

指示消息包含每帧图像中检测到的目标对象列表，每个对象条目含唯一ID、类别标签（cls）、以像素为单位的边界框中心）与宽高、相对于相机的俯仰/方位角及距离。

该语义数据使xApp能直接推断LoS状态、预测遮挡事件并据此调整控制策略。

两类SM的消息结构严格遵循轻量化、可扩展原则；完整的字段定义如下所示：



▍增强E2代理(E2 agent)

E2代理被增强为支持与外部感知/执行模块的双向通信：

一方面，它接收来自RGB-D相机的原始视频流或深度图，依据POS/VIS SM规范进行解析、特征提取与结构化封装；

另一方面，它接收来自xApp的POS控制消息，并将其转换为底层执行器（如机器人运动控制器）可识别的指令。

所有数据交换均采用轻量级JSON格式，严格按POS/VISSM定义的字段组织，保障指示消息（如位置更新、物体检测）与控制命令（如gNB移动指令）的实时、可靠传输。

▍VisionApp：基于DQN的多模态gNB移动控制引擎

VisionApp是VisionRAN框架中的核心xApp，实现了一种基于深度Q网络（Deep Q-Network, DQN）的gNB移动控制策略。

该xApp运行于near-RT RIC之上，以200 ms为固定控制周期（Tctrl）执行完整的五步决策循环：



（1）几何位置估计：利用POS消息提供的相机参考位置，将VIS消息中的极坐标转换为笛卡尔坐标；
（2）多视角融合：综合gNB自身相机与CONVERGE视频功能（Video Function）提供的多个外部相机视角，通过平均法提升UE与障碍物定位精度；
（3）状态向量构建：依据融合后的坐标及帧间差分计算的速度，生成包含7维特征的结构化状态向量，包括gNB绝对位置、UE/障碍物相对位置与速度、以及二元LoS状态标识；
（4）DQN推理：将状态向量输入预训练DQN模型，输出最优离散动作；



（5）控制消息生成：根据选定动作（维持/增加/减少x轴速度）计算新目标位置，并将其封装为POS控制消息经E2接口下发。整个流程严格满足near-RT RIC的时序约束，所有计算步骤均经轻量化设计，确保在200 ms内完成。

▍VisionTwin：面向训练与验证的3D视觉数字孪生环境

VisionTwin提供一个可控、逼真且完全符合O-RAN标准的仿真沙盒，用于智能模型训练与系统级闭环验证。



在训练模式下，VisionTwin作为独立的强化学习（Reinforcement Learning, RL）平台，其仿真引擎严格遵循OpenAI Gym API规范（支持reset()与step()函数），确保与主流RL库无缝集成及结果可复现。

它模拟gNB的移动、UE与障碍物的动态，并基于射频（RF）模型精确计算路径损耗（Path Loss, PL），进而生成标量奖励信号，驱动DQN策略优化。

在验证模式下，VisionTwin执行严格的闭环仿真：

首先，CONVERGE参考相机（C1）捕获真实RGB-D视频帧；
其次，CONVERGE视频功能（Video Function）从中提取物体类别、边界框及极坐标，并格式化为VIS消息；
第三，VisionTwin利用此VIS数据重建包含UE与障碍物的动态3D场景，并以gNB当前位置为锚点虚拟化其位置；
第四，VisionTwin从gNB视角渲染合成视觉画面，反向生成模拟的VIS与POS数据，完美复现真实嵌入式相机的输出；
第五，这些模拟消息经E2接口送入near-RT RIC，由VisionApp执行融合、状态构建与DQN推理；
第六，生成的POS控制消息反馈至VisionTwin，更新gNB虚拟位置；
第七，VisionTwin依据公式PLdB = 20 log10(d) + Aobs · Lstatus计算路径损耗（其中d为gNB-UE距离，Aobs为障碍物衰减常数，Lstatus为LoS状态二元变量），并将该值输入OpenAirInterface（OAI）RF模拟器，以建模链路退化效应。

▍实验评估：真实视觉数据驱动的端到端性能验证

实验验证将真实世界视觉传感数据注入VisionTwin环境进行闭环测试。物理场景包含一个RGB-D相机（C1）、一个静态障碍物与一个移动UE（手持手机的人），所有实体位置与朝向均经人工标注，作为地面真值（ground truth)



一段25秒、12 fps的视频记录了UE从位置A（NLoS）→B（短暂LoS）→C（稳定LoS）的受控移动过程，为系统响应动态LoS变化的能力提供了清晰基准。



障碍物定位精度评估显示，基于POS消息估计的位置与地面真值的平均绝对误差仅为8 cm（x轴）与4 cm（y轴）。

网络性能对比实验在OAI RF模拟器中进行：障碍物建模为FR1频段25 dB衰减，TCP流量由iPerf生成。结果如下显示：



在VisionApp于5.4秒启动控制后，NLoS区间显著缩短——25秒总时长内，NLoS持续时间较静态gNB方案降低75%。该改善将导致：更稳定的信噪比（SNR）与更高的吞吐量，证明了视觉增强型移动控制对无线链路鲁棒性的实质性提升。

▍结论

当前系统依赖RGB-D相机提供准确的物体检测与深度估计；深度误差或误分类可能损害环境重建与LoS推断的准确性。

未来可通过在E2代理内部集成滤波算法（如卡尔曼滤波）对原始感知数据进行预处理，以缓解此问题。

评估聚焦于单UE与单障碍物场景，并没有检验DQN控制器的泛化能力 - 多UE、多障碍物场景，仅需适配控制模块与状态表示。
总体而言，该框架是一种模块化、视觉增强的控制范式，来提升6G网络在动态环境下的适应性与性能。

更多细节参考原文：https://arxiv.org/pdf/2603.18092