CSV
分割渲染与视频传输协同控制
研究内容
沉浸式应用可以将一部分对象放在本地渲染,另一部分交给远端,再通过视频传回浏览器。渲染位置、视频码率和丢包保护会共同影响计算负担、网络开销和交互体验。
CSV 联合调整这三类参数。我参与了 Unity、定制 WebRTC、浏览器合成与遥测链路的实现,设计 SCPL 学习策略,并搭建批量实验和分析流程。
系统实现
浏览器采集场景与网络状态,联合 Actor 给出动作建议。协调器检查约束后,将配置发送给渲染与传输模块,并跟踪执行结果。
运行时结构
浏览器渲染线程承载本地三维对象、输入与运行状态;接收的视频与本地内容进入最终合成。
实现细节
- Unity / RenderFusion 对象级本地与远端渲染控制
- 定制 Unity WebRTC 与 libwebrtc M116 FEC 补丁
- 浏览器本地/远程画面合成、getStats 与帧截止时间遥测
- DataChannel、MQTT 信令及动作上下文的分工协作
- 离线响应建模、教师构造、联合策略蒸馏与运行时执行反馈

学习方法
SCPL 先从实测样本学习不同配置下的体验变化,再在数据支持、可以执行的候选配置中构造教师决策,最后蒸馏为轻量策略。训练在离线阶段完成,运行时只做推理与协调。

实验结果
−32.0%
截止时间违约率(DMR)
相较三种基线的平均水平。DMR 统计错过帧截止时间的比例。
上述结果来自论文实验,完整条件与基线见论文。页面中的 3D 模型用于说明系统结构;完整实现目前保存在私有仓库中。