返回主页CSV

CSV

分割渲染与视频传输协同控制

2025.09 — 2026.09
NSDI 2027 投稿在审
第二作者,导师第一作者

研究内容

沉浸式应用可以将一部分对象放在本地渲染,另一部分交给远端,再通过视频传回浏览器。渲染位置、视频码率和丢包保护会共同影响计算负担、网络开销和交互体验。

CSV 联合调整这三类参数。我参与了 Unity、定制 WebRTC、浏览器合成与遥测链路的实现,设计 SCPL 学习策略,并搭建批量实验和分析流程。

系统实现

浏览器采集场景与网络状态,联合 Actor 给出动作建议。协调器检查约束后,将配置发送给渲染与传输模块,并跟踪执行结果。

运行时结构

浏览器渲染线程承载本地三维对象、输入与运行状态;接收的视频与本地内容进入最终合成。

实现细节
  • Unity / RenderFusion 对象级本地与远端渲染控制
  • 定制 Unity WebRTC 与 libwebrtc M116 FEC 补丁
  • 浏览器本地/远程画面合成、getStats 与帧截止时间遥测
  • DataChannel、MQTT 信令及动作上下文的分工协作
  • 离线响应建模、教师构造、联合策略蒸馏与运行时执行反馈
CSV 论文系统总览:运行时状态进入联合 Actor 和多时间尺度协调器,再下发至 Unity 与 WebRTC 执行平面
论文图 4:系统总览

学习方法

SCPL 先从实测样本学习不同配置下的体验变化,再在数据支持、可以执行的候选配置中构造教师决策,最后蒸馏为轻量策略。训练在离线阶段完成,运行时只做推理与协调。

SCPL 的响应建模、教师决策、策略蒸馏与运行时推理流程
论文图 5:SCPL 学习流程

实验结果

−32.0%

截止时间违约率(DMR)

相较三种基线的平均水平。DMR 统计错过帧截止时间的比例。
CSV 实验中的空间主题场景,包含 30 个可控制对象
论文图 6:包含 30 个可控制对象的实验场景

上述结果来自论文实验,完整条件与基线见论文。页面中的 3D 模型用于说明系统结构;完整实现目前保存在私有仓库中。