PDRVLA: A Vision-Language-Action Model with Physical Dynamics Representations
报告的主要结果（均为原文自报，非本站复现）
（原文自报；基线数字取自各自论文，评测协议并不统一。）
| 方法 | LIBERO | LIBERO-Plus | RoboTwin 2.0 | SimplerEnv |
|---|---|---|---|---|
| $\pi_0$ | 94.4 | 53.6 | 62.2 | 27.1 |
| $\pi_{0.5}$ | 96.9 | 84.4 | 79.8 | 57.1 |
| Qwen-RobotManip | 99.1 | 89.0 | 93.0 | — |
| PDRVLA | 99.3 | 89.9 | 93.6 | 81.5 |
消融： - 世界模型辅助监督让保留集 RoboCOIN（828 个片段）上的平均归一化预测 MSE 从 0.6439 降到 0.6354（−1.32%，95% 区间 [0.71, 1.89]）；RGB −4.06%、深度 −2.12%、光流 −0.62%（区间含 0）。 - ECoT 训练：LIBERO Long 92.8 → 96.0，LIBERO-Plus Long 65.18 → 69.87；推理时生成 ECoT 没有一致的额外收益。 - 子任务每 8 个动作块刷新一次，RoboCasa365 平均 32.13%（基线 26.25%）；刷新间隔 32 块降至 20.63%，低于基线。
通俗解释
现在的机器人大模型（VLA）看图、听指令、出动作，但对「物体动一下之后会怎样」理解很弱。让它们边控制边生成未来视频能帮忙，但太慢。
PDRVLA 的办法是：在视觉语言模型的中间层上加一个很小的「物理动力学模块」，让它提炼出 50 个「物理 token」。训练时让这些 token 去预测未来的彩色画面、深度图和光流（物体怎么动），并借用一个冻结的视频世界模型当「老师」做辅助监督。到真正控制机器人时，视频模型完全不用，只用这 50 个 token 帮助动作生成，推理速度不受影响。
另外，它的训练数据全部来自公开数据，并通过「人类动作转机器人」合成、子任务标注、具身思维链（ECoT）标注把数据做大。
专业解释
架构：Qwen3.5-4B VLM 骨干 + Physical Dynamics Module + DiT 动作专家（约 150M 参数）。物理模块取 VLM 第 $l=8$ 层（共 32 层）的特征 $H^{(8)}_t$（动机：后层可能抑制对预测物理变化有用的视觉信息；其他层的消融在附录 B），用 50 个可学习 query 经 4 个 Transformer block（cross-attention 取特征、self-attention 交换信息、FFN；宽度 1024、4 头）输出 50 个宽度 2560 的 physical tokens $C_t$，参数量约 57.3M（占 4B 骨干的 1.4%）。动作专家的条件为 $X_t=[H_t^{\rm last};C_t]$。
两种互补监督：(1) Direct future prediction：对 $C_t$ 做 LayerNorm + 线性投影 + 学习的空间 query 的注意力池化，用三个线性读出预测未来 RGB、深度（DA3 伪标签）、光流（DPFlow 伪标签）的 VAE 潜特征（Wan VAE），目标经自适应平均池化并按模态 / 通道 / 空间位置标准化；(2) World-model-assisted：冻结的 LingBot-Video-Dense-1.3B 以当前 RGB 潜 clip（干净）+ 带噪的未来潜 + $C_t$ 为条件做 flow-matching 速度预测，另加两个可训练头预测深度与光流速度；梯度穿过冻结骨干训练物理模块。
动作：跨具身的 58 维动作向量（左右各一个槽：7 关节 + 9 EEF 位姿预留（6 维有效） + 12 灵巧手 + 1 夹爪），$K=8$ 步动作块，条件流匹配，推理 4 步 Euler。数据：全部公开数据（真机 1.26M 轨迹 / 14,893 小时，UMI 1.22M / 10,259 小时，仿真 1.87M / 8,868 小时）+ 第一视角人类到机器人转换（0.90M 轨迹）+ 子任务与 ECoT 标注。
详细算法
1. 问题设定
时刻 $t$ 的输入：多视角图像与任务指令（前缀具身、臂型、末端类型、控制频率），当前本体状态 $q_t$。输出：长度 $K=8$ 的动作块 $\mathbf A_t=[\mathbf a_{t,0},\ldots,\mathbf a_{t,K-1}]$，整块执行完再重规划。可选：自生成子任务描述（"Current step: …"）或 ECoT 响应（场景、进度、下一步运动）作为额外上下文。
2. 关键公式
末端位姿动作（相对块起始位姿）（式 2）：
$$\mathbf a^{\rm eef}_{t,k}=\big[\mathbf p^*_{t+k}-\mathbf p_t,\ \mathrm{Log}(R^*_{t+k}R_t^{\mathsf T})\big]\in\mathbb R^6$$
动作专家的条件（式 3）：$X_t=[H_t^{\rm last};\,C_t]$。
直接未来预测损失（式 4–5；$m\in\{r,d,f\}$ 为 RGB / 深度 / 光流）：
$$\tilde y^m=\frac{y^m-\mu^m}{s^m},\qquad \mathcal L_{\rm direct}=\frac13\sum_{m}\mathrm{MSE}\big(g^m_\eta(C_t),\tilde y^m\big)$$
世界模型辅助损失（式 6–7；未来潜与噪声线性混合，$\sigma\sim U(0,1)$）：
$$z^r_{\sigma,\rm future}=(1-\sigma)z^r_{\rm future}+\sigma\epsilon,\qquad \mathcal L_{\rm WM}=\sum_m\mathrm{MSE}\big(\hat v^m_{\rm future},\ \epsilon-z^m_{\rm future}\big)$$
物理预训练目标（式 8；$\lambda(k)=0.5\min(k/2000,1)$）：
$$\mathcal L_{\rm pre}=\mathcal L_{\rm WM}+\lambda(k)\,\mathcal L_{\rm direct}$$
条件流匹配的动作损失（式 9–10）：
$$x_\tau=(1-\tau)\xi+\tau\mathbf A_t,\quad v^*=\mathbf A_t-\xi,\qquad \mathcal L_{\rm act}=\frac{\sum_i\|M_i\odot(\hat v_i-v_i^*)\|_F^2}{\sum_i\|M_i\|_1+\delta}$$
联合策略损失（式 11）：
$$\mathcal L_{\rm policy}=\mathcal L_{\rm act}+0.1\,\mathcal L_{\rm VL}+0.1\,\mathcal L_{\rm direct}$$
3. 逐步伪代码
# 阶段 1: 物理动力学预训练 (VLM 与 LingBot 冻结)
for 每个样本 (当前观测, 指令, 5 帧视频 [当前 + 之后 30 个动作步], 深度/光流伪标签):
H8 = VLM.layer8(观测, 指令) # 冻结
C = PhysicalModule(H8) # 50 个 query -> 50 个 physical tokens
编码 RGB / 深度 / 光流 视频为 Wan-VAE 潜特征 z^m
# 直接预测
L_direct = mean_m MSE( g^m(C), 标准化(池化(z^m_future)) )
# 世界模型辅助
采样 σ~U(0,1), ε~N(0,I); z_future^r' = (1-σ) z_future^r + σ ε
v̂^m = LingBot(干净 z_current^r, 带噪 z_future^r', 条件 C, σ) # RGB 头冻结, 深度/光流头可训练
L_WM = Σ_m MSE(v̂^m, ε - z^m_future)
loss = L_WM + λ(k) L_direct; 更新 PhysicalModule, 深度/光流头, 直接预测头
# 阶段 2: 联合策略训练 (去掉视频模型)
for 每个 VLA / VL 样本:
H_last, H8 = VLM(...); C = PhysicalModule(stopgrad(H8))
A: 动作专家 v_ψ(x_τ, τ, [H_last; C], q_t) -> L_act (带掩码)
L_VL: 仅对响应 token 的交叉熵 (只更新 VLM)
L_direct (继续)
loss = L_act + 0.1 L_VL + 0.1 L_direct
# 推理
可选: VLM 先生成子任务描述 (或 ECoT) 附加到指令
H_last, C = VLM + PhysicalModule # 不运行视频模型
x ~ N(0, I); 4 步 Euler 积分速度场 v_ψ -> 动作块 A (K=8)4. 训练 / 推理流程
适配与评测：LIBERO（四个 suite 各 10 个任务，微调 40,000 步，批大小 128，共 2,000 个评测 episode）、LIBERO-Plus（扰动鲁棒性）、RoboTwin 2.0（Aloha-AgileX，clean50 + randomized500，每任务每设置 100 个 episode）、SimplerEnv（WidowX/Bridge 视觉匹配，微调 50,000 步）。基线数字取自各论文与官方仓库（含 InternVLA-A1.5、Qwen-RobotManip 的汇总），协议并不完全一致。训练硬件与具体超参见论文附录 A。
与既有方法对比
- 在线生成未来视频的 VLA / 世界模型策略：能提供动力学上下文但把视频生成放进控制回路，增加延迟；PDRVLA 只在训练期用视频模型。
- 同类「训练期视频监督」路线（InternVLA-A1.5、Tang 等 2026）：PDRVLA 的差异在于同时预测 RGB + 深度 + 光流三种目标，且结合直接回归与冻结视频模型的辅助监督，并取 VLM 中间层（第 8 层）而非末层特征。
- 结果（原文自报成功率 %）：LIBERO 99.3、LIBERO-Plus 89.9、RoboTwin 2.0 93.6、SimplerEnv 81.5；对比 $\pi_{0.5}$ 的 96.9 / 84.4 / 79.8 / 57.1，Qwen-RobotManip 99.1 / 89.0 / 93.0 / —。
优势
- 把世界模型的动力学知识以「训练期监督」蒸馏进 50 个 token，推理无需视频生成，延迟友好；新增模块仅约 57.3M 参数（1.4%）。
- 多模态未来目标（外观 + 几何 + 运动），并在潜空间（Wan VAE）而非像素空间预测，目标紧凑。
- 训练数据全部公开，并给出大规模的数据合成 / 标注管线（人类到机器人转换、子任务、ECoT）。
- 做了较细的消融：世界模型监督、子任务刷新频率、物体位姿监督、ECoT 训练 vs 推理生成、物理模块设计（探针）。
劣势 / 局限
- 世界模型辅助监督对预测误差的改善幅度很小（平均 −1.32%，光流的区间含 0）；其对最终控制成功率的因果贡献在文中没有直接大幅度证据（编者归纳）。
- 所有主结果在仿真基准上（LIBERO、LIBERO-Plus、RoboTwin 2.0、SimplerEnv），没有真机评测；基线数字取自不同论文，协议不完全一致。
- LIBERO 等基准接近饱和（99.3%），提升空间与区分度有限；另外论文在附录里列出了 LIBERO EEF 高度统计（表 17）说明与预训练分布存在差异，提示基准微调时的分布偏移。
- 依赖多个外部预训练模型与伪标签（DA3 深度、DPFlow 光流、Wan VAE、LingBot-Video）；伪标签质量与算力成本会传导到表征。
- 论文没有单独的 Limitations 小节（本站抽取未发现；待确认）。
与工业 AI 的关系（作者判断，非论文结论）
对「产线大脑」中的机器人 / 机械臂作业有直接参考：让策略在不增加在线延迟的情况下具备对「操作后会发生什么」的预期，对装配、上下料、搬运类任务有价值。但目前证据仅限仿真，且训练依赖大规模公开机器人数据，我们的产线场景（特定夹具、节拍、安全约束）需要自有数据微调与安全闸门，短期更适合作为技术跟踪。
待确认事项
- 待确认：PDRVLA 是否有开源代码与权重 依据：HF Papers 与全文均未给出仓库链接（2026-10-31）
- 待确认：各基线数字是否在统一协议下可比 依据：论文自述基线取自各自论文与官方仓库，协议各异（2026-10-31）
- 待确认：论文 Limitations / 真机实验 依据：文本抽取中未发现独立 Limitations 小节与真机评测（2026-10-31）