VLA 与机器人端侧显存 & 边缘硬件计算器

如何估算端侧 VLA 的内存与带宽

与纯文本 LLM 不同,机器人上的 VLA 模型每次推理都要处理多个摄像头的视觉 token,并输出连续的关节指令(动作分块)。因此内存不仅随权重增长,还随摄像头数量、分辨率和历史长度增长,而推理速度通常受内存带宽限制。

1. 计算公式

本计算器以批大小为 1 的实时机器人控制为前提,使用以下公式。

Bytes_per_Param:FP16 为 2.0,FP8 为 1.0,W8A16 约 1.05,W4A16 + FP16 动作头约 0.62,NVFP4 约 0.56(每 16 个值配 1 个 FP8 缩放因子)。KV/激活缓冲按与视觉 token 数和模型规模成正比的经验公式估算。

2. 为什么内存带宽决定推理频率

批大小为 1 的推理往往先受限于内存带宽而不是算力,因为每次推理都要从 DRAM 重新读取全部权重。因此,设备的最大推理频率可近似为“带宽 × 利用率 ÷ 每次推理的读取量”,而通过量化减少权重可以同时改善内存容量和速度上限。

3. 动作分块与双回路控制

使用动作分块的模型一次推理生成多步动作,再由控制器以更高频率执行。例如在 30Hz 控制下每个分块执行 10 步,模型只需以 3Hz 推理。需要数百赫兹全身控制的人形机器人通常采用双回路:VLA 以低频生成目标,小型策略以高频输出关节指令。还应为 ROS 2 消息队列和摄像头缓冲保留系统内存(本计算器假设 3GB),以免机器人因内存不足而停机。

4. 边缘 AI 计算机规格与建议配置

大多数机器人板载计算机采用 CPU 与 GPU 共享同一 LPDDR 内存的统一内存架构。下表中的内存、带宽和功耗来自 NVIDIA 官方产品页面,建议配置是基于本计算器默认设置的参考值。

5. 各模型的规模说明

• Octo-Base (93M)、SmolVLA base (0.5B):即使 FP16 权重也只有约 1GB,默认摄像头设置下也能放进 8GB 开发板,带宽余量大,适合高控制频率。
• Isaac GR00T N1.7 (3B)、π0 (3.3B):FP16 权重约 6~7GB。GR00T 官方仓库建议推理使用 16GB 级 GPU 显存,因此在 16GB 开发板上请同时考虑 W4A16 等量化与动作分块。
• OpenVLA-7B:根据官方仓库,bf16 推理约需 15GB,加上 KV 缓存和预留后 16GB 开发板不够用。请使用 W4A16 压缩,或改用 AGX Orin 64GB 及以上。由于它以 token 形式输出动作,每个分块执行数设为接近 1 更符合实际。
• 14B~32B 级:仅 FP16 权重就有 28~64GB。以 FP16 运行 32B 级模型需要 128GB(Jetson T5000);使用 W4A16 后可考虑 64GB 开发板。
• 自定义:列表中没有的模型请直接输入参数量。务必填入包含视觉编码器和动作头在内的总参数量,否则内存会被低估。

6. 常见问题