VLA 與機器人裝置端記憶體 & 邊緣硬體計算器

如何估算裝置端 VLA 的記憶體與頻寬

與純文字 LLM 不同,機器人上的 VLA 模型每次推論都要處理多台攝影機的視覺 token,並輸出連續的關節指令(動作分塊)。因此記憶體不只隨權重增加,也會隨攝影機數量、解析度與歷史長度增加,而推論速度通常受記憶體頻寬限制。

1. 計算公式

本計算器以批次大小為 1 的即時機器人控制為前提,使用下列公式。

Bytes_per_Param:FP16 為 2.0,FP8 為 1.0,W8A16 約 1.05,W4A16 + FP16 動作頭約 0.62,NVFP4 約 0.56(每 16 個值配 1 個 FP8 縮放因子)。KV/激活緩衝以與視覺 token 數及模型規模成正比的經驗公式估算。

2. 為什麼記憶體頻寬決定推論頻率

批次大小為 1 的推論,常常先受限於記憶體頻寬而非運算量,因為每次推論都必須從 DRAM 重新讀取全部權重。因此裝置的最大推論頻率可近似為「頻寬 × 使用率 ÷ 每次推論讀取量」,而透過量化減少權重,可同時改善記憶體容量與速度上限。

3. 動作分塊與雙迴路控制

使用動作分塊的模型一次推論產生多步動作,再由控制器以較高頻率執行。例如在 30Hz 控制下每個分塊執行 10 步,模型只需以 3Hz 推論。需要數百赫茲全身控制的人形機器人通常採用雙迴路:VLA 以低頻產生目標,小型策略以高頻輸出關節指令。也應為 ROS 2 訊息佇列與攝影機緩衝保留系統記憶體(本計算器假設為 3GB),避免機器人因記憶體不足而停機。

4. 邊緣 AI 電腦規格與建議配置

多數機器人機載電腦採用 CPU 與 GPU 共用同一組 LPDDR 記憶體的統一記憶體架構。下表的記憶體、頻寬與功耗取自 NVIDIA 官方產品頁面,建議配置則是以本計算器預設值為基準的參考值。

5. 各模型的規模說明

• Octo-Base (93M)、SmolVLA base (0.5B):即使是 FP16 權重也只有約 1GB,預設攝影機設定下也能放進 8GB 開發板,頻寬餘裕大,適合高控制頻率。
• Isaac GR00T N1.7 (3B)、π0 (3.3B):FP16 權重約 6~7GB。GR00T 官方儲存庫建議推論使用 16GB 級 GPU 記憶體,因此在 16GB 開發板上請同時考慮 W4A16 等量化與動作分塊。
• OpenVLA-7B:依據官方儲存庫,bf16 推論約需 15GB,加上 KV 快取與保留空間後 16GB 開發板不夠用。請改用 W4A16 壓縮,或使用 AGX Orin 64GB 以上。由於它以 token 形式輸出動作,每個分塊執行數設為接近 1 較符合實際。
• 14B~32B 級:光是 FP16 權重就有 28~64GB。以 FP16 執行 32B 級模型需要 128GB(Jetson T5000);改用 W4A16 後可考慮 64GB 開發板。
• 自訂:清單中沒有的模型請直接輸入參數量。請填入包含視覺編碼器與動作頭的總參數量,否則記憶體會被低估。

6. 常見問題