車載VLA予算の算出式とエンジニアリングガイド
自動運転車やフィールドロボットに7B〜20BクラスのVLAモデルを搭載する際は、制御周期内の持続TOPS、1ステップのPrefill+行動デコード遅延、重みとマルチフレームKVキャッシュのメモリ容量、さらにイベント収集SSDと通信量を同時に満たす必要があります。
1. 主要な算出式
1トークンあたりの順伝播を約 2N FLOPs とし、INT8/FP8スループットをFP16換算の2倍×実効利用率(η_util)として計算します:
T_ctx = (C_cam × T_cam + I_lidar × T_lidar) × W_win
T_new = (C_cam × T_cam + I_lidar × T_lidar) × (1 if KV_reuse else W_win)
FLOPs_step ≈ 2 × N × (T_new + T_action) · P_sustained = FLOPs_step × f_Hz
TOPS_int8_req = P_sustained ÷ (2 × η_util) · Occupancy = TOPS_int8_req ÷ TOPS_SoC
t_step = t_prefill + t_decode = FLOPs_step ÷ (TOPS_SoC × 2 × η_util × 10^12) × 1000 [ms]
M_KV = 2 × H_kv × d_head × L × b_kv × T_ctx ÷ 10^9 [GB] · M_total = M_weights + M_KV + M_act
* 重みメモリには5%の量子化メタデータを含みます。車載ストレージにはOTA用A/Bデュアルモデル領域(2 × M_weights + 1.5 GB)とシステム領域(30 GB)を計上しています。
2. ストリーミングKV再利用とマルチモーダルトークンの負荷
複数カメラとLiDAR点群を複数フレーム束ねると文脈トークンは1万を超えます。毎周期すべてのフレームを再Prefillすると高出力SoCでも遅延予算を超過するため、過去フレームのKVを保持して新規1フレームのみを処理するストリーミングKV再利用が不可欠です。
3. イベントトリガー記録と月間オフロード設計
全センサー常時録画ではなく、介入や異常検知の前後60秒をリングバッファから切り出して車載SSDに7〜14日間保持し、一部(例:50%)をクラウドへアップロードすることで通信費とSSD寿命を最適化できます。
4. よくある質問 (FAQ)
必要INT8 TOPSを求める際に持続FLOPsを2で割るのはなぜですか?
2N FLOPs/tokenはFP16基準の演算量であり、車載SoCのINT8/FP8テンソルコアは同一クロックでFP16の約2倍のスループットを持つため、2と実効利用率で割ることで公称INT8 TOPSに換算しています。
LiDAR点群トークンを追加するとどの指標に最も影響しますか?
1フレームあたり2048〜4096トークンが加わることで新規Prefillトークンが35%〜60%増加し、単一ステップ遅延とSoC占有率が上昇します。また約0.5 MB/sの点群データにより車載キャッシュと月間通信量も増加します。
実効利用率を0.30〜0.50に設定する理由は何ですか?
メーカー公称TOPS(Thorの2000 TOPSスパースなど)は理論ピーク値です。実際のオンボード推論ではメモリ帯域律速となりやすく、ピーク比30%〜50%程度の実効性能となるためです。
Physical AI Portalの関連記事(英語)
- Modular vs End-to-End Autonomous Driving: UniAD, Tesla FSD v12, Waymo EMMA and NVIDIA Alpamayo
- LiDAR Sensor Fusion vs Vision-Only Perception: How Self-Driving Cars and Mobile Robots See in 3D
- ロボット用エッジAIモジュールの選び方:Jetson Orin・Thor・IGX Thor
- How to Build MLOps for a Robot Fleet: Logging, Data Selection, Validation and OTA Updates
参照した一次資料
- NVIDIA DRIVE AGX Thor & Orin Developer Specifications
- MeridianCAS — Off-road VLA On-Vehicle Budget Calculator (Reference Model)
- Kim et al., OpenVLA: An Open-Source Vision-Language-Action Model (arXiv:2406.09246)
- Ainslie et al., GQA: Training Generalized Multi-Query Transformer Models (arXiv:2305.13245)
データ・計算式最終確認日:2026-10-26 · 運営者:Huni ([email protected])