Méthodologie & Guide d'Ingénierie du Budget VLA Embarqué
Le déploiement d'un modèle VLA de 7B à 20B paramètres sur un véhicule ou un robot mobile impose d'équilibrer simultanément la puissance TOPS, la latence par cycle, la mémoire KV et le stockage SSD.
1. Formules de Dimensionnement
La passe avant est estimée à 2N FLOPs par token, avec un débit INT8/FP8 compté à 2× l'équivalent FP16 pondéré par l'utilisation réelle (η_util) :
T_ctx = (C_cam × T_cam + I_lidar × T_lidar) × W_win
T_new = (C_cam × T_cam + I_lidar × T_lidar) × (1 if KV_reuse else W_win)
FLOPs_step ≈ 2 × N × (T_new + T_action) · P_sustained = FLOPs_step × f_Hz
TOPS_int8_req = P_sustained ÷ (2 × η_util) · Occupancy = TOPS_int8_req ÷ TOPS_SoC
t_step = t_prefill + t_decode = FLOPs_step ÷ (TOPS_SoC × 2 × η_util × 10^12) × 1000 [ms]
M_KV = 2 × H_kv × d_head × L × b_kv × T_ctx ÷ 10^9 [GB] · M_total = M_weights + M_KV + M_act
* Les poids incluent 5 % de métadonnées de quantification ; le stockage embarqué prévoit deux versions A/B OTA (2 × M_weights + 1,5 GB) et 30 GB pour le système.
2. Réutilisation du Cache KV en Streaming
En réutilisant le cache KV des trames précédentes, chaque cycle ne pré-remplit que la nouvelle trame capteur, réduisant fortement la latence.
3. Tampon Circulaire d'Événements & Transfert Flotte
L'enregistrement par clips de 60 secondes autour des événements critiques optimise l'endurance du SSD embarqué et les coûts cellulaires/Wi-Fi.
4. Questions Fréquentes (FAQ)
Pourquoi diviser le calcul FP16 soutenu par 2 pour obtenir les TOPS INT8 requis ?
La formule 2N FLOPs/token correspond au calcul FP16. Les cœurs Tensor INT8/FP8 offrant environ le double de débit par cycle, on divise par 2 et par le taux d'utilisation.
Quel est l'impact principal de l'ajout du LiDAR ?
L'ajout de 2 048 à 4 096 tokens LiDAR par trame augmente le prefill et la latence de 35 % à 60 %, ainsi que la taille des clips d'événements et le volume transféré au cloud.
Pourquoi retenir un taux d'utilisation entre 0,30 et 0,50 ?
Les TOPS annoncés par les fabricants sont des pics théoriques. En pratique, la bande passante mémoire limite l'efficacité réelle entre 30 % et 50 %.
Articles liés sur Physical AI Portal (en anglais)
- Modular vs End-to-End Autonomous Driving: UniAD, Tesla FSD v12, Waymo EMMA and NVIDIA Alpamayo
- LiDAR Sensor Fusion vs Vision-Only Perception: How Self-Driving Cars and Mobile Robots See in 3D
- Choisir un module d'IA edge pour un robot : Jetson Orin, Thor et IGX Thor
- How to Build MLOps for a Robot Fleet: Logging, Data Selection, Validation and OTA Updates
Sources primaires
- NVIDIA DRIVE AGX Thor & Orin Developer Specifications
- MeridianCAS — Off-road VLA On-Vehicle Budget Calculator (Reference Model)
- Kim et al., OpenVLA: An Open-Source Vision-Language-Action Model (arXiv:2406.09246)
- Ainslie et al., GQA: Training Generalized Multi-Query Transformer Models (arXiv:2305.13245)
Données et formules vérifiées le : 2026-10-26 · Opérateur : Huni ([email protected])