Metodología y Guía de Ingeniería de Presupuesto VLA a Bordo
Desplegar un modelo VLA de 7B a 20B parámetros en un vehículo autónomo o robot móvil exige dimensionar simultáneamente los TOPS sostenidos, la latencia por ciclo, la memoria KV y el almacenamiento SSD.
1. Fórmulas de Dimensionamiento
El paso hacia adelante se aproxima como 2N FLOPs por token, con rendimiento INT8/FP8 modelado a 2× el equivalente FP16 escalado por la utilización efectiva (η_util):
T_ctx = (C_cam × T_cam + I_lidar × T_lidar) × W_win
T_new = (C_cam × T_cam + I_lidar × T_lidar) × (1 if KV_reuse else W_win)
FLOPs_step ≈ 2 × N × (T_new + T_action) · P_sustained = FLOPs_step × f_Hz
TOPS_int8_req = P_sustained ÷ (2 × η_util) · Occupancy = TOPS_int8_req ÷ TOPS_SoC
t_step = t_prefill + t_decode = FLOPs_step ÷ (TOPS_SoC × 2 × η_util × 10^12) × 1000 [ms]
M_KV = 2 × H_kv × d_head × L × b_kv × T_ctx ÷ 10^9 [GB] · M_total = M_weights + M_KV + M_act
* Los pesos incluyen un 5 % de metadatos de cuantización; el almacenamiento a bordo contempla doble ranura A/B OTA (2 × M_weights + 1,5 GB) y 30 GB para el sistema.
2. Reutilización de Caché KV en Streaming
Al reutilizar la caché KV de fotogramas anteriores, cada ciclo solo pre-rellena el nuevo fotograma entrante, reduciendo drásticamente la latencia.
3. Búfer Circular de Eventos y Subida de Flota
Grabar clips de 60 segundos activados por eventos optimiza la vida útil del SSD NVMe a bordo y el ancho de banda celular/Wi-Fi.
4. Preguntas Frecuentes (FAQ)
¿Por qué se divide el cómputo FP16 sostenido entre 2 para calcular los TOPS INT8 requeridos?
La fórmula 2N FLOPs/token mide operaciones FP16. Como los núcleos Tensor INT8/FP8 ejecutan aproximadamente el doble de operaciones por ciclo que FP16, se divide entre 2 y entre la utilización efectiva.
¿Qué sobrecarga añade la fusión LiDAR?
Añadir 2.048–4.096 tokens LiDAR por fotograma incrementa el prefill y la latencia entre un 35 % y un 60 %, además de aumentar el tamaño de cada clip y la subida mensual a la nube.
¿Por qué configurar la utilización efectiva entre 0,30 y 0,50?
Los TOPS publicados por los fabricantes son picos teóricos. En tiempo real, el ancho de banda de memoria limita la eficiencia efectiva al 30 %–50 %.
Artículos relacionados en Physical AI Portal (en inglés)
- Modular vs End-to-End Autonomous Driving: UniAD, Tesla FSD v12, Waymo EMMA and NVIDIA Alpamayo
- LiDAR Sensor Fusion vs Vision-Only Perception: How Self-Driving Cars and Mobile Robots See in 3D
- Elegir un módulo de IA edge para un robot: Jetson Orin, Thor e IGX Thor
- How to Build MLOps for a Robot Fleet: Logging, Data Selection, Validation and OTA Updates
Fuentes primarias
- NVIDIA DRIVE AGX Thor & Orin Developer Specifications
- MeridianCAS — Off-road VLA On-Vehicle Budget Calculator (Reference Model)
- Kim et al., OpenVLA: An Open-Source Vision-Language-Action Model (arXiv:2406.09246)
- Ainslie et al., GQA: Training Generalized Multi-Query Transformer Models (arXiv:2305.13245)
Datos y fórmulas verificados el: 2026-10-26 · Operador: Huni ([email protected])