Cómo se estiman la memoria y el ancho de banda de un VLA embarcado
A diferencia de los LLM solo de texto, un modelo VLA en un robot procesa en cada inferencia los tokens visuales de varias cámaras y genera comandos articulares continuos (chunks de acciones). Por eso la memoria crece no solo con los pesos, sino también con el número de cámaras, la resolución y la longitud del historial, y la velocidad de inferencia suele estar limitada por el ancho de banda de memoria.
1. Fórmulas
La calculadora supone control robótico en tiempo real con tamaño de lote 1 y usa las siguientes ecuaciones.
Total_Memory (GB) = Weights + KV_Activation_Buffer + System_Reserve (3.0 GB)
Weights (GB) = Params (B) × Bytes_per_Param
Vision_Tokens = Cameras × Tokens_per_Camera × History_Frames
Bytes_per_Pass (GB) ≈ Weights + 0.5 × KV_Activation_Buffer
Inference_Hz = Control_Hz ÷ Actions_Executed_per_Chunk
Required_Bandwidth (GB/s) = Bytes_per_Pass × Inference_Hz ÷ Efficiency
Max_Inference_Hz (per device) = Bandwidth × Efficiency ÷ Bytes_per_Pass
Bytes_per_Param es 2,0 en FP16, 1,0 en FP8, unos 1,05 en W8A16, unos 0,62 en W4A16 con cabeza de acción FP16 y unos 0,56 en NVFP4 (un factor de escala FP8 por cada 16 valores). El búfer de KV y activaciones es una estimación empírica proporcional al número de tokens visuales y al tamaño del modelo.
2. Por qué el ancho de banda de memoria fija la frecuencia de inferencia
Con tamaño de lote 1, la inferencia suele toparse antes con el ancho de banda de memoria que con la capacidad de cálculo, porque cada inferencia tiene que volver a leer todos los pesos desde la DRAM. Por eso la frecuencia máxima de inferencia de un equipo se aproxima como ancho de banda × utilización ÷ memoria leída por inferencia, y cuantizar los pesos mejora a la vez la capacidad de memoria y ese techo de velocidad.
3. Chunking de acciones y control de doble bucle
Los modelos con chunking de acciones generan varios pasos de acciones por inferencia, y el controlador los ejecuta a mayor frecuencia. Por ejemplo, con control a 30 Hz y 10 pasos ejecutados por chunk, el modelo solo necesita funcionar a 3 Hz. Los humanoides que requieren control de cuerpo completo a cientos de hercios suelen usar un doble bucle: el VLA genera objetivos a baja frecuencia y una política pequeña envía comandos articulares a alta frecuencia. Reserva también memoria del sistema para las colas de ROS 2 y los búferes de cámara (esta calculadora supone 3 GB) para que el robot no se detenga por falta de memoria.
4. Especificaciones de ordenadores de IA edge y configuraciones sugeridas
La mayoría de los ordenadores de a bordo de robots usan memoria unificada, en la que CPU y GPU comparten la misma memoria LPDDR. La memoria, el ancho de banda y el consumo proceden de las páginas oficiales de producto de NVIDIA; las configuraciones sugeridas son referencias basadas en los ajustes predeterminados de esta calculadora.
| Hardware | Memoria unificada | Ancho de banda de memoria | Rango de potencia | Configuración sugerida (referencia) |
|---|---|---|---|---|
| NVIDIA Jetson Orin Nano Super (8GB) | 8 GB | 102 GB/s | 7–25 W | Políticas de menos de 1B como Octo o SmolVLA, o una sola política ACT o Diffusion Policy |
| NVIDIA Jetson Orin NX 16GB | 16 GB | 102.4 GB/s | 10–40 W | Clase 3B (GR00T N1.7, π0) en W4A16 con 2–3 cámaras y chunking de acciones |
| NVIDIA Jetson AGX Orin 32GB | 32 GB | 204.8 GB/s | 15–40 W | Clase 3B en FP16 o clase 7B en W4A16 con unas 3 cámaras |
| NVIDIA Jetson AGX Orin 64GB | 64 GB | 204.8 GB/s | 15–60 W | Clase 7B (OpenVLA) en FP16 o FP8, o clase 14B en W4A16 |
| NVIDIA Jetson T4000 (Thor, 64GB) | 64 GB | 273 GB/s | 40–70 W | Clase 7B en FP16 o clase 14B en FP8; mismo ancho de banda que el T5000 |
| NVIDIA Jetson T5000 (Thor, 128GB) | 128 GB | 273 GB/s | 40–130 W | VLA grandes de 14B a 32B, o un VLA junto a un modelo del mundo |
5. Notas de dimensionamiento por modelo
- Octo-Base (93M) y SmolVLA base (0.5B): los pesos rondan 1 GB o menos incluso en FP16, así que caben en una placa de 8 GB con los ajustes de cámara predeterminados y dejan mucho margen de ancho de banda para frecuencias de control altas.
- Isaac GR00T N1.7 (3B) y π0 (3.3B): los pesos en FP16 ocupan unos 6–7 GB. El repositorio oficial de GR00T indica una GPU de la clase de 16 GB para inferencia, por lo que en placas de 16 GB conviene combinar cuantización W4A16 con chunking de acciones.
- OpenVLA-7B: según el repositorio oficial, la inferencia en bf16 necesita unos 15 GB, lo que no cabe en una placa de 16 GB al sumar la caché KV y la reserva. Usa W4A16 o un AGX Orin 64GB o superior. Como emite las acciones en forma de tokens, conviene mantener las acciones por chunk cerca de 1.
- Clase 14B–32B: solo los pesos en FP16 ocupan 28–64 GB. Ejecutar un modelo de clase 32B en FP16 requiere 128 GB (Jetson T5000); con W4A16 se pueden considerar placas de 64 GB.
- Personalizado: para modelos que no están en la lista, introduce el número de parámetros incluyendo el codificador visual y la cabeza de acción, para no subestimar la memoria.
6. Preguntas frecuentes
P1. ¿La cuantización de 4 bits (W4A16) empeora la precisión del robot?
El artículo de OpenVLA indica que servir el modelo cuantizado no redujo de forma notable la tasa de éxito en su evaluación, pero ese resultado se refiere a sus condiciones. Empieza con precisión mixta que mantenga la cabeza de acción continua en FP16 y compara las tasas de éxito de la versión FP16 y la cuantizada en tu propia tarea en condiciones idénticas.
P2. ¿Por qué la caché KV crece más rápido en un VLA robótico que en un LLM de texto?
Los robots suelen usar de dos a cuatro cámaras a la vez, y cada cámara genera cientos de tokens visuales por fotograma. Multiplicado por el número de fotogramas de historial, una sola inferencia puede mantener miles de tokens en memoria.
P3. ¿Puedo usar swap en NVMe cuando falta memoria?
No en bucles de control en tiempo real. En cuanto los pesos o la caché KV se pasan al SSD aparecen picos de latencia de decenas a cientos de milisegundos que rompen la frecuencia de control y pueden provocar movimientos bruscos o pérdida de equilibrio.
P4. ¿Cómo reduce el chunking de acciones el ancho de banda necesario?
Cuando un modelo genera varios pasos de acciones a la vez, la inferencia pesada solo tiene que ejecutarse a una fracción de la frecuencia de control. La calculadora lo modela como frecuencia de inferencia = frecuencia de control ÷ acciones ejecutadas por chunk, y el ancho de banda necesario baja en la misma proporción.
P5. ¿De dónde sale la utilización predeterminada del 60 %?
El ancho de banda oficial es un pico teórico que la inferencia rara vez alcanza por completo, así que se usa un 60 % como suposición inicial prudente. No es un valor medido; sustitúyelo por una medición en tu equipo de destino cuando la tengas.
P6. ¿Por qué no aparecen en la lista las GPU RTX de portátil y sobremesa?
La lista solo incluye equipos cuya capacidad de memoria y ancho de banda se pudieron confirmar en una página oficial. Para las GPU cuyo ancho de banda no se publica allí, usa «Añadir tu propio hardware» con el dato del fabricante o tu propia medición.
Artículos relacionados en Physical AI Portal (en inglés)
Fuentes primarias
- OpenVLA: An Open-Source Vision-Language-Action Model (arXiv:2406.09246)
- π0: A Vision-Language-Action Flow Model for General Robot Control (arXiv:2410.24164)
- NVIDIA Isaac GR00T (GitHub) · SmolVLA base (Hugging Face) · Octo
- NVIDIA Jetson Orin · NVIDIA Jetson Thor
- AWQ: Activation-aware Weight Quantization (arXiv:2306.00978)
Datos y fórmulas verificados por última vez: 2026-10-21 · Responsable: Huni ([email protected])