VLA- & Robotik-Rechner für On-Device-VRAM und Edge-Hardware

So werden Speicher und Bandbreite für On-Device-VLA geschätzt

Anders als reine Text-LLMs verarbeitet ein VLA-Modell auf einem Roboter bei jeder Inferenz Vision-Tokens mehrerer Kameras und gibt kontinuierliche Gelenkbefehle (Action Chunks) aus. Der Speicherbedarf wächst daher nicht nur mit den Gewichten, sondern auch mit Kameraanzahl, Auflösung und Historienlänge, und die Inferenzgeschwindigkeit wird meist durch die Speicherbandbreite begrenzt.

1. Formeln

Der Rechner geht von Echtzeit-Robotersteuerung mit Batchgröße 1 aus und verwendet die folgenden Gleichungen.

Bytes_per_Param beträgt 2,0 für FP16, 1,0 für FP8, etwa 1,05 für W8A16, etwa 0,62 für W4A16 mit FP16-Action-Head und etwa 0,56 für NVFP4 (ein FP8-Skalierungsfaktor je 16 Werte). Der KV-/Aktivierungspuffer ist eine empirische Schätzung, die mit der Anzahl der Vision-Tokens und der Modellgröße wächst.

2. Warum die Speicherbandbreite die Inferenzrate bestimmt

Inferenz mit Batchgröße 1 stößt oft zuerst an die Speicherbandbreite und nicht an die Rechenleistung, weil bei jeder Inferenz alle Gewichte erneut aus dem DRAM gelesen werden müssen. Die maximale Inferenzrate eines Geräts lässt sich daher als Bandbreite × Ausnutzung ÷ Lesevolumen pro Inferenz abschätzen, und eine Quantisierung der Gewichte verbessert Speicherkapazität und Geschwindigkeitsgrenze zugleich.

3. Action Chunking und doppelte Regelschleife

Modelle mit Action Chunking erzeugen pro Inferenz Aktionen für mehrere Schritte, die der Regler mit höherer Frequenz ausführt. Bei 30 Hz Regelfrequenz und 10 ausgeführten Schritten pro Chunk muss das Modell zum Beispiel nur mit 3 Hz laufen. Humanoide, die eine Ganzkörperregelung mit Hunderten Hertz brauchen, nutzen typischerweise eine doppelte Schleife: Das VLA erzeugt Ziele mit niedriger Rate, eine kleine Policy gibt Gelenkbefehle mit hoher Rate aus. Planen Sie außerdem eine Systemreserve für ROS-2-Warteschlangen und Kamerapuffer ein (dieser Rechner nimmt 3 GB an), damit der Roboter nicht wegen Speichermangels stoppt.

4. Spezifikationen von Edge-AI-Rechnern und empfohlene Konfigurationen

Die meisten Bordrechner von Robotern nutzen gemeinsamen Speicher, bei dem CPU und GPU denselben LPDDR-Speicher teilen. Speicher, Bandbreite und Leistungsaufnahme stammen von den offiziellen NVIDIA-Produktseiten; die empfohlenen Konfigurationen sind Richtwerte auf Basis der Standardeinstellungen dieses Rechners.

5. Hinweise zur Dimensionierung nach Modell

• Octo-Base (93M) und SmolVLA base (0.5B): Die Gewichte liegen selbst in FP16 bei etwa 1 GB oder darunter. Sie passen mit den Standard-Kameraeinstellungen auf ein 8-GB-Board und lassen viel Bandbreitenreserve für hohe Regelfrequenzen.
• Isaac GR00T N1.7 (3B) und π0 (3.3B): Die FP16-Gewichte liegen bei etwa 6–7 GB. Das offizielle GR00T-Repository nennt für die Inferenz eine GPU der 16-GB-Klasse; auf 16-GB-Boards sollten Sie daher W4A16-Quantisierung zusammen mit Action Chunking prüfen.
• OpenVLA-7B: Laut offiziellem Repository braucht die bf16-Inferenz etwa 15 GB; mit KV-Cache und Reserve reicht ein 16-GB-Board nicht aus. Nutzen Sie W4A16 oder einen AGX Orin 64GB oder größer. Da das Modell Aktionen als Tokens ausgibt, ist ein Wert nahe 1 für Aktionen pro Chunk realistisch.
• 14B–32B-Klasse: Allein die FP16-Gewichte belegen 28–64 GB. Ein Modell der 32B-Klasse in FP16 braucht 128 GB (Jetson T5000); mit W4A16 kommen auch 64-GB-Boards in Betracht.
• Eigene Angabe: Für Modelle, die nicht in der Liste stehen, geben Sie die Parameteranzahl ein. Rechnen Sie Vision-Encoder und Action Head mit ein, damit der Speicher nicht unterschätzt wird.

6. Häufige Fragen