NVIDIA gab heute bekannt, dass der NVIDIA BlueField®-4 Datenprozessor, der Teil der vollständigen NVIDIA BlueField Plattform ist, die NVIDIA Inference Context Memory Storage Platform antreibt, eine neue Klasse von KI-nativer Speicherinfrastruktur für die nächste Grenze der KI.

Wenn KI-Modelle auf Billionen von Parametern und mehrstufige Schlussfolgerungen skalieren, erzeugen sie riesige Mengen an Kontextdaten – dargestellt durch einen Schlüssel-Wert-Cache (KV-Cache), der für Genauigkeit, Benutzererfahrung und Kontinuität von entscheidender Bedeutung ist.

Ein KV-Cache kann nicht dauerhaft auf GPUs gespeichert werden, da dies einen Engpass für Echtzeit-Inferenz in Multiagentensystemen verursachen würde. KI-native Anwendungen benötigen daher eine neue, skalierbare Infrastruktur, um diese Daten zu speichern und auszutauschen.

Die NVIDIA Inference Context Memory Storage Platform stellt die Infrastruktur für den Kontextspeicher bereit, indem sie die GPU-Speicherkapazität erweitert, eine schnelle gemeinsame Nutzung über Knoten hinweg ermöglicht, die Anzahl der Token pro Sekunde um bis zu 5x steigert und eine bis zu 5x höhere Energieeffizienz im Vergleich zu herkömmlichen Speichern bietet.

„KI revolutioniert die gesamte Computerarchitektur – und jetzt auch den Speicher“, sagte Jensen Huang, Gründer und CEO von NVIDIA. „Bei KI geht es nicht mehr um einmalige Chatbots, sondern um intelligente Kollaborateure, die die physische Welt verstehen, langfristig denken, faktenbasiert arbeiten, Werkzeuge für konkrete Aufgaben nutzen und sowohl Kurzzeit- als auch Langzeitgedächtnis besitzen. Mit BlueField-4 erfinden NVIDIA und unsere Software- und Hardwarepartner die Speicherarchitektur für die nächste Generation der KI neu.“

Die NVIDIA Inference Context Memory Storage Platform steigert die KV-Cache-Kapazität und beschleunigt die gemeinsame Nutzung von Kontext über Cluster von KI-Systemen im Rack-Maßstab hinweg, während persistenter Kontext für KI-Agenten mit mehreren Durchläufen die Reaktionsfähigkeit verbessert, den Durchsatz der KI-Fabrik erhöht und eine effiziente Skalierung von Multi-Agent-Inferenz mit langem Kontext unterstützt.

Zu den wichtigsten Funktionen der NVIDIA BlueField-4-basierten Plattform gehören:

• NVIDIA Rubin Cluster-Level KV Cache-Kapazität, die die für agentenbasierte Inferenz über lange Kontexte und mehrere Durchläufe erforderliche Skalierbarkeit und Effizienz bietet.
• Bis zu 5-mal höhere Energieeffizienz als herkömmliche Speichersysteme.
• Intelligente, beschleunigte gemeinsame Nutzung des KV-Caches über KI-Knoten hinweg, ermöglicht durch das NVIDIA DOCA™-Framework und eng integriert mit der NVIDIA NIXL-Bibliothek und der NVIDIA Dynamo-Software, um die Anzahl der Token pro Sekunde zu maximieren, die Zeit bis zum ersten Token zu verkürzen und die Reaktionsfähigkeit bei mehreren Durchgängen zu verbessern.
• Die hardwarebeschleunigte KV-Cache-Platzierung, die von NVIDIA BlueField-4 verwaltet wird, eliminiert den Metadaten-Overhead, reduziert die Datenbewegung und gewährleistet einen sicheren, isolierten Zugriff von den GPU-Knoten aus.
• Effizienter Datenaustausch und -abruf, ermöglicht durch NVIDIA Spectrum-X™ Ethernet, das als leistungsstarke Netzwerkarchitektur für den RDMA-basierten Zugriff auf den KI-nativen KV-Cache dient.

Zu den innovativen Speicheranbietern, die mit BlueField-4 KI-Speicherplattformen der nächsten Generation entwickeln, gehören unter anderem AIC, Cloudian, DDN, Dell Technologies, HPE, Hitachi Vantara, IBM, Nutanix, Pure Storage, Supermicro, VAST Data und WEKA. BlueField-4 wird voraussichtlich in der zweiten Jahreshälfte 2026 verfügbar sein.