NVIDIA hat heute die NVIDIA Alpamayo-Familie offener KI-Modelle, Simulationswerkzeuge und Datensätze vorgestellt, die die nächste Ära der Entwicklung sicherer, auf Vernunft basierender autonomer Fahrzeuge (AV) beschleunigen sollen.

Autonome Fahrzeuge (AVs) müssen in einem enormen Spektrum an Fahrbedingungen sicher funktionieren. Seltene, komplexe Szenarien, oft als „Long Tail“ bezeichnet, stellen nach wie vor eine der größten Herausforderungen für autonome Systeme dar. Traditionelle AV-Architekturen trennen Wahrnehmung und Planung, was die Skalierbarkeit bei neuen oder ungewöhnlichen Situationen einschränken kann. Jüngste Fortschritte im Bereich des durchgängigen Lernens haben zwar bedeutende Fortschritte erzielt, doch die Bewältigung dieser Long-Tail-Fälle erfordert Modelle, die Ursache-Wirkungs-Zusammenhänge sicher erkennen können, insbesondere wenn Situationen außerhalb des Trainingsbereichs des Modells liegen.

Die Alpamayo-Familie führt gedankenkettenbasierte, auf Bildverarbeitung, Sprache und Aktionen (VLA) beruhende Modelle ein, die menschenähnliches Denken in die Entscheidungsfindung autonomer Fahrzeuge integrieren. Diese Systeme können neuartige oder seltene Szenarien schrittweise durchdenken und so die Fahrfähigkeit und Nachvollziehbarkeit verbessern – was für die Skalierung von Vertrauen und Sicherheit in intelligenten Fahrzeugen entscheidend ist – und basieren auf dem Sicherheitssystem NVIDIA Halos.

„Der entscheidende Moment für die physische KI ist gekommen – Maschinen beginnen, die reale Welt zu verstehen, zu verstehen und in ihr zu handeln“, sagte Jensen Huang, Gründer und CEO von NVIDIA. „Robotaxis gehören zu den ersten, die davon profitieren. Alpamayo verleiht autonomen Fahrzeugen logisches Denken und ermöglicht es ihnen, seltene Szenarien durchzuspielen, sicher in komplexen Umgebungen zu fahren und ihre Fahrentscheidungen zu erklären – es ist die Grundlage für sichere und skalierbare Autonomie.“

Ein vollständiges, offenes Ökosystem für vernunftbasierte Autonomie
Alpamayo integriert drei grundlegende Säulen – offene Modelle, Simulationsframeworks und Datensätze – zu einem zusammenhängenden, offenen Ökosystem, auf dem jeder Automobilentwickler oder jedes Forschungsteam aufbauen kann.

Anstatt direkt im Fahrzeug zu laufen, dienen Alpamayo-Modelle als groß angelegte Lehrmodelle, die Entwickler feinabstimmen und zu den Grundpfeilern ihrer kompletten AV-Systeme destillieren können.

Auf der CES präsentiert NVIDIA:

• Alpamayo 1: Das branchenweit erste VLA-Modell mit Gedankenkettenlogik, entwickelt für die Forschung im Bereich autonomes Fahren, ist jetzt auf Hugging Face verfügbar . Mit einer Architektur aus 10 Milliarden Parametern generiert Alpamayo 1 mithilfe von Videoeingaben Trajektorien und Entscheidungsspuren und zeigt so die Logik hinter jeder Entscheidung. Entwickler können Alpamayo 1 zu kleineren Laufzeitmodellen für die Fahrzeugentwicklung anpassen oder es als Grundlage für Entwicklungswerkzeuge für autonomes Fahren wie entscheidungsbasierte Evaluatoren und automatische Kennzeichnungssysteme verwenden. Alpamayo 1 bietet offene Modellgewichte und Open-Source-Skripte für die Inferenz. Zukünftige Modelle dieser Familie werden eine höhere Parameteranzahl, detailliertere Schlussfolgerungsmöglichkeiten, mehr Flexibilität bei Ein- und Ausgaben sowie Optionen für die kommerzielle Nutzung bieten.
• AlpaSim : Ein vollständig quelloffenes, durchgängiges Simulationsframework für die Entwicklung hochpräziser autonomer Fahrzeuge, verfügbar auf GitHub. Es bietet realistische Sensormodellierung, konfigurierbare Verkehrsdynamik und skalierbare, geschlossene Testumgebungen und ermöglicht so eine schnelle Validierung und Richtlinienoptimierung.
• Offene Datensätze für physikalische KI: NVIDIA bietet den umfangreichsten und vielfältigsten offenen Datensatz für autonomes Fahren. Er enthält über 1.700 Stunden Fahrdaten, die unter verschiedensten geografischen Bedingungen und in unterschiedlichsten Umgebungen erfasst wurden und seltene sowie komplexe reale Grenzfälle abdecken, die für die Weiterentwicklung von Architekturen für intelligentes Fahren unerlässlich sind. Diese Datensätze sind auf Hugging Face verfügbar.
   

Zusammen ermöglichen diese Werkzeuge einen sich selbst verstärkenden Entwicklungszyklus für auf Schlussfolgerungen basierende AV-Stacks.

Breite Unterstützung aus der AV-Branche:
Führende Unternehmen der Mobilitätsbranche und Branchenexperten, darunter Lucid, JLR, Uber und Berkeley DeepDrive, zeigen Interesse an Alpamayo, um auf Grundlage von Schlussfolgerungen AV-Stacks zu entwickeln, die Autonomie der Stufe 4 ermöglichen.

„Der Wandel hin zu physikalischer KI unterstreicht den wachsenden Bedarf an KI-Systemen, die nicht nur Daten verarbeiten, sondern auch realweltliches Verhalten analysieren können“, sagte Kai Stepper, Vizepräsident für ADAS und autonomes Fahren bei Lucid Motors. „Fortschrittliche Simulationsumgebungen, umfangreiche Datensätze und logische Modelle sind wichtige Bestandteile dieser Entwicklung.“

„Eine offene und transparente KI-Entwicklung ist unerlässlich für die verantwortungsvolle Weiterentwicklung autonomer Mobilität“, sagte Thomas Müller, Leiter der Produktentwicklung bei JLR. „Durch die Veröffentlichung von Modellen wie Alpamayo als Open Source trägt NVIDIA dazu bei, Innovationen im gesamten Ökosystem des autonomen Fahrens zu beschleunigen und Entwicklern und Forschern neue Werkzeuge an die Hand zu geben, um komplexe reale Szenarien sicher zu bewältigen.“

„Der Umgang mit komplexen und unvorhersehbaren Fahrsituationen ist eine der zentralen Herausforderungen des autonomen Fahrens“, sagte Sarfraz Maredia, globaler Leiter für autonome Mobilität und Lieferungen bei Uber. „Alpamayo eröffnet der Branche spannende neue Möglichkeiten, die physische KI zu beschleunigen, die Transparenz zu verbessern und sichere Level-4-Einsätze zu fördern.“

„Alpamayo 1 ermöglicht es Fahrzeugen, komplexe Umgebungen zu interpretieren, neue Situationen vorherzusehen und sichere Entscheidungen zu treffen, selbst in bisher unbekannten Szenarien“, sagte Owen Chen, leitender Analyst bei S&P Global. „Die Open-Source-Natur des Modells beschleunigt branchenweite Innovationen und erlaubt es Partnern, die Technologie an ihre individuellen Bedürfnisse anzupassen und weiterzuentwickeln.“

„Die Einführung des Alpamayo-Portfolios ist ein bedeutender Fortschritt für die Forschungsgemeinschaft“, sagte Wei Zhan, Co-Direktor von Berkeley DeepDrive. „NVIDIAs Entscheidung, diese Technologie frei zugänglich zu machen, ist wegweisend, da wir dadurch in einem noch nie dagewesenen Umfang trainieren können – und somit die nötige Flexibilität und die Ressourcen erhalten, um autonomes Fahren zum Standard zu machen.“

Über Alpamayo hinaus können Entwickler auf NVIDIAs umfangreiche Bibliothek an Tools und Modellen zugreifen, darunter auch die Plattformen NVIDIA Cosmos ™ und NVIDIA Omniverse ™. Sie können Modellversionen anhand proprietärer Flottendaten optimieren, sie in die NVIDIA DRIVE Hyperion™-Architektur integrieren, die mit NVIDIA DRIVE AGX Thor™-beschleunigter Rechenleistung entwickelt wurde, und die Leistung in Simulationen vor der kommerziellen Einführung validieren.