NVIDIA kündigte heute neue offene Modelle, Frameworks und KI-Infrastruktur für physische KI an und präsentierte Roboter für alle Branchen von globalen Partnern.

Die neuen NVIDIA-Technologien beschleunigen die Arbeitsabläufe im gesamten Lebenszyklus der Roboterentwicklung, um die nächste Welle der Robotik voranzutreiben, einschließlich des Baus von Generalisten-Spezialisten-Robotern, die schnell viele Aufgaben erlernen können.

Weltweit führende Unternehmen der Robotikbranche wie Boston Dynamics, Caterpillar, Franka Robotics, Humanoid, LG Electronics und NEURA Robotics nutzen den NVIDIA-Robotik-Stack, um neue KI-gesteuerte Roboter auf den Markt zu bringen.

„Der ChatGPT-Moment für die Robotik ist gekommen. Bahnbrechende Entwicklungen im Bereich der physikalischen KI – Modelle, die die reale Welt verstehen, logisches Denken entwickeln und Handlungen planen – eröffnen völlig neue Anwendungsmöglichkeiten“, so Jensen Huang, Gründer und CEO von NVIDIA. „NVIDIAs umfassendes Portfolio an Jetson-Robotikprozessoren, CUDA, Omniverse und offenen physikalischen KI-Modellen ermöglicht es unserem globalen Partnernetzwerk, Branchen mithilfe KI-gesteuerter Robotik zu transformieren.“

Neue offene Modelle fördern das Lernen und Schlussfolgern von Robotern.
Die Umwandlung der heutigen kostspieligen, auf eine einzige Aufgabe beschränkten und schwer zu programmierenden Maschinen in generalistisch-spezialisierte Roboter mit Denkvermögen erfordert enormes Kapital und Fachwissen für den Aufbau grundlegender Modelle.

NVIDIA entwickelt offene Modelle, die es Entwicklern ermöglichen, ressourcenintensive Vortrainingsprozesse zu umgehen und sich auf die Entwicklung der nächsten Generation von KI-Robotern und autonomen Maschinen zu konzentrieren. Diese neuen Modelle, die alle auf Hugging Face verfügbar sind, umfassen:

• NVIDIA Cosmos™ Transfer 2.5 und NVIDIA Cosmos Predict 2.5 – offene, vollständig anpassbare Weltmodelle, die die physikalisch basierte Generierung synthetischer Daten und die Bewertung von Roboterrichtlinien in Simulationen für physikalische KI ermöglichen.
• NVIDIA Cosmos Reason 2 ist ein offenes, auf Bildverarbeitung basierendes Sprachmodell (VLM), das es intelligenten Maschinen ermöglicht, die physische Welt wie Menschen zu sehen, zu verstehen und in ihr zu handeln.
• NVIDIA Isaac™ GR00T N1.6, ein offenes Reasoning Vision Language Action (VLA)-Modell, das speziell für humanoide Roboter entwickelt wurde und die vollständige Körperkontrolle ermöglicht und NVIDIA Cosmos Reason für besseres Schlussfolgerungsvermögen und Kontextverständnis nutzt.

Franka Robotics, NEURA Robotics und Humanoid nutzen GR00T-fähige Workflows, um neue Verhaltensweisen für Roboter zu simulieren, zu trainieren und zu validieren. Salesforce verwendet Agentforce, Cosmos Reason und NVIDIA Blueprint für die Videosuche und -zusammenfassung, um von seinen Robotern aufgenommenes Videomaterial zu analysieren und die Bearbeitungszeiten von Vorfällen um die Hälfte zu reduzieren.

LEM Surgical nutzt NVIDIA Isaac for Healthcare und Cosmos Transfer, um die autonomen Arme seines Operationsroboters Dynamis zu trainieren, der auf NVIDIA Jetson AGX Thor™ und Holoscan basiert. XRlabs verwendet Thor und Isaac for Healthcare, um chirurgische Endoskope, beginnend mit Exoskopen, mit KI-gestützter Echtzeit-Analyse auszustatten und Chirurgen so zu unterstützen.

Neue Open-Source-Simulations- und Rechenframeworks für die Robotikentwicklung:
Skalierbare Simulationen sind für das Training und die Evaluierung von Robotern unerlässlich, doch die aktuellen Arbeitsabläufe sind fragmentiert und schwer zu handhaben. Benchmarking erfolgt oft manuell und ist schwer skalierbar, während durchgängige Pipelines eine komplexe Orchestrierung heterogener Rechenressourcen erfordern.

NVIDIA hat heute neue Open-Source-Frameworks auf GitHub veröffentlicht, die diese komplexen Pipelines vereinfachen und den Übergang von der Forschung zu realen Anwendungsfällen beschleunigen.

NVIDIA Isaac Lab-Arena ist ein Open-Source-Framework, das auf GitHub verfügbar ist und ein kollaboratives System für die umfassende Evaluierung von Roboterstrategien und Benchmarking in Simulationen bietet. Die Evaluierungs- und Aufgabenebenen wurden in enger Zusammenarbeit mit Lightwheel entwickelt. Isaac Lab-Arena ist mit branchenführenden Benchmarks wie Libero und Robocasa kompatibel und standardisiert so die Tests. Dadurch wird sichergestellt, dass die Roboterfähigkeiten robust und zuverlässig sind, bevor sie auf physischer Hardware eingesetzt werden.

NVIDIA OSMO ist ein Cloud-natives Orchestrierungsframework, das die robotische Entwicklung in einer einzigen, benutzerfreundlichen Kommandozentrale vereint. Mit OSMO können Entwickler Workflows wie die Generierung synthetischer Daten, das Modelltraining und Software-in-the-Loop-Tests in verschiedenen Rechenumgebungen – von Workstations bis hin zu gemischten Cloud-Instanzen – definieren und ausführen und so die Entwicklungszyklen beschleunigen.

OSMO ist jetzt verfügbar und wird von Roboterentwicklern wie Hexagon Robotics eingesetzt und ist in die Microsoft Azure Robotics Accelerator Toolchain integriert.

NVIDIA und Hugging Face beschleunigen die Entwicklung von Open-Source-basierter physikalischer KI.
Robotik ist mittlerweile die am schnellsten wachsende Kategorie auf Hugging Face, wo NVIDIAs offene Modelle und Datensätze die meisten Downloads in einer schnell wachsenden Open-Source-Community verzeichnen.

Um diese Community zu stärken, arbeitet NVIDIA mit Hugging Face zusammen, um die Open-Source -Technologien Isaac und GR00T in das führende Open-Source-Robotik-Framework LeRobot zu integrieren. Dies ermöglicht einen optimierten Zugriff auf integrierte Software- und Hardware-Tools, die die Entwicklung von A bis Z beschleunigen. Durch diese Kooperation werden die 2 Millionen Robotik-Entwickler von NVIDIA mit der globalen Community von Hugging Face, bestehend aus 13 Millionen KI-Entwicklern, verbunden.

Die GR00T N-Modelle und Isaac Lab-Arena sind jetzt in der LeRobot-Bibliothek für einfache Feinabstimmung und Evaluierung verfügbar. Der Open-Source-Humanoide Reachy 2 von Hugging Face ist vollständig mit dem Robotik-Computer NVIDIA Jetson Thor™ kompatibel, sodass Entwickler beliebige Spracherkennungsalgorithmen, einschließlich GR00T N1.6, ausführen können. Der Open-Source-Tischroboter Reachy Mini von Hugging Face ist ebenfalls vollständig mit NVIDIA DGX Spark™ kompatibel, um individuelle Anwendungen mit großen NVIDIA-Sprachmodellen sowie offenen Sprach- und Computer-Vision-Modellen zu erstellen, die lokal ausgeführt werden.

Entwickler humanoider Roboter setzen auf NVIDIA Jetson Thor.
NVIDIA Jetson Thor erfüllt die enormen Rechenanforderungen für humanoide Roboter mit kognitiven Fähigkeiten. Auf der CES präsentieren Entwickler humanoider Roboter ihre neuesten Modelle, die jetzt mit Jetson Thor integriert sind.

NEURA Robotics bringt einen von Porsche entwickelten humanoiden Roboter der dritten Generation sowie einen kleineren, für präzise Steuerung optimierten Roboter auf den Markt. Richtech Robotics präsentiert Dex, einen mobilen humanoiden Roboter für anspruchsvolle Manipulation und Navigation in komplexen Industrieumgebungen. AGIBOT stellt humanoide Roboter für Industrie und Konsumgüter vor, darunter Genie Sim 3.0, eine Robotersimulationsplattform mit Integration in Isaac Sim. LG Electronics hat einen neuen Haushaltsroboter vorgestellt, der für vielfältige Aufgaben im Haushalt entwickelt wurde.

Boston Dynamics, Humanoid und RLWRLD haben Jetson Thor in ihre bestehenden Humanoiden integriert, um deren Navigations- und Manipulationsfähigkeiten zu verbessern.

Physikalische KI für den industriellen Einsatz: Das neue NVIDIA Jetson™ T4000 Modul bietet NVIDIA Jetson Orin™-Kunden eine kostengünstige und leistungsstarke Upgrade-Option. Es integriert die NVIDIA Blackwell-Architektur in autonome Maschinen und allgemeine Robotik und ist ab einer Abnahmemenge von 1.000 Stück für 1.999 US-Dollar erhältlich. Mit 1.200 FP4 TFLOPS und 64 GB Speicher bietet es die vierfache Leistung der Vorgängergeneration – und das alles bei einem konfigurierbaren Stromverbrauch von nur 70 Watt, ideal für energieeffiziente autonome Systeme.

NVIDIA IGX Thor, das noch in diesem Monat verfügbar sein wird, erweitert die Robotik auf den industriellen Einsatzbereich und bietet leistungsstarke KI-Rechenleistung mit Unterstützung für Unternehmenssoftware und funktionaler Sicherheit. Archer nutzt IGX Thor, um KI in die Luftfahrt zu integrieren und so wichtige Fähigkeiten in den Bereichen Flugsicherheit, Luftraumintegration und autonome Systeme weiterzuentwickeln.

Zu den Partnern gehören unter anderem AAEON, Advantech, ADLINK , Aetina , AVerMedia , Connect Tech, EverFocus, ForeCR, Lanner, RealTimes, Syslogic, Vecow und YUAN. Sie bieten Thor-basierte Systeme an, die für Edge-KI, Robotik und eingebettete Anwendungen geeignet sind.

Darüber hinaus baut Caterpillar seine Zusammenarbeit mit NVIDIA aus, um fortschrittliche KI und autonome Systeme für Baumaschinen und Baustellen im Bau- und Bergbau zu entwickeln. Caterpillar-CEO Joe Creed wird die Details gemeinsam mit Deepu Talla, Vice President für Robotik und Edge-KI bei NVIDIA, im Rahmen einer Keynote auf der CES am Mittwoch, dem 7. Januar, vorstellen.