NVIDIA erweitert das Universum offener Modelle und hat heute neue offene Modelle, Daten und Tools veröffentlicht, um die KI in allen Branchen voranzutreiben.

Diese Modelle – von der NVIDIA Nemotron -Familie für agentenbasierte KI über die NVIDIA Cosmos -Plattform für physikalische KI und die neue NVIDIA Alpamayo -Familie für die Entwicklung autonomer Fahrzeuge bis hin zu NVIDIA Isaac GR00T für Robotik und NVIDIA Clara für Biomedizin – werden Unternehmen, die Werkzeuge an die Hand geben, um KI-Systeme für die reale Welt zu entwickeln.

NVIDIA stellt Open-Source-Trainingsframeworks und eine der weltweit größten Sammlungen offener multimodaler Daten bereit, darunter 10 Billionen Sprachtrainings-Tokens, 500.000 Robotertrajektorien, 455.000 Proteinstrukturen und 100 Terabyte Fahrzeugsensordaten. Dies ist ein beispielloser Umfang vielfältiger offener Ressourcen, der Innovationen in den Bereichen Sprache, Robotik, wissenschaftliche Forschung und autonome Fahrzeuge beschleunigt.

Führende Technologieunternehmen – darunter Bosch, CodeRabbit, CrowdStrike, Cohesity, Fortinet, Franka Robotics, Humanoid, Palantir, Salesforce, ServiceNow, Hitachi und Uber – übernehmen und entwickeln die offenen Modelltechnologien von NVIDIA weiter.

NVIDIA Nemotron bringt Sprach-, multimodale Intelligenz und Sicherheit in KI-Agenten.  

Aufbauend auf der kürzlich veröffentlichten NVIDIA Nemotron 3-Familie offener Modelle und Daten veröffentlicht NVIDIA Nemotron-Modelle für Sprache, multimodale Retrieval-Augmented-Generierung (RAG) und Sicherheit.

• Nemotron Speech umfasst führende Open-Source-Modelle, darunter ein neues ASR-Modell, die Echtzeit-Spracherkennung mit geringer Latenz für Live-Untertitel und KI-Sprachanwendungen ermöglichen. Tägliche und modale Benchmarks zeigen, dass das Modell eine zehnmal höhere Leistung als vergleichbare Modelle erbringt.
• Nemotron RAG umfasst neue eingebettete und neu geordnete Bild-Sprachmodelle (VLMs), die hochpräzise mehrsprachige und multimodale Dateneinblicke liefern, um die Dokumentensuche und den Informationsabruf zu verbessern.
• Zu den Nemotron-Sicherheitsmodellen , die die Sicherheit und Vertrauenswürdigkeit von KI-Anwendungen stärken, gehören nun das Llama Nemotron Content Safety-Modell mit erweiterter Sprachunterstützung und Nemotron PII , das sensible Daten mit hoher Genauigkeit erkennt.

Bosch setzt Nemotron Speech ein, um Fahrern die Interaktion mit ihren Fahrzeugen zu ermöglichen. ServiceNow trainiert seine Apriel-Modellfamilie mit offenen Datensätzen, darunter Nemotron, um eine kosteneffiziente multimodale Performance zu gewährleisten.

Cadence und IBM erproben NVIDIA Nemotron RAG-Modelle, um die Suche und das logische Denken in komplexen technischen Dokumenten zu verbessern.

CrowdStrike, Cohesity und Fortinet setzen auf NVIDIA Nemotron Sicherheitsmodelle, um die Vertrauenswürdigkeit ihrer KI-Anwendungen zu stärken.

Palantir integriert Nemotron-Modelle in sein Ontologie-Framework, um einen neuartigen, integrierten Technologie-Stack für spezialisierte KI-Agenten zu entwickeln. CodeRabbit nutzt Nemotron-Modelle, um seine KI-Code-Reviews zu optimieren und zu skalieren. Dadurch werden Geschwindigkeit und Kosteneffizienz verbessert, ohne die hohe Genauigkeit der Reviews zu beeinträchtigen.

NVIDIA stellt Entwicklern außerdem Open-Source-Datensätze, Trainingsressourcen und Blaupausen zur Verfügung, darunter den Datensatz und den Trainingscode für das Llama Embed Nemotron 8B-Modell, das auf der MMTEB-Bestenliste geführt wird. Zusätzlich wird der aktualisierte LLM Router bereitgestellt, der Entwicklern zeigt, wie KI-Anfragen automatisch an das jeweils beste Modell weitergeleitet werden können, sowie der Datensatz, der zum Erstellen des neuen Nemotron Speech ASR-Modells verwendet wurde.

Neue Modelle für jede Art von physikalischer KI und Roboter

Die Entwicklung physikalischer KI für Roboter und autonome Systeme erfordert große, vielfältige Datensätze und Modelle, die komplexe, reale Umgebungen wahrnehmen, analysieren und darin handeln können. Auf Hugging Face ist Robotik das am schnellsten wachsende Segment, wobei die offenen Robotikmodelle und -datensätze von NVIDIA die meisten Downloads der Plattform verzeichnen .

NVIDIA veröffentlicht NVIDIA Cosmos Open World Foundation-Modelle , die menschenähnliches Denken und Weltgenerierung ermöglichen, um die Entwicklung und Validierung physikalischer KI zu beschleunigen.

• Cosmos Reason 2 ist ein neues, führendes VLM-System für logisches Denken, das Robotern und KI-Agenten hilft, die physische Welt genauer zu sehen, zu verstehen und mit ihr zu interagieren.
• Cosmos Transfer 2.5 und Cosmos Predict 2.5 sind führende Modelle, die groß angelegte synthetische Videos aus verschiedenen Umgebungen und unter unterschiedlichen Bedingungen generieren.

NVIDIA hat außerdem offene Modelle und Blaupausen für jede physikalische KI-Verkörperung veröffentlicht, die auf Cosmos basieren:

• Isaac GR00T N1.6 ist ein offenes Reasoning Vision Language Action (VLA)-Modell, das speziell für humanoide Roboter entwickelt wurde und die vollständige Körperkontrolle ermöglicht. Es nutzt NVIDIA Cosmos Reason für besseres Schlussfolgerungsvermögen und Kontextverständnis.
• Der NVIDIA Blueprint für Videosuche und -zusammenfassung , der Teil der NVIDIA Metropolis-Plattform ist, ist ein Referenz-Workflow für die Entwicklung von KI-Agenten für Bildverarbeitung, die große Mengen an aufgezeichnetem und Live-Video analysieren können, um die betriebliche Effizienz und die öffentliche Sicherheit zu verbessern.

Salesforce , Milestone , Hitachi, Uber, VAST Data und Encord setzen Cosmos Reason für KI-Agenten zur Verkehrssteuerung und Produktivitätssteigerung am Arbeitsplatz ein. Franka Robotics, Humanoid und NEURA Robotics verwenden Isaac GR00T, um neue Verhaltensweisen für Roboter zu simulieren, zu trainieren und zu validieren, bevor diese in der Produktion eingesetzt werden.

NVIDIA Alpamayo für auf Schlussfolgerungen basierende autonome Fahrzeuge

Die Entwicklung sicherer, skalierbarer autonomer Fahrsysteme hängt von einer KI ab, die in komplexen realen Umgebungen und Szenarien wahrnehmen, schlussfolgern und handeln kann, sowie von Entwicklungsabläufen, die schnelles Training, Testen und Verbessern in großem Umfang unterstützen.

NVIDIA veröffentlicht NVIDIA Alpamayo, eine neue Familie offener Modelle, Simulationswerkzeuge und großer Datensätze zur Förderung der Entwicklung von auf Schlussfolgerungen basierenden autonomen Fahrzeugen. Sie umfasst:

• Alpamayo 1 ist das erste offene, groß angelegte VLA-Modell für autonome Fahrzeuge (AVs), das es Fahrzeugen ermöglicht, ihre Umgebung zu verstehen und ihre Aktionen zu erklären.
• AlpaSim ist ein Open-Source-Simulationsframework, das das Training und die Evaluierung von auf Schlussfolgerungen basierenden AV-Modellen in geschlossenen Regelkreisen über verschiedene Umgebungen und Grenzfälle hinweg ermöglicht.

NVIDIA veröffentlicht außerdem Physical AI Open Datasets, darunter über 1.700 Stunden an Fahrdaten, die in unterschiedlichsten geografischen Gebieten und unter verschiedensten Bedingungen gesammelt wurden und seltene und komplexe reale Grenzfälle abdecken, die für die Weiterentwicklung von Architekturen für logisches Denken unerlässlich sind.

NVIDIA Clara für Gesundheitswesen und Biowissenschaften 

Um die Kosten zu senken und Behandlungen schneller bereitzustellen, bringt NVIDIA neue Clara-KI-Modelle auf den Markt, die die Lücke zwischen digitaler Forschung und realer Medizin schließen.

Diese Modelle helfen Forschern bei der Entwicklung sichererer, wirksamerer und einfacher herzustellender Behandlungsmethoden und umfassen Folgendes:

• La-Proteina ermöglicht die Entwicklung großer, atomgenauer Proteine ​​für die Forschung und die Entwicklung von Arzneimittelkandidaten und gibt Wissenschaftlern neue Werkzeuge an die Hand, um Krankheiten zu untersuchen, die bisher als unheilbar galten.
• ReaSyn v2 stellt sicher, dass KI-entwickelte Medikamente praktisch synthetisiert werden können, indem ein Herstellungsplan in den Entdeckungsprozess integriert wird.
• KERMT ermöglicht hochpräzise, ​​computergestützte Sicherheitstests in einem frühen Entwicklungsstadium, indem es vorhersagt, wie ein potenzielles Medikament mit dem menschlichen Körper interagieren wird.
• RNAPro erschließt das Potenzial der personalisierten Medizin durch die Vorhersage der komplexen 3D-Formen von RNA-Molekülen.

Darüber hinaus hilft ein NVIDIA-Datensatz mit 455.000 synthetischen Proteinstrukturen KI-Forschern beim Aufbau präziserer KI-Modelle.

Erste Schritte mit offenen Modellen und Technologien von NVIDIA

Die offenen Modelle, Daten und Frameworks von NVIDIA sind jetzt auf GitHub und Hugging Face sowie über eine Reihe von Cloud-, Inferenz- und KI-Infrastrukturplattformen und build.nvidia.com verfügbar und bieten Entwicklern flexiblen Zugriff auf unterstützende Ressourcen.

Viele dieser Modelle sind auch als NVIDIA NIM-Mikrodienste für eine sichere, skalierbare Bereitstellung auf jeder NVIDIA-beschleunigten Infrastruktur verfügbar, vom Edge bis zur Cloud.