NVIDIA hat heute Basismodelle angekündigt, die lokal aufNVIDIA RTX™ AI-PCs und digitale Menschen, die Erstellung von Inhalten, die Produktivität und die Entwicklung vorantreiben. 

Diese Modelle – angeboten als NVIDIA NIM™  -Microservices – werden durch die neuen GPUs der GeForce RTX™ 50-Serie beschleunigt , die bis zu 3.352 Billionen Operationen pro Sekunde KI-Leistung und 32 GB VRAM bieten. Die auf der NVIDIA Blackwell-Architektur basierenden RTX 50-Serien sind die ersten Consumer-GPUs, die Unterstützung für FP4-Computing bieten, wodurch die KI-Inferenzleistung um das Zweifache gesteigert wird und generative KI-Modelle im Vergleich zur Hardware der vorherigen Generation lokal mit einem geringeren Speicherbedarf ausgeführt werden können.

GeForce™ ist schon seit langem eine wichtige Plattform für KI-Entwickler. Das erste GPU-beschleunigte Deep-Learning-Netzwerk, AlexNet, wurde 2012 auf der GeForce GTX™ 580 trainiert – und im letzten Jahr wurde in über 30 % der veröffentlichten KI-Forschungsarbeiten die Verwendung von GeForce RTX erwähnt.

Mit generativer KI und RTX-KI-PCs kann jetzt jeder zum Entwickler werden. Eine neue Welle von Low-Code- und No-Code-Tools wie AnythingLLM, ComfyUI, Langflow und LM Studio ermöglicht es Enthusiasten, KI-Modelle über einfache grafische Benutzeroberflächen in komplexen Workflows zu verwenden.

Mit diesen GUIs verbundene NIM-Mikroservices ermöglichen mühelosen Zugriff auf die neuesten generativen KI-Modelle und deren Bereitstellung. NVIDIA AI Blueprints , die auf NIM-Mikroservices basieren, bieten benutzerfreundliche, vorkonfigurierte Referenz-Workflows für digitale Menschen, Inhaltserstellung und mehr.

Um der wachsenden Nachfrage von KI-Entwicklern und -Enthusiasten gerecht zu werden, bringt jeder führende PC-Hersteller und Systembauer NIM-fähige RTX-KI-PCs mit GPUs der GeForce RTX 50-Serie auf den Markt.

„KI entwickelt sich mit Lichtgeschwindigkeit, von der Wahrnehmungs-KI zur generativen KI und jetzt zur agentenbasierten KI“, sagte Jensen Huang, Gründer und CEO von NVIDIA. „NIM-Mikroservices und KI-Blueprints geben PC-Entwicklern und -Enthusiasten die Bausteine ​​an die Hand, um die Magie der KI zu erkunden.“

Erstellung von AI NIMble
Foundation-Modellen – neuronale Netzwerke, die anhand riesiger Mengen an Rohdaten trainiert wurden – sind die Bausteine ​​für generative KI.

NVIDIA wird eine Pipeline von NIM-Mikroservices für RTX-KI-PCs von Top-Modellentwicklern wie Black Forest Labs, Meta, Mistral und Stability AI veröffentlichen. Die Anwendungsfälle umfassen große Sprachmodelle (LLMs), Vision-Sprachmodelle, Bildgenerierung, Sprache, Einbettungsmodelle für Retrieval-Augmented Generation (RAG), PDF-Extraktion und Computer Vision.

„GPUs der GeForce RTX 50-Serie mit FP4-Berechnung werden eine riesige Palette von Modellen freischalten, die auf dem PC ausgeführt werden können und bisher auf große Rechenzentren beschränkt waren“, sagte Robin Rombach, CEO von Black Forest Labs. „Indem FLUX zu einem NVIDIA NIM-Mikroservice gemacht wird, kann KI schneller bereitgestellt und von mehr Benutzern erlebt werden, und das bei unglaublicher Leistung.“

NVIDIA hat heute außerdem die Llama Nemotron- Familie offener Modelle angekündigt, die bei einer Vielzahl von Agentenaufgaben eine hohe Genauigkeit bieten. Das Llama Nemotron Nano-Modell wird als NIM-Mikroservice für RTX AI-PCs und -Workstations angeboten und eignet sich hervorragend für Agenten-KI-Aufgaben wie Anweisungsbefolgung, Funktionsaufruf, Chat, Codierung und Mathematik.

NIM-Microservices umfassen die wichtigsten Komponenten zum Ausführen von KI auf PCs und sind für die Bereitstellung auf NVIDIA-GPUs optimiert – ob in RTX-PCs und -Workstations oder in der Cloud.

Entwickler und Enthusiasten können diese NIM-Mikroservices mit Windows Subsystem for Linux (WSL) schnell herunterladen , einrichten und auf Windows 11-PCs ausführen.

„KI treibt die Innovation bei Windows 11-PCs rasant voran, und Windows Subsystem for Linux (WSL) bietet neben Windows Copilot Runtime eine großartige plattformübergreifende Umgebung für die KI-Entwicklung unter Windows 11“, sagte Pavan Davuluri, Corporate Vice President für Windows bei Microsoft. „NVIDIA NIM-Mikroservices, optimiert für Windows-PCs, bieten Entwicklern und Enthusiasten sofort integrierbare KI-Modelle für ihre Windows-Apps und beschleunigen so die Bereitstellung von KI-Funktionen für Windows-Benutzer weiter.“

Die NIM-Mikroservices, die auf RTX-KI-PCs laufen, sind mit den wichtigsten KI-Entwicklungs- und Agenten-Frameworks kompatibel, darunter AI Toolkit für VSCode, AnythingLLM, ComfyUI, CrewAI, Flowise AI, LangChain, Langflow und LM Studio. Entwickler können auf diesen Frameworks basierende Anwendungen und Workflows über branchenübliche Endpunkte mit KI-Modellen verbinden, auf denen NIM-Mikroservices ausgeführt werden. So können sie die neueste Technologie mit einer einheitlichen Schnittstelle über die Cloud, Rechenzentren, Workstations und PCs hinweg nutzen.

Enthusiasten können außerdem mithilfe einer kommenden Version der NVIDIA ChatRTX- Tech-Demo eine Reihe von NIM-Mikrodiensten ausprobieren.

Agentischer KI ein Gesicht geben
Um zu demonstrieren, wie Enthusiasten und Entwickler mithilfe von NIM KI-Agenten und -Assistenten erstellen können, hat NVIDIA heute eine Vorschau von Project R2X gezeigt , einem PC-Avatar mit Bildverarbeitung, der dem Benutzer Informationen zur Verfügung stellt, bei Desktop-Apps und Videokonferenzen assistiert, Dokumente liest und zusammenfasst und vieles mehr.

Der Avatar wird mit NVIDIA RTX Neural Faces gerendert , einem neuen generativen KI-Algorithmus, der die traditionelle Rasterung mit vollständig generierten Pixeln ergänzt. Das Gesicht wird dann von einem neuen diffusionsbasierten NVIDIA Audio2Face™-3D-  Modell animiert, das die Lippen- und Zungenbewegung verbessert. R2X kann über Entwickler-Frameworks wie CrewAI, Flowise AI und Langflow mit Cloud-KI-Diensten wie GPT4o von OpenAI und Grok von xAI sowie NIM-Mikrodiensten und KI-Blueprints wie PDF-Retrievern oder alternativen LLMs verbunden werden. Melden Sie sich für Updates zu Project R2X an .

KI-Blueprints kommen auf den PC
NIM-Mikrodienste sind auch für PC-Benutzer über KI-Blueprints verfügbar – Referenz-KI-Workflows, die lokal auf RTX-PCs ausgeführt werden können. Mit diesen Blueprints können Entwickler Podcasts aus PDF-Dokumenten erstellen, anhand von 3D-Szenen beeindruckende Bilder generieren und vieles mehr.

Die Blaupause für PDF to Podcast extrahiert Text, Bilder und Tabellen aus einer PDF-Datei, um ein Podcast-Skript zu erstellen, das von Benutzern bearbeitet werden kann. Außerdem kann aus dem Skript eine vollständige Audioaufnahme erstellt werden, wobei die in der Blaupause verfügbaren Stimmen oder eine Sprachprobe des Benutzers verwendet werden. Darüber hinaus können Benutzer in Echtzeit mit dem KI-Podcast-Moderator sprechen, um mehr über bestimmte Themen zu erfahren.

Der Entwurf verwendet NIM-Mikroservices wie Mistral-Nemo-12B-Instruct für Sprache, NVIDIA Riva für Text-to-Speech und automatische Spracherkennung sowie die NeMo Retriever-Sammlung von Mikroservices für die PDF-Extraktion.

Der  AI Blueprint für 3D-gesteuerte generative KI gibt Künstlern eine feinere Kontrolle über die Bildgenerierung. Während KI aus einfachen Textaufforderungen erstaunliche Bilder generieren kann, kann die Steuerung der Bildkomposition nur mit Wörtern eine Herausforderung sein. Mit diesem Blueprint können Kreative einfache 3D-Objekte verwenden, die in einem 3D-Renderer wie Blender angeordnet sind, um die KI-Bildgenerierung zu steuern. Der Künstler kann 3D-Assets manuell erstellen oder mithilfe von KI generieren, sie in der Szene platzieren und die 3D-Ansichtsfensterkamera einstellen. Anschließend verwendet ein vorgefertigter Workflow, der vom FLUX NIM-Mikroservice unterstützt wird, die aktuelle Komposition, um qualitativ hochwertige Bilder zu generieren, die zur 3D-Szene passen.

NVIDIA NIM-Mikroservices und AI Blueprints werden ab Februar verfügbar sein, mit anfänglicher Hardwareunterstützung für die professionellen GPUs der GeForce RTX 50-Serie, GeForce RTX 4090 und 4080 sowie NVIDIA RTX 6000 und 5000. Weitere GPUs werden in Zukunft unterstützt.

NIM-fähige RTX-AI-PCs werden von Acer, ASUS, Dell, GIGABYTE, HP, Lenovo, MSI, Razer und Samsung sowie von den lokalen Systemherstellern Corsair, Falcon Northwest, LDLC, Maingear, Mifcon, Origin PC, PCS und Scan erhältlich sein.