NVIDIA präsentiert neue offene KI-Modelle für Agenten über den gesamten Stack

NVIDIA hat gerade das Nemotron 3.5 Super VL, ein offenes Modell mit 120 Milliarden Parametern, sowie zwei neue edge-orientierte Modelle vorgestellt: Nemotron 3.5 Bolt 74B-A9B 24GB und Nemotron 3.5 Bolt E4B 4GB. Damit sagt NVIDIA, dass die Nemotron-Reihe nun das gesamte Spektrum abdeckt – egal, ob Sie Agenten auf Unternehmensservern betreiben oder auf schlanke Edge-Geräte bereitstellen. Super VL und Bolt 74B-A9B sind sofort verfügbar; Bolt E4B erscheint am 23.

Oktober.

Neuigkeiten: Details zu den Nemotron 3.5 Super VL und Bolt Modellen

Hier sind die auffälligsten Punkte: Nemotron 3.5 Super VL wurde in Zusammenarbeit mit der Nemotron Coalition entwickelt. Es handelt sich um ein offenes Modell mit 120B-Parametern, das auf hochpräzise agentische Aufgaben abzielt – Befolgen von Anweisungen, Tool-Integration, mehrstufige Workflows und das Lesen visueller Dokumente. NVIDIA behauptet, dass Super VL in Bezug auf die Genauigkeit mit ihrem größten Denkmodell mithält, aber die Größe auf ein Fünftel reduziert und auf der Artificial Analysis Intelligence Index Rangliste eine bis zu 5-fache Durchsatzrate im Vergleich zu Mitbewerbern liefert.

Das offene Format bedeutet, dass Sie das Modell mit Ihren Daten nachtrainieren und auf Ihrem eigenen Stack ausführen können.

Für den Edge-Bereich wurde Bolt 74B-A9B 24GB für lokale agentische Aufgaben entwickelt und nutzt eine 2-Bit-Quantisierung, um in 24GB Speicher zu passen. Das macht es geeignet für RTX- und DGX-Spark-Systeme, sodass Sie alltägliche Agentenaufgaben – Webrecherche, Schreiben, Code-Debugging – ohne die Cloud erledigen können. NVIDIA sagt, dass Bolt 74B-A9B in seiner Klasse auf PinchBench führend ist und den zweiten Platz auf BrowseComp belegt.

Dann gibt es noch Bolt E4B 4GB, das auf schnelle Edge-Bereitstellungen abzielt – denken Sie an konversationale Agenten und interaktive Charaktere auf GeForce RTX, Jetson und RTX/DGX Spark. Es ist auf Intelligenz pro Gigabyte abgestimmt und richtet sich an Sprachassistenten und eingebettete Schnittstellen. Es wird am 23.

Oktober eingeführt und ist für Geräte mit begrenztem Speicher gedacht, was es praktisch für eingebettete oder Echtzeitanwendungen macht, bei denen Geschwindigkeit und Effizienz am wichtigsten sind.

Alle diese Modelle erweitern das bestehende Nemotron-Angebot: Lightning (für hohe Durchsatzraten), Ultra (für komplexes Denken) und das ursprüngliche Bolt (für Edge-Intelligenz). Damit erstreckt sich Nemotron nun von leistungsstarken Rechenzentren bis hin zu Verbraucherelektronik und bietet Organisationen eine Auswahl an Optionen – ohne sie von Offenheit oder Feinabstimmung auszuschließen.

Warum das wichtig ist: Offene, anpassbare KI für reale Geschäftsagenten

Dies ist ein großer Schritt von NVIDIA für jeden, der KI-Agenten möchte, die auf sein Unternehmen zugeschnitten sind, aber nicht in geschlossenen, vom Anbieter kontrollierten Modellen gefangen sein möchte. Mit offenen Gewichten und Datensätzen können Sie diese Modelle an Ihre eigenen Werkzeuge, Daten und Workflows anpassen und nachtrainieren – egal, ob Sie Versicherungsansprüche, Finanzanalysen, Gesundheitswesen oder SaaS bearbeiten. Beispielsweise könnten Versicherungsteams die Betrugserkennung intern durchführen und die Daten privat halten.

Banken könnten Kreditanalysagenten einsetzen, die ihre eigenen Kreditvergaberegeln widerspiegeln, ohne ein Byte in die Cloud zu senden.

Die Vision-Language-Fähigkeiten in Nemotron 3.5 Super VL sind ein echter Gewinn für jeden Agenten, der mit realen Dokumenten arbeitet. Es liest Webseiten, extrahiert Text, entschlüsselt Grafiken und Tabellen und liefert strukturierte Einblicke. Da es sowohl Text als auch visuelle Inhalte in einem Durchgang verarbeiten kann, müssen Sie Daten nicht zwischen separaten Modellen hin und her bewegen – was schnellere Ergebnisse und besseren Kontext bedeutet, während Sie von Dokument zu Entscheidung wechseln.

Stellen Sie sich einen Agenten vor, der einen PDF-Vertrag analysiert, die wichtigen Klauseln findet und diese mit Diagrammen in den Anhängen abgleicht – alles in einem Inferenzdurchgang.

Einige Organisationen, die bereits Super VL anpassen, sind:

  • Scale AI, für Skydance’s Anbieter-Kreditfinanzierungsagenten und EY’s M&A Due-Diligence-Agenten
  • AfterQuery, für Hebbia’s Kreditvertragsanalyse
  • AI21 und Alice, für Cybersecurity-Angriffswiderstand
  • Mercor, für Software-Coding-Agenten mit APEX-SWE-Benchmarks
  • Ramp, für Finanzdokumenten-Intelligenz
  • Dream, für KI-gestützte Cybersecurity-Forschung
  • Lila Sciences, für wissenschaftliche Entdeckungen
  • R1, für medizinische Anspruchsanalyse
  • TrainLoop, für dermatologische Datenanwendungen, einschließlich Nolla’s KI-gesteuerten Rezeptschreibung

Große Softwareplattformen – Atlassian, CrowdStrike, Dassault Systèmes, Perplexity, Salesforce und Synopsys – integrieren ebenfalls Super VL in Aufgaben wie agentische Suche und Chipdesign-Verifizierung. Atlassian beispielsweise nutzt es, um die Suche über Jira und Confluence zu steuern, während Salesforce komplexe Regierungs-Workflows in sicheren Umgebungen über Missionforce Operations automatisiert. Sie können sehen, wie sich diese offenen Modelle an branchenspezifische Bedürfnisse in der realen Produktion anpassen, nicht nur in Demos.

Wie Sie diese Modelle in Ihrem Unternehmen nutzen können

Wenn Sie die Nemotron 3.5 Modelle für Ihre eigenen KI-Agenten ins Auge fassen, hier ist ein einfacher Weg:

  1. Holen Sie sich die offenen Gewichte für Super VL oder Bolt von Hugging Face, ModelScope oder Open Router. Die offiziellen Dokumente finden Sie auf NVIDIA’s Nemotron-Seite. Diese Repositories weisen Sie auch auf Community-Hilfe und Anleitungen hin.
  2. Optimieren Sie das Modell mit NVIDIA NeMo, Python-Pipelines oder offenen Datensätzen. NVIDIA veröffentlicht Datensätze auf Hugging Face, die Tool-Nutzung, Finanzen, Anweisungsbefolgung, langen Kontext, Fairness und Vision-Language abdecken. Sie können mit Ihren privaten Daten und Werkzeugen feinabstimmen, um die besten Ergebnisse für Ihr Feld zu erzielen.
  3. Setzen Sie es auf der Hardware ein, die zu Ihrem Maßstab passt – DGX Spark, DGX Station, RTX PRO, GeForce RTX PCs oder Jetson. Bolt-Modelle zielen auf Edge- und Workstations ab; Super VL ist am besten für hochvolumige Unternehmensjobs geeignet. Für Entwickler funktioniert Bolt 74B-A9B 24GB gut mit Agenten-Harnessen und beliebten Tools wie llama.cpp, Ollama, LM Studio, Unsloth, Canonical und vLLM, sodass Sie nicht in eine Ecke gedrängt werden.
  4. In der Produktion sollten Sie NVIDIA NIM in Betracht ziehen, das das Modell als Mikrodienst mit optimierten Konfigurationen und regelmäßigen Leistungs-/Sicherheitsupdates bündelt. NIM bietet unternehmensgerechte Bereitstellungen – Sicherheitsupdates alle zwei Wochen, Leistungsanpassungen und die Fähigkeit, bis zu 8x mehr Benutzer mit 85% niedrigerer Latenz auf NVIDIA Dynamo-Backends zu bedienen.
  5. Nutzen Sie die Community: technische Blogs, Architekturleitfäden, Video-Tutorials, Livestreams und Foren. Die Ressourcen von NVIDIA können Ihnen helfen, schneller voranzukommen und häufige Fallstricke zu vermeiden, während Sie diese Modelle einführen.

Wie Nemotron 3.5 Super VL gebaut und trainiert wurde

Das Training von Nemotron 3.5 Super VL umfasste etwa 26 Billionen Tokens – sowohl für das anfängliche als auch für das fortgesetzte Pretraining – gefolgt von einem Nachtraining mit etwa 3,8 Millionen Proben sowie Reinforcement Learning in Dutzenden von Umgebungen. Dieses umfangreiche Regime zielt darauf ab, starkes multimodales Denken, Anweisungsbefolgung und Tool-Nutzung aufzubauen. NVIDIA veröffentlicht auch offene Datensätze auf Hugging Face für alles von Tool-Nutzung und Finanzen bis hin zu Vision-Language und Fairness sowie RL-Umgebungen in NeMo Gym.

Das bedeutet, dass Sie das Training für Ihre eigenen benutzerdefinierten Anwendungsfälle replizieren oder erweitern können.

Wenn Sie entwickeln oder forschen, ermöglichen Ihnen offene Gewichte, Datensätze und Trainingsrezepte, den gesamten Lebenszyklus des Modells zu steuern – testen, experimentieren und in die Produktion gehen, intern oder mit Partnern, ohne Anbieterbindung. Das ist ein großes Thema für Branchen mit Compliance- oder Datenaufenthaltsregeln, wie Gesundheitswesen, Finanzen und Regierung.

Meine Perspektive: Die Vorteile und die Kompromisse

Hier ist meine Meinung: Der offene Ansatz von NVIDIA ist erfrischend. Offene Gewichte, Daten und Rezepte ermöglichen es Ihnen, Ihre KI-Bereitstellung tatsächlich zu besitzen – etwas, das Sie mit den meisten Cloud-Modellen nicht bekommen. Sie können mit Ihren Daten nachtrainieren, alles vor Ort halten und die Anforderungen an Sicherheit und Compliance erfüllen – besonders wichtig für regulierte Sektoren oder jeden mit sensiblen Workflows.

Aber Sie sollten die Kompromisse kennen. Die größeren Modelle lokal auszuführen bedeutet, dass Sie ernsthafte Hardware benötigen – DGX Spark, RTX PRO oder ähnliches. Bolt-Modelle machen die Nutzung am Edge zugänglicher, aber Sie benötigen dennoch NVIDIA GPUs.

Es gibt auch eine Lernkurve: Feinabstimmung, Bereitstellung und Verwaltung von Inferenzpipelines erfordern technisches Können. Und während NVIDIA die besten Ergebnisse bei Benchmarks anpreist, hängen Ihre realen Ergebnisse von Ihren eigenen Daten und Bedürfnissen ab.

Und denken Sie daran: Offene Modelle sind nur so sicher wie Ihre Bereitstellung. Starke MLOps- und Sicherheitspraktiken sind ein Muss, sonst könnten die Vorteile der lokalen Kontrolle nach hinten losgehen. Investieren Sie in Überwachung, strenge Zugriffskontrollen und regelmäßige Updates, um die Sicherheit und Zuverlässigkeit zu gewährleisten.

Das Fazit

Die erweiterte Nemotron 3.5 Suite von NVIDIA bringt offene, anpassbare KI-Agentenmodelle in Reichweite – wenn Sie die richtige Ausrüstung und das Know-how haben. Wenn Ihnen die Kontrolle über Ihre Daten, die Anpassung von Modellen an Ihr Unternehmen und die flexible Bereitstellung zwischen Cloud und Edge wichtig sind, lohnt sich ein Blick. Mit offenem Zugang, solider Leistung und Unterstützung für branchenspezifische Anpassungen scheint Nemotron 3.5 gut positioniert für die nächste Welle von Geschäfts-KI-Agenten.