Funktion des Modells

Nvidia hat mit Nemotron 3.5 Lightning ein offenes Sprachmodell mit 30 Milliarden Parametern vorgestellt, das für dauerhaft laufende KI-Agenten in Unternehmensumgebungen optimiert sein soll. Das Modell nutzt eine Mixture-of-Experts-Architektur (MoE) und kombiniert Mamba-2-State-Space-Layer, MoE-Routing und selektive Attention-Layer.

Nemotron 3.5 Lightning: Nvidias offenes 30B-MoE-Modell für KI-Agenten

Geschwindigkeit und Leistung

Das Modell soll bis zu viermal höhere Ausgabegeschwindigkeit und dadurch 30 Prozent schneller Agenten-Task-Abwicklung erreichen als vergleichbare Modelle. Es ist in puncto Geschwindigkeit auf Platz drei in seiner Gewichtsklasse.

Open-Source-Bibliothek NeMo Switchyard

Nvidia veröffentlicht auch die Open-Source-Bibliothek NeMo Switchyard, die Anfragen automatisch an das jeweils am besten geeignete KI-Modell weiterleitet. Die Bibliothek enthält Bausteine für Router, die Aufgaben auf die verschiedenen KI-Modelle verteilen.

Schlagwörter

Kommentare