Nvidia hat mit Nemotron 3.5 Lightning ein offenes Sprachmodell mit 30 Milliarden Parametern vorgestellt, das laut dem Unternehmen für dauerhaft laufende KI-Agenten in Unternehmensumgebungen optimiert worden sein soll. Gleichzeitig veröffentlicht der Chipkonzern die Open-Source-Bibliothek NeMo Switchyard, die Anfragen automatisch an das jeweils am besten geeignete KI-Modell weiterleitet.

Das neue Lightning-Modell nutzt wie viele aktuelle Modelle eine Mixture-of-Experts-Architektur (MoE). Das Hybrid-Design kombiniert Mamba-2-State-Space-Layer, MoE-Routing und selektive Attention-Layer. Laut Nvidias Blogbeitrag soll das Modell bis zu viermal höhere Ausgabegeschwindigkeit und dadurch 30 Prozent schnellere Agenten-Task-Abwicklung als vergleichbare Modelle derselben Gewichtsklasse erreichen. Beim Artificial Analysis Intelligence ist es in puncto Geschwindigkeit auf Platz drei in seiner Gewichtsklasse.

Open-Source-Bibliothek NeMo Switchyard

Die Open-Source-Bibliothek NeMo Switchyard enthält Bausteine für Router, die Aufgaben auf die verschiedenen KI-Modelle verteilen. Die Idee ist, dass Unternehmen sich mithilfe dieser Bibliothek ihren eigenen Router bauen können, angepasst an ihre Bedürfnisse. Er soll mit allen Modellen kombinierbar sein, auch mit Nicht-Nvidia-KIs.

(rie)