Прогнозируемый градиентный спуск в Керасе

Question

Я сейчас работаю над проектом, и мне нужно сделать градиентный спуск проекта вместо ванильного градиентного спуска в сети. Я не уверен, что нынешние рамки глубокого обучения обладают такой функциональностью. Я пытался искать в Интернете, но не получил много. Любая помощь в этом отношении приветствуется (я открыт для использования каркасов, отличных от Keras)!

Answer 1

Вы можете использовать некоторые реализации, доступные для спроектированного градиентного спуска для pytorch, tenorflow. Возможно, вам придется немного изменить их в зависимости от модели, потерь и т. Д. c.

https://gist.github.com/oscarknagg/45b187c236c6262b1c4bbe2d0920ded6 (PyTorch)

https://www.tensorflow.org/api_docs/python/tf/compat/v1/train/ProximalGradientDescentOptimizer (тензорный поток, это может быть проще в использовании, вы можете просто использовать его как оптимизатор тензорного потока без фактической обработки грязных градиентов самостоятельно)

https://github.com/amkatrutsa/liboptpy (секция ограниченной оптимизации)