Я студент, изучающий глубокое обучение. В эти дни я пытаюсь увидеть график функции потерь в отношении весов и смещений. В частности, я хочу применить метод градиентного спуска, чтобы получить плавные линии, а не случайные характеристики, созданные другими оптимизаторами.
Платформа Keras предлагает различные типы оптимизаторов, такие как SGD, RMSprop, Adagrad, AdaDelta, Adam и т. Д. ОднакоНормальный, общий и простой градиентный спуск (без случайных характеристик) не виден в официальном документе Keras. Имеют ли значение ключевые аргументы, нормальный клип и значение клипа для простого GD? Например, если оптимизатор SGD с ключевыми аргументами clipnormal = 1, то будет ли он работать просто SGD?
Заранее спасибо.