Из рисунка я понимаю, что ваша потеря колеблется.Поэтому постарайтесь уменьшить скорость обучения, а также, если возможно, какой-нибудь импульсный срок.Я не могу гарантировать вам, что это сработает, но надеюсь, что это сработает, стоит попробовать.Можно объяснить большинство вещей в Deep Learning, это просто метод проб и ошибок.В следующий раз, пожалуйста, задавайте такие вопросы в https://ai.stackexchange.com или https://datascience.stackexchange.com.