Я собираюсь провести несколько экспериментов для исследования методов второго порядка в глубоких нейронных сетях.Похоже, что ни один из оптимизаторов , встроенных в TensorFlow, не имеет второго порядка.Но был написан модуль , который позволяет TensorFlow взаимодействовать с внешними оптимизаторами, такими как l-BFGS в SciPy.
Так люди обычно проводят такие эксперименты?Или есть куда лучше, что мне не хватает?