Выпуклые и невыпуклые задачи в машинном обучении

Question

В сверточных нейронных сетях (CNN) я читал, что такие функции активации, как tanh, хороши только для выпуклых задач / оптимизаций.Что это на самом деле значит?Что такое выпуклые и невыпуклые оптимизации?Почему выпуклые проблемы «легче» решить?

Answer 1

Я не уверен, что означает твое первое утверждение.Короче говоря, разница между выпуклой и невыпуклой оптимизацией основана на выпуклости функций, описывающих целевую функцию и ограничения.У выпуклых задач оптимизации есть много преимуществ, в том числе: уникальность оптимальной точки и вычислительная управляемость задачи.Я надеюсь, что это дает вам первый обзор.