Выбор функции активации

Question

Я делаю АвтоЭнкодер для Tensorflow, который принимает входные данные в виде 3 D матрицы, значение которой лежит в диапазоне [-1,1]. Какова оптимальная функция активации для этого сценария?

Кроме того, каково эмпирическое правило при выборе функции активации w.r.t для диапазонов ввода?

Answer 1

При выборе функции активации не существует «практического правила».

Я использую это руководство по выбору функции активации в зависимости от сложности

Также см. этот ответ для получения дополнительных рекомендаций

Answer 2

Прежде всего, обычно рекомендуется запускать сеть с пакетной нормализацией, которая в любом случае будет более или менее ограничивать значения от -1 до 1.

Функция активации скрытых слоев должна иметь нелинейность, чтобы иметь возможность обрабатывать более высокие уровни сложности. Поэтому я бы выбрал relu или один из его вариантов.

В конце сети, на последнем уровне, у вас может быть плотный слой без функции активации, позволяющей отображать отрицательные значения.