Сколько итераций для оптимизации на основе модели (в mlrMBO) необходимо? - PullRequest
0 голосов
/ 31 октября 2018

Я бы хотел использовать оптимизацию на основе модели в пакете mlr в R (mlrMBO) для настройки моих гиперпараметров. Сколько итераций рекомендуется здесь? Я читал, что количество необходимых итераций в MBO зависит от количества гиперпараметров, которые нужно умножить на определенный коэффициент?

1 Ответ

0 голосов
/ 31 октября 2018

К сожалению, нет общего ответа на это. Помимо количества гиперпараметров, сложность задачи и общий ландшафт оптимизации влияют на то, сколько итераций может потребоваться. Кроме того, это зависит от того, какой уровень производительности вы ищете - если вам абсолютно необходима лучшая производительность, вам может потребоваться лот итераций (тысячи и более).

Хорошее эмпирическое правило - определить количество итераций на основе имеющихся ресурсов. Вам нужен ответ через несколько минут или вы можете оставить его на ночь? Я бы начал с небольшого тестового прогона с несколькими итерациями, чтобы понять, сколько времени это займет в вашем конкретном случае, а затем установил бы количество итераций для реального прогона на основе этого и сколько вы хотите потратить на него.

Также хорошей идеей будет сделать несколько прогонов с разными случайными начальными числами и одинаковым числом итераций, одним и тем же случайным начальным числом и разным числом итераций. Это скажет вам, насколько большую производительность вы можете получить, работая дольше, например, если нет разницы для 100 и 1000 итераций, то давать больше может не стоить.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...