выбор num_leaves в LightGBM?

Question

Есть ли эмпирическое правило для инициализации параметра num_leaves в lightgbm. Например, для 1000 признака набора данных мы знаем, что с tree-depth из 10 он может охватывать весь набор данных, поэтому мы можем выбрать его соответствующим образом, и пространство поиска для настройки также будет ограничено.

Но в lightgbm, как мы можем приблизительно угадать эти параметры, иначе его пространство поиска будет довольно большим при использовании метода поиска по сетке.

Любая интуиция при выборе этих параметров будет полезна.

Answer 1

Лучшая рекомендация, с которой я столкнулся, это это удивительное резюме Лоры на lightgbm github.Как всегда, это очень сильно зависит от ваших данных.

Моё личное эмпирическое правило, основанное на ограниченном опыте стеснения, - начинать с попытки значений в диапазоне [10,100].Но если у вас есть надежная эвристика для выбора глубины дерева, вы всегда можете использовать ее и установить num_leaves на 2^tree_depth - 1