Как сэкономить время на поиск по сетке и перекрестную проверку k-кратности для настройки гиперпараметра? - PullRequest
0 голосов
/ 27 марта 2020

Я планирую выполнить поиск по сетке с k-кратной перекрестной проверкой (CV), чтобы оптимизировать гиперпараметры LSTM. Допустим, у меня есть n комбинации гиперпараметров и определено k кратное резюме. Это означает, что мне нужно запустить LSTM nxk раз, что может потребовать значительных вычислительных ресурсов.

Q1. Есть ли практический совет, который может сэкономить время?

Чтобы сэкономить время, что, если 1) я разделил все данные тренировки на тест по сравнению с val (например, 80:20), без k-кратного увеличения и нашел оптимальные гиперпараметры; в этом случае nx 1 выполняется и 2) выполнить k -кратное CV для LSTM только с оптическим гиперпараметром, найденным из 1), чтобы продемонстрировать общую производительность выбранного LSTM? Имеет ли это смысл?

1 Ответ

0 голосов
/ 29 марта 2020

Для больших моделей резюме на самом деле неосуществимо. Таким образом, вы должны разделить ваши данные в режиме train-val-test.

Поиск по сетке также не лучший подход, предпочтительнее использовать случайный поиск, поэтому, см., Например, здесь .

...