PySpark - Огромное количество заданий для модели RandomForest - PullRequest
0 голосов
/ 07 января 2020

В настоящее время я использую алгоритм RandomForest с PySpark. Я смотрю на искровой пользовательский интерфейс, чтобы отслеживать прогресс в обучении модели, но я не знаю, сколько времени это займет. Кажется, что приложение повторяет одно и то же задание несколько раз (collectAsMap at RandomForest. scala: 563), есть ли способ подсчитать, сколько оно будет делать? Сначала я думал, что максимальное количество заданий такое же, как у maxDepth, но сейчас у меня более 100 заданий, а maxDepth равно 20.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...