Установка num_workers для TextLMDataBunch в Fastai - PullRequest
0 голосов
/ 27 марта 2020

Я пытался классифицировать обзоры mov ie набора данных IMDB, используя Fastai . Я создал набор данных для языковой модели (TextLMDataBunch) следующим образом: -

batch_size = 32
workers = 4

data_lm = (TextList.from_folder(path)
                   .filter_by_folder(include = ['train', 'test', 'unsup'])
                   .split_by_rand_pct(valid_pct = 0.15)
                   .label_for_lm()
                   .databunch(bs = batch_size, num_workers = workers))

data_lm.save("data_language_model.pkl")

Однако при печати num_workers набора данных на data_lm.num_workers вывод всегда был 0.

Я даже пытался изменить num_workers, загрузив сохраненный набор данных и передав аргумент num_workers: -

data_lm = load_data(path, "data_language_model.pkl", bs = 8, num_workers = 4)

Тем не менее, вывод data_lm.num_workers был 0.

Как мне изменить num_workers из TextLMDataBunch?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...