как применить модель, разработанную в fast.ai / pytorch? - PullRequest
Новая
       4

как применить модель, разработанную в fast.ai / pytorch?

0 голосов
/ 29 мая 2020

Я обучил модель, которую пытаюсь применить к новым данным. Я совершенно новичок в fast.ai, я создаю свою базу данных, как показано ниже (ds - это данные, которые я хочу оценить): 

bs = 64
data_lm = (TextList.from_df(df, path, cols='comment_text')
            .split_by_rand_pct(0.1)
            .label_for_lm()
            .databunch(bs=bs))

Проблема в том, что я не могу пропустить .split_by_rand_pct (0.1) , поэтому я не могу оценить все данные

Затем я go и загружаю / применяю модель, как показано ниже 

data_clas = load_data(path, 'data_clas.pkl', bs=bs)
learn = text_classifier_learner(data_clas, AWD_LSTM, drop_mult=0.5)
learn.load_encoder('fine_tuned_enc')
learn.load('third');
preds, target = learn.get_preds(DatasetType.Test, ordered=True)
labels = preds.numpy()

Но проблема в том, что я оцениваю только 0,1% моих данных поскольку первый фрагмент кода при создании базы данных неверен ... я хочу применить сохраненную / загруженную модель ко всему DF.

Заранее большое спасибо

1 Ответ

0 голосов
/ 29 мая 2020

мой коллега действительно предоставил мне решение, я публикую его здесь на случай, если оно кому-то будет полезно. 

learn.data.add_test(df['Contact_Text'])
preds,y = learn.get_preds(ds_type=DatasetType.Test)
preds
...