Как сделать статистические модели Spacy быстрее - PullRequest
Новая
       6

Как сделать статистические модели Spacy быстрее

0 голосов
/ 19 ноября 2018

Я использую предварительно обученные статистические модели Spacy, такие как en_core_web_md.Я пытаюсь найти похожие слова между двумя списками.Пока код работает нормально.Загрузка статистической модели занимает много времени при каждом запуске кода.

Вот код, который я использую.

Как заставить модели загружаться быстрее?Есть ли способ сохранить модель на диск? 

import spacy
nlp = spacy.load('en_core_web_md')
list1 =['mango','apple','tomato','orange','papaya']   
list2 =['mango','fig','cherry','apple','dates']
s_words = []
for token1 in list1:
    list_to_sort = [] 
    for token2 in list2:
        list_to_sort.append((token1, token2, nlp(str(token1)).similarity(nlp(str(token2)))))

    sorted_list = sorted(list_to_sort, key = itemgetter(2), reverse=True)[0][:2]
    s_words.append(sorted_list)
    similar_words= list(zip(*s_words))[1]
...