Как запустить алгоритм spacy на нескольких ядрах - PullRequest
0 голосов
/ 25 ноября 2018

У меня есть два списка.Список А содержит 500 слов.Список B содержит 10000 слов.Я пытаюсь найти похожие слова для Списка А относительно BI, использую функцию подобия Spacy.

Проблема, с которой я сталкиваюсь, заключается в том, что для вычисления требуются целые годы.Я новичок в многоядерном использовании, поэтому запрашиваю помощь.

Как ускорить выполнение алгоритма через многоядерную обработку в python?

Ниже приведен мой код.

ListA =['Dell', 'GPU',......] #500 words lists
ListB = ['Docker','Ec2'.......] #10000 words lists
s_words = []
for token1 in ListB:
    list_to_sort = [] 
    for token2 in ListA:    
        list_to_sort.append((token1, token2,nlp(str(token1)).similarity(nlp(str(token2)))))
        sorted_list = sorted(list_to_sort, key = itemgetter(2), reverse=True)[0][:2]
        s_words.append(sorted_list)

1 Ответ

0 голосов
/ 25 ноября 2018

Вы можете использовать мультипроцессорный пакет.Это, я надеюсь, значительно сократит ваше время.Смотрите здесь для примера кода.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...