Быстрое внедрение N-Grams в Python - PullRequest
0 голосов
/ 18 октября 2018

У меня есть эта функция, которую я хотел бы оптимизировать.Он будет проходить через тысячи строк.

В настоящее время он работает, но его очень медленно применять к столбцу с таким количеством записей.Кто-нибудь может придумать гораздо более быстрый способ запуска этого скрипта?На общее количество записей у меня уходит примерно 45 секунд.

from ngram import NGram
import time 

d = {'col1': ["instruments",'instruments music','instrum 2']}
d = pd.DataFrame(data=d)

start = time.time()
d['ratio'] = d['col1'].apply(lambda x: ngram.NGram.compare(x,'instrum'))
print time.time() - start
...