Я сериализовал TfidfVectorizer, используя joblib.
И если я захочу использовать его снова в типичном скрипте на python, я сделаю что-то вроде:
stemmer = PorterStemmer()
minlen = 1
def tokenize(text):
tokens = nltk.word_tokenize(text)
stems = []
for token in tokens:
stem = stemmer.stem(token)
if len(stem) > minlen:
stems.append(stem)
return stems
tfidf = joblib.load('tfidf.pkl')
, который работает кактак и должно быть, но когда я пытаюсь сделать то же самое в приложении для колб, определив метод tokenize()
в файле rout.py или в качестве метода класса, я получаю следующее сообщение об ошибке: AttributeError: module '__main__' has no attribute 'tokenize'
Как это исправить?