WorkerLost Error: работник вышел преждевременно: сигнал 11 (SIGSEGV)

Question

Я пытался найти ответ здесь, но я не получил ответ, что я хочу.Поэтому я отправляю вопрос.

import nltk
from nltk.corpus import stopwords
from sklearn.decomposition import TruncatedSVD
from sklearn.feature_extraction.text import TfidfVectorizer

stopset = set(stopwords.words('english'))
vectorizer = TfidfVectorizer(stop_words=stopset, use_idf=True, ngram_range=[1, 4])
X = vectorizer.fit_transform(document_list)
lsa = TruncatedSVD(n_components=2, n_iter=10)
lsa.fit(X)


results = []
terms = vectorizer.get_feature_names()

По какой-то причине я запускаю код, описанный выше.когда я запускаю приведенный выше код в python напрямую, это работает нормально, и я могу получить точный результат.но когда я запускаю вышеуказанный код внутри сельдерея (я использую сельдерей с колбой), я получаю следующую ошибку.Любое предложение полезно для меня.

Answer 1

У меня была та же проблема, я решил ее, поместив все операции импорта для этих библиотек в функцию задачи, а не в начало файла.

@celery.task
def reduce_features(cik):
     from sklearn.decomposition import PCA
     # your code