Я внедряю LDA для тематического моделирования радиологических отчетов.Ниже приведен код, который я использую
import pandas as pd
data = pd.read_csv('chest_ct.csv', error_bad_lines=False);
import gensim
def preprocess(text):
result=[]
for token in gensim.utils.simple_preprocess(text) :
if token not in gensim.parsing.preprocessing.STOPWORDS and len(token) > 3:
result.append((token))
return result
processed_docs = []
for doc in data:
processed_docs.append(preprocess(doc))
dictionary = gensim.corpora.Dictionary(processed_docs)
lda_model = gensim.models.LdaMulticore(data,
num_topics = 8,
id2word = dictionary,
passes = 2,
workers = 2)
Код работает до словаря и завершается с ошибкой в lda_model.Я также попытался реализовать LDA с помощью scikit-learn по этой ссылке https://pythonhosted.org/lda/ и снова получил ту же ошибку.Может ли кто-нибудь помочь, пожалуйста?