Быстрее pandas применить, используя модин. pandas - PullRequest
0 голосов
/ 11 января 2020

Попытка использовать все ядра для этой функции применения с использованием модина. pandas

from nltk.sentiment.vader import SentimentIntensityAnalyzer
sid = SentimentIntensityAnalyzer()
# sentiment Score of essay
data = data.merge(data.essay.apply(lambda s: pd.Series({'neg':sid.polarity_scores(s)['neg'], 
                                                 'neu':sid.polarity_scores(s)['neu'],
                                                 'pos':sid.polarity_scores(s)['pos'],
                                                 'compound':sid.polarity_scores(s)['compound']})), 
           left_index=True, right_index=True)

Работает по умолчанию pandas, но при использовании модина возникает эта ошибка:

ValueError: can not merge DataFrame with instance of type <class 'modin.pandas.series.Series'>

эссе - текстовый столбец в DataFrame с именем «data»

...