scikit-Learn спектральная кластеризация: невозможно найти NaN, скрывающийся в данных - PullRequest
Новая
       24

scikit-Learn спектральная кластеризация: невозможно найти NaN, скрывающийся в данных

0 голосов
/ 18 ноября 2018

Я запускаю спектральное сгущение на этом наборе данных вопросов Jeopardy , и есть эта неприятная проблема, с которой я сталкиваюсь с данными. Обратите внимание, что я только кластеризирую все значения в столбце «вопрос».

Очевидно, что возникает ошибка деления на ноль, когда я запускаю бикластеризацию в наборе данных. 

/usr/local/lib/python3.6/dist-packages/sklearn/cluster/bicluster.py:38: RuntimeWarning: divide by zero encountered in true_divide
  row_diag = np.asarray(1.0 / np.sqrt(X.sum(axis=1))).squeeze()
/usr/local/lib/python3.6/dist-packages/sklearn/cluster/bicluster.py:286: RuntimeWarning: invalid value encountered in multiply
  z = np.vstack((row_diag[:, np.newaxis] * u,
---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
...
ValueError: Input contains NaN, infinity or a value too large for dtype('float64').

Ошибка, по-видимому, предполагает, что в моих данных скрывается NaN или бесконечное значение (которое является единственной колонкой вопросов). Это полностью текстовые данные, которые я обрабатываю, и я уже попробовал большинство функций NumPy и Pandas для фильтрации NaN и inf, а также многие решения по переполнению стека. Я не смог найти ни одного.

Чтобы убедиться, что в моем коде нет ошибок, то же самое отлично работает с набором данных двадцати групп новостей.

Вот код на Kaggle, если вы хотите запустить его и убедитесь сами. Однако, на случай, если политика SO это запрещает, вот код в двух словах: 

dat = pd.DataFrame(pd.read_csv('../input/jarchive_cleaned.csv'))

qlist = []

def cleanhtml(raw_html):
  cleanr = re.compile('<.*?>')
  cleantext = re.sub(cleanr, '', raw_html)
  return cleantext

for row in dat.iterrows():
  txt = row[1]['text'].lower()
  txt = cleanhtml(txt)
  txt = re.sub(r'[^a-z ]',"",txt)
  txt = re.sub(r'  ',' ',txt)
#   txt = ' '.join([stem(w) for w in txt.split(" ")])
  qlist.append([txt,row[1]['answer'],row[1]['category']])

print(qlist[:10])

swords = set(stopwords.words('english'))
tv = TfidfVectorizer(stop_words = swords , strip_accents='ascii')

queslst = [q for (q,a,c) in qlist]
qlen = len(set([c for (q,a,c) in qlist]))

mtx = tv.fit_transform(queslst)

cocluster = SpectralCoclustering(n_clusters=qlen, svd_method='arpack', random_state=0) #

t = time()
cocluster.fit(mtx)

Ответы [ 2 ]

0 голосов
/ 19 ноября 2018

Деление на ноль вызывает NaNs.Вы должны сначала устранить причину.Как вы, возможно, знаете, 1/0 = NaN.

Возможно, у вас есть столбец или строка, в которой все нули.

0 голосов
/ 18 ноября 2018

Некоторые последовательности строк, такие как, например, 'down out' приводит к нулевому возвращаемому значению от TfidfVectorizer(). Это вызывает ошибки, начинающиеся с деления на ноль ошибка, что приводит к inf значениям в mtx sparse matrix, и это вызывает вторую ошибку.

В качестве обходного пути для решения этой проблемы, чтобы удалить эти последовательности или удалить нулевые матричные элементы из матрицы mtx после ее создания с помощью TfidfVectorizer.fit_transform(), что немного сложно из-за разреженной операции с матрицей.

Я принял второе решение, поскольку я не углублялся в исходные задачи, а именно: 

swords = set(stopwords.words('english'))
tv = TfidfVectorizer(stop_words = swords , strip_accents='ascii')

queslst = [q for (q,a,c) in qlist]
qlen = len(set([c for (q,a,c) in qlist]))

mtx = tv.fit_transform(queslst)

indices = []
for i,mx in enumerate(mtx):
    if np.sum(mx, axis=1) == 0:
        indices.append(i)

mask = np.ones(mtx.shape[0], dtype=bool)
mask[indices] = False
mtx = mtx[mask]        

cocluster = SpectralCoclustering(n_clusters=qlen, svd_method='arpack', random_state=0) #

t = time()

cocluster.fit(mtx)

Наконец-то это работает. Надеюсь, это поможет, удачи!

...