Pytorch RuntimeError: [принудительная ошибка в CPUAllocator.cpp: 56] posix_memalign (& data, gAlignment, nbytes) == 0. 12 против 0

Question

Я строю простую систему рекомендаций, основанную на контенте. Чтобы вычислить косинусное сходство ускоренным способом на GPU, я использую Pytorch.

Во время создания тензора словаря tfidf из csr_matrix он запрашивает следующее RuntimeErrorr

RuntimeError: [enforce fail at CPUAllocator.cpp:56] posix_memalign(&data, gAlignment, nbytes) == 0. 12 vs 0

Я делаю это так:

coo = tfidf_matrix.tocoo()
values = coo.data
indices = np.vstack( (coo.row, coo.col ))
i = torch.LongTensor(indices)
v = torch.FloatTensor(values)
tfidf_matrix_tensor = torch.sparse.FloatTensor(i, v, torch.Size(coo1.shape)).to_dense() 
# Prompts the error

Я попытался с небольшим набором тестовых данных (размер матрицы tfidf = 10 296), и он работает. Размер матрицы tfidf из реального набора данных (27639, 226957)

Answer 1

Я попробовал тот же кусок кода, который выдавал эту ошибку с более старой версией PyTorch. Он сказал, что мне нужно больше оперативной памяти. Следовательно, это не ошибка PyTorch. Единственное решение - как-то уменьшить размер матрицы.