Я пытаюсь создать горячий вектор для каждого элемента в моих данных. Но проблема в том, что процесс убит в середине исполнения. Я выполнил код на 22 процессорах с 120 ГБ памяти (лаборатория HPC), но возникает та же проблема. Вопрос в том, как я могу избежать этой проблемы? Как правильно создать огромное количество массивов?
PS: длина моих данных составляет 1,25 миллиона
Я наткнулся на эту тему:
Эффективный массив Python с 100 миллионами нулей?
и я попытался инициализировать массив следующим образом, но проблема все еще та же:
array.array ('L', words_size)
# function to convert numbers to one hot vector
def to_one_hot(data_point_index):
one_hot = np.zeros(words_size)
one_hot[data_point_index] = 1
return one_hot
def setupData():
for data_word in data:
x.append(to_one_hot(word2int[ data_word[0] ]))
y.append(to_one_hot(word2int[ data_word[1] ]))
Сообщение об ошибке:
[1] 88019 убитых python3 word2vec.py