Jupyter Notebook Kernal продолжает умирать - мало памяти?

Question

Я пробую две разные строки кода, которые включают в себя вычисления комбинаций строк df с 500k строк.

Я думаю, что из большого количества комбинаций, ядро ​​продолжает умирать.Есть ли способ решить эту проблему?

Обе строки кода, которые вылетали,

pd.merge(df.assign(key=0), df.assign(key=0), on='key').drop('key', axis=1)

и

index_comb = list(combinations(df.index, 2))

Оба являются разными способами достижения одного и того же желаемого значения df, но kernal не работает на обоих.

Буду признателен за любую помощь: /

Обновление: я попытался использовать код в своем терминале, и он даетмне ошибка убитого 9: он также использует слишком много памяти в терминале?

Answer 1

Здесь нет решения, о котором я знаю. Jupyter Notebook просто не предназначен для обработки огромных объемов данных. Скомпилируйте ваш код в терминале, который должен работать.

Если вы столкнулись с той же проблемой при использовании терминала, посмотрите здесь: Убит Python: 9 при запуске кода с использованием словарей, созданных из 2 CSV-файлов