Ранее работающие ячейки Jupyter Notebook теперь вылетали - PullRequest
Новая
       14

Ранее работающие ячейки Jupyter Notebook теперь вылетали

0 голосов
/ 26 мая 2019

Моя среда: pipenv> ноутбук Jupyter> python3

В настоящее время выполняется .merge () для набора данных в ячейке, которая ранее успешно выполнялась, но больше не работает. Первое слияние работает, но второе проблематично (помечено full_df ниже).

При проверке Мониторинга активности моего Mac выясняется, что этот код занимает больше всего памяти.

Когда я прерываю ядро, я получаю сообщение об ошибке, приведенное ниже.

Как я могу запустить этот код еще раз? Пример кода включен ниже.

1) Я попытался полностью отключить ядро, что освобождает мою память. 2) Я рассмотрел попытку / исключение, но не совсем уверен, разрешит ли он вывод, и будет ли вместо этого корректировать вывод ошибок. 3) Пробовал работать в Spyder, но не верю, что это что-то решит - просто отчаянно 

df1 = pd.merge(df_ab, df_cd, left_on='ab_id', right_on='cd_id', how='left')

full_df = pd.merge(df1, df_ef, left_on='df1_id', right_on='ef_id', how='left')

Ядро либо остается занятым, когда я оставляю работающую ячейку ИЛИ ЖЕ Если я выключаю ядро ​​в Spyder или Jupyter Notebook, заново открываю, запускаю ячейку и затем прерываю, я получаю следующую ошибку: 


  File "<ipython-input-12-ac995c16c7cc>", line 1, in <module>
    full_df = pd.merge(df1, df_ef, left_on='df1_id', right_on='ef_id', how='left')

  File "/anaconda3/lib/python3.7/site-packages/pandas/core/reshape/merge.py", line 48, in merge
    return op.get_result()

  File "/anaconda3/lib/python3.7/site-packages/pandas/core/reshape/merge.py", line 560, in get_result
    concat_axis=0, copy=self.copy)

  File "/anaconda3/lib/python3.7/site-packages/pandas/core/internals/managers.py", line 2061, in concatenate_block_managers
    concatenate_join_units(join_units, concat_axis, copy=copy),

  File "/anaconda3/lib/python3.7/site-packages/pandas/core/internals/concat.py", line 242, in concatenate_join_units
    for ju in join_units]

  File "/anaconda3/lib/python3.7/site-packages/pandas/core/internals/concat.py", line 242, in <listcomp>
    for ju in join_units]

  File "/anaconda3/lib/python3.7/site-packages/pandas/core/internals/concat.py", line 225, in get_reindexed_values
    fill_value=fill_value)

  File "/anaconda3/lib/python3.7/site-packages/pandas/core/algorithms.py", line 1651, in take_nd
    out = np.empty(out_shape, dtype=dtype)

KeyboardInterrupt
...