Ядро, кажется, умерло.Всегда, когда я загружаю большой файл - PullRequest
Новая
       63

Ядро, кажется, умерло.Всегда, когда я загружаю большой файл

0 голосов
/ 10 декабря 2018

Я использую Jupyter notebooks для создания ML Model with TuriCreate.

Ниже приведены шаги, которые я выполняю.

Я загрузил файлы .csv и .json (тот же файл) из https://www.kaggle.com/zynicide/wine-reviews

Файл имеет размер 51 МБ.

Я создал среду turienv Из Anaconda Navigation и следующие шаги идеально подходят для меньших CSV / JSONфайлы.

  1. источник активации turienv

  2. пункт установки turicreate = 5,0

  3. ЮпитерЗаписная книжка

---- внутри Записной книжки ---- 

import turicreate as tc

wine_data = tc.SFrame.read_json('winemag-data-130k-v2.json', orient='records')

wine_data.head() <-- I see that everything is loaded properly

wine_model = tc.text_classifier.create(wine_data,'title',features=['description'])

PROGRESS: Creating a validation set from 5 percent of training data. This may take a while.
          You can set ``validation_set=None`` to disable validation tracking.

Logistic regression:
--------------------------------------------------------
Number of examples          : 123481
Number of classes           : 113404
Number of feature columns   : 1
Number of unpacked features : 21030
Number of coefficients      : 2384978493
Starting L-BFGS
--------------------------------------------------------
+-----------+----------+-----------+--------------+-------------------+---------------------+
| Iteration | Passes   | Step size | Elapsed Time | Training Accuracy | Validation Accuracy |
+-----------+----------+-----------+--------------+-------------------+---------------------+

А потом примерно через 3-4 минуты я получаю сообщение об ошибке msg = Ядро, кажется, имеетумер.

Может ли кто-нибудь помочь ??Я новичок в Python, а Jupyter - только ENV, с которым я работал.Если есть другой env, в котором я мог бы выполнить те же действия с некоторыми рекомендациями, чтобы получить более твердую ошибку, которую я мог бы отладить, пожалуйста, дайте мне знать.

Отредактировано: Я запускаювыше на 2018 MacBook Pro 16 ГБ 512 ГБ.Я вижу на Activity Monitor Память для Python идет до 130 ГБ и процессора 83%

Заранее спасибо

...