Сбой ядра Datalab при создании макетов для огромного набора данных - PullRequest
0 голосов
/ 28 мая 2019

Я запускаю экземпляр памяти объемом 16 процессоров / 104 ГБ в облачной базе данных.

Когда я импортирую набор данных с 2000 столбцами из большого запроса и преобразовываю его в фрейм данных, он работает совершенно нормально. Процесс преобразования занимает около 90 минут. Размер файла составляет 3 ГБ и имеет 200 000 строк.

Для следующего шага я пытаюсь создать фиктивные значения для всех категориальных переменных в данных. Я использую функцию получения манекенов от панд, и как только я ее запускаю, происходит сбой лаборатории данных.

"ядро, кажется, умерло. Оно автоматически перезапустит ноутбук jupyter"

Это проблема с памятью? Поможет ли увеличение ядер?

...