загрузка zip-архива в GCP jupyterlab очень медленная - PullRequest
Новая
       11

загрузка zip-архива в GCP jupyterlab очень медленная

0 голосов
/ 27 мая 2020

Я использовал экземпляр ноутбука jupyterlab на платформе AI в GCP. Вы можете получить к нему доступ: 1) войдя в консоль GCP, 2) найдите экземпляр записной книжки и выберите запись с подзаголовком платформы AI. 3) создайте его.

Когда я загружаю zip-архив в jupyterlab, скорость очень-очень низкая.

Не знаю, что делать. Когда вы тратите день только на загрузку данных, это очень неприятно.

1 Ответ

1 голос
/ 27 мая 2020

Davi c в чате поддержки GCP 24/7 очень полезен. После проверки множества вещей, таких как скорость сети (http://speedtest.net)

, я обнаружил, что скорость загрузки одного файла довольно высокая. И сеть тоже неплохая. Поскольку мой набор данных доступен на Kaggle, я просто подумал, почему бы не скачать его прямо с kaggle.

Итак, я использовал следующие команды: 

pip install kaggle
mv kaggle.json /home/jupyter/.kaggle. # download your kaggle.json from profile page, upload it to jupyterlab, and move this place
chmod 600 /home/jupyter/.kaggle
kaggle download datasets {username/dataset name}

Готово !! Думаю, всего за 5 секунд набор данных развернут !!

...