Импорт данных на локальный том SSD в GCP

Question

Я настраиваю экземпляр (на Google Cloud Platform) с 100GB boot disk и local SSD. Мои данные примерно 150GB. Когда я импортирую эти данные, у меня недостаточно памяти. Когда я увеличиваю размер загрузочного диска до 200GB, ошибки не возникает.

Я думаю, что данные записываются на загрузочный диск, а не local SSD. Как мне убедиться, что данные хранятся на local SSD, а не на boot disk?

[ПРАВИТЬ] Я монтирую ssd с помощью lsblk Немного неясно что должно быть в [MNT_DIR] в sudo mkdir -p /mnt/disks/[MNT_DIR] Мои данные импортируются в /home/jupyter/

Answer 1

Когда вы создаете экземпляр с локальным SSD, сам диск еще не смонтирован, вам нужно создать на нем файловую систему и смонтировать ее (в linux вы можете увидеть смонтированный диск, запустив lsblk).

https://cloud.google.com/compute/docs/disks/local-ssd#formatindividual

В этом коде c объясняется, как подключить один локальный ssd и как создать массив RAID, если вы хотите подключить несколько локальные твердотельные накопители.

Из комментариев -

Да, вы должны импортировать ваши данные в папку, в которую вы смонтировали диск, но ИМХО, я бы не использовал home для этого, думаю, лучше попробуйте смонтировать все внешние диски в "/ mnt" (например, "/ mnt / vol", "/ mnt / vol1" или что-то в этом роде). Если вы будете использовать / home, вы будете скрывать текущие файлы в этом каталоге.