Google Cloud VM останавливается или зависает при извлечении файла .7z - PullRequest
Новая
       40

Google Cloud VM останавливается или зависает при извлечении файла .7z

0 голосов
/ 05 мая 2020

В настоящее время я работаю с Google Cloud Compute Engine, чтобы обучить модель ml. Поэтому я пытаюсь извлечь файл .7z, содержащий данные. Но он слишком велик, и машина даже зависает или останавливается из-за ошибки извлечения

Я использую команду Linux ниже: 

!7zr 'path of the file'

Любая помощь в извлечении файла .. . Заранее спасибо

1 Ответ

0 голосов
/ 05 мая 2020

Вы можете попробовать это с помощью GCS

Создайте каталог, в котором есть только сжатый файл и ничего больше,

yourdir / myfile.7z

Создайте переменная окружения MYFILE = myfile.7z

Создайте корзину на GCS с помощью gsutil cli: 

gsutil mb gs://yourbucket/MY_DIR_FOR_ZIP_FILE

Затем вы загружаете файл в корзину, например 

gsutil cp -m -v $MYFILE gs://MYBUCKET/MY_DIR_FOR_ZIP_FILE

Теперь вы можете загрузить файл внутри виртуальной машины, снова используя gsutil cli. 

gsutil cp -m -v gs://MYBUCKET/MY_DIR_FOR_ZIP_FILE   /YOU_DIR

Затем извлеките и удалите сжатый файл, 

7z x $MYFILE && rm -v $MYFILE

Теперь у вас должен быть несжатый файл. на ВМ

Обязательно используйте флаг -m, это будет выполнять параллельное (многопоточное / многопроцессорное) копирование.

Вот ссылка cp - Копирование файлов и объектов

Использование инструмента gsutil

В приведенных выше инструкциях предполагается, что размер ваших данных меньше 1 ТБ, а также вы используете виртуальную машину с размером диска, достаточным для размещения данных.

Если ваши данные превышают 1 ТБ, вам нужно будет использовать Transfer служба для локальных данных .

Действия, которые необходимо выполнить при настройке заданий передачи, перечислены здесь Создание задания передачи

...