Gsutil использует много памяти при загрузке нескольких файлов с большим количеством процессов - PullRequest
Новая
       83

Gsutil использует много памяти при загрузке нескольких файлов с большим количеством процессов

0 голосов
/ 27 июня 2019

Мне нужно загрузить несколько файлов с помощью gsutil, и я заметил, что gsutil использует много памяти при загрузке нескольких файлов.(Около 1-2 ГБ оперативной памяти при загрузке трех файлов 2G с 9 процессами каждый).Есть ли способ настроить использование памяти gsutil?Это очень важно для меня, потому что я запускаю gsutil в GKE, и контейнер будет уничтожен, если использовать слишком много памяти (больше лимита)

Другая проблема: кажется, что gsutil не может загружать файлы с помощьюто же имя в одной команде (одна перезапишет другую?).Поэтому я не использую опцию -m.Вместо этого я загружаю каждый файл одной командой gsutil: gsutil -o "GSUtil: parallel_thread_count = 1" -o "GSUtil: sliced_object_download_component_size = 250M" -o "GSUtil: sliced_object_download_max_components = 9" -o "GSUtil: параллельный_процесс_pведро / файл desFile

1 Ответ

0 голосов
/ 28 июня 2019

Я тестировал загрузку файла 2 ГБ и меняя -o «GSUtil: parallel_process_count = X» изменяет потребление памяти в Debian и Ubuntu:

  • 1 параллельный процесс: 85 МБ
  • 5 параллельных процессов: 125MB
  • 10 параллель процессы: 165MB
  • 50 параллельных процессов: 310 МБ

Если у вас проблемы с ядром в GKE при использовании gsutil с CentOS образ контейнера , переключение на образ Ubuntu должно помочь.

Если потребление памяти слишком велико для одновременной загрузки 3 файлов, вы можете использовать только 1 или 2 загрузки.

Есть также известные проблемы высокого использования памяти с GKE

...