Запись файлов в хранилище gcloud должна быть медленной?

Question

Я использую хранилище gcloud, подключенное к экземпляру виртуальной машины с gcsfuse. У меня нет проблем с открытием файлов и их чтением, когда файлы хранятся в хранилище, но когда я пытаюсь записать файлы в хранилище, это происходит очень медленно, а когда я говорю «чрезвычайно», я имею в виду, по крайней мере, в 10 раз медленнее, если не 100 раз. Так и должно быть? Если это так, я думаю, мне придется записывать файлы на постоянный диск, затем загружать файлы в корзину хранения, а затем загружать файлы на мой персональный компьютер из корзины хранения. Хотя процесс займет столько же времени, по крайней мере психологическая деморализация не произойдет.

Answer 1

С Документация :

Производительность: Облачное хранилище FUSE имеет намного более высокую задержку, чем локальная файловая система. Таким образом, пропускная способность может быть уменьшена при чтении или записи одного небольшого файла за раз. Использование больших файлов и / или одновременная передача нескольких файлов помогут увеличить пропускную способность.

• Отдельные потоки ввода-вывода работают примерно так же быстро, как gsutil.
• gsutil Задержка может особенно повлиять на команду rsyn c, поскольку она читает и записывает один файл за раз. Использование флага верхнего уровня -m с командой часто происходит быстрее.
• Небольшие случайные чтения выполняются медленно из-за задержки до первого байта (не запускайте базу данных через Cloud Storage FUSE!)
• Произвольные записи выполняются путем чтения всего большого двоичного объекта, его локального редактирования и записи всего измененного большого двоичного объекта обратно в облачное хранилище. Небольшие записи в большие файлы работают, как и ожидалось, но медленные и дорогостоящие.

При желании, пожалуйста, ознакомьтесь с gsutil tool или GCS Client Libraries или даже Служба передачи хранилища , поскольку они могут лучше соответствовать вашим потребностям в зависимости от вашего конкретного c варианта использования.

Надеюсь, это прояснит ваши опасения.