загрузить объект объемом более 5 ТБ в хранилище облачного хранилища Google

Question

Максимальный размер одного загружаемого объекта составляет 5 ТБ. Как сделать резервную копию большей одиночной рабочей нагрузки? Скажем, у меня есть один файл объемом 10 ТБ или более, который необходимо создать резервную копию в облачном хранилище?

Кроме того, связанный с этим вопрос - если 10 ТБ распределены по нескольким файлам (каждый файл меньше, чем 5TB) в одной папке, это не должно повлиять на что-нибудь правильное? Один объект не может быть больше 5 ТБ, но нет ограничений на фактический размер корзины. Скажем, папка, содержащая 3 объекта размером 10 ТБ, эта загрузка будет автоматически разделена на несколько сегментов (загрузка с консоли или gsutil)?

Спасибо

Answer 1

Может быть, просмотрите http://stromberg.dnsalias.org/~dstromberg/chunkup.html?

Я написал его для резервного копирования в SRB, который является своего рода предшественником группирования Google и Amazon. Но сам chunkup не зависит от SRB или любой другой формы хранения.

Usage: /usr/local/etc/chunkup -c chunkhandlerprog -n nameprefix [-t tmpdir] [-b blocksize]
-c specifies the chunk handling program to handle each chunk, and is required
-n specifies the nameprefix to use on all files created, and is required
-t specifies the temporary directory to write files to, and is optional.  Defaults to $TMPDIR or /tmp
-b specifies the length of files to create, and is optional.  Defaults to 1 gigabyte
-d specifies the number of digits to use in filenames.  Defaults to 5

Пример использования chunkup можно увидеть в http://stromberg.dnsalias.org/~strombrg/Backup.remote.html#SRB

HTH

Answer 2

Вы правы. Текущий предел размера для отдельных объектов составляет 5 ТБ . Таким образом, вы можете разделить ваш файл.

Что касается ограничения на общий размер корзины, то здесь не зафиксировано никаких ограничений . На самом деле, в обзоре говорится: «Облачное хранилище обеспечивает всемирное высоконадежное хранилище объектов, которое масштабируется до эксабайт данных». Вы можете взглянуть на лучшие практики GCS.