App Engine Blobstore скачать все капли сразу

Question

Я хотел бы загрузить все большие двоичные объекты в виде одного заархивированного файла (или другого способа) на мой компьютер.В любом случае, чтобы сделать это?Я использую Python SDK.

Answer 1

Нет, это невозможно сделать.Магазин блогов может быть достаточно большим, гораздо большим, чем это удобно для загрузки одним файлом.

Answer 2

Существует крайний срок запроса 60 секунд для каждого веб-запроса, отправляемого в GAE. Один запрос не может иметь ответ более 32 мегабайт, и его обработчик обычно не может использовать более 128 мегабайт памяти с использованием квот по умолчанию.

Итак, гипотетически, если у вас очень маленькое приложение, может быть вы можете собрать zip-память всех ваших объектов. Но это не будет масштабируемым, и если ваш магазин в любом случае настолько мал, стоит ли это того? (Нет, это не так).

Суть в том, что очень мало в GAE делается сразу. Вы делаете вещи итеративно, по нескольким запросам.

Answer 3

Вероятно, в любом случае лучше загружать их по одному.Таким образом, если ваша работа умирает на полпути, вы можете перезапустить ее там, где она провалилась, а не начинать заново с нуля.

Answer 4

Как насчет копирования больших двоичных объектов в хранилище Google и последующего использования gsutil для загрузки больших двоичных объектов?