В Python Google App Engine, как мне экспортировать все объекты модели в файл в Google Storage для разработчиков?

Question

У меня есть около 900K сущностей модели в python GAE, которые я хотел бы экспортировать в файл CSV для автономного тестирования.Я могу использовать опцию appcfg.py download_data, но в этом случае я не хочу выполнять резервное копирование на локальный компьютер.Я хотел бы ускорить создание файла в GAE, сохранить его в Google Storage или в другом месте, а затем загрузить его с нескольких компьютеров.

Я предполагаю, что мне нужно будет сделать это в задаче, поскольку для завершения операции, вероятно, потребуется более 30 секунд.

class MyModel(db.model):
  foo = db.StringProperty(required=True)
  bar = db.StringProperty(required=True)

def backup_mymodel_to_file():
  #What to do here?

Answer 1

Лучшим вариантом будет использовать map, уменьшить библиотеку , чтобы экспортировать соответствующие данные в blobstore, а затем загрузить готовый файл в Google Storage.

Обратите внимание, что интеграция между Google Storage и App Engine еще не завершена.

Answer 2

Я знаю, что это старая версия, но я опубликовал пример использования API App Engine Mapper для сброса данных хранилища данных в облачное хранилище: Google App Engine: использование Big Query для хранилища данных?