Как я могу ускорить загрузчик App Engine?

Question

Я пытаюсь использовать загрузчик App Engine для загрузки сущностей из хранилища данных (с высокой степенью репликации, если это имеет значение).Это работает, но довольно медленно (85 КБ / с).Есть ли какой-то волшебный набор параметров, которые я могу передать, чтобы сделать это быстрее?Я получаю около 5 МБ / мин или 20 000 записей / мин, и, учитывая, что мое соединение может работать со скоростью 1 МБ / с (и, надеюсь, App Engine может работать быстрее), должен быть способ сделать это быстрее.

Вот моя текущая команда.Я пробовал большие числа, низкие числа и каждую перестановку:

appcfg.py download_data 
--application=xxx 
--url=http://xxx.appspot.com/_ah/remote_api 
--filename=backup.csv 
--rps_limit=30000 
--bandwidth_limit=100000000 
--batch_size=500 
--http_limit=32
--num_threads=30 
--config_file=bulkloader.yaml 
--kind=foo

Я уже пробовал это Производительность массового загрузчика App Engine , и это не быстрее, чем у меня уже есть.Число, которое он упоминает, соответствует тому, что я вижу.

Заранее спасибо.

Answer 1

Вы установили индекс ключа сущности, которую пытаетесь загрузить?
Я не знаю, помогает ли это, но проверьте, не появляется ли в начале загрузки предупреждение, в котором говорится что-то о "использовании последовательного доступа".download "

Поместите это в index.yaml, чтобы создать индекс для загрузки ключа сущности, и дождитесь его создания.

- kind: YOUR_ENTITY_TYPE
  properties:
  - name: __key__
    direction: desc