Как быстро вставить огромные данные в хранилище данных при работе на сервере разработки GAE?

Question

Справочная информация:

При кодировании на локальном веб-сервере разработки GAE пользователю необходимо загружать данные мегауровня и сохранять (не прямое хранилище, но нужно много проверок и преобразований формата) в Datastore, используя отложенная библиотека .

Обычно около 50000 сущностей, размер файла CSV составляет около 5 МБ, и я пытался каждый раз вставлять 200 сущностей, используя отложенную библиотеку.

И я использовал python.

Проблема

Сервер разработки работает очень медленно, мне нужно подождать один / несколько часов , чтобы завершить этот процесс загрузки.

Я использовал опцию --use_sqlite для ускорения веб-сервера разработки.

Вопрос:

Есть ли какой-либо другой метод или настройка, способная ускорить его?

Answer 1

appengine-mapreduce - определенно опция для загрузки файлов CSV.Используйте blobstore для загрузки CSV-файла, а затем настройте BlobstoreLineInputReader mapper type для загрузки данных в хранилище данных.

Еще несколько ссылок: Python Руководство по типам читателей mapreduce - здесь ,Интерес представляет BlobstoreLineInputReader .Единственный ввод, который требуется, - это ключ к записи в хранилище блогов, содержащей загруженный файл CSV.