Импорт большого объема данных XML в Google App Engine - PullRequest
2 голосов
/ 23 февраля 2011

У меня достаточно большой объем данных XML (около 200 МБ), который я хочу импортировать в хранилище данных App Engine.

До сих пор я пытался создать модели и использовать парсер cElementTree для загрузки сущностей, но это занимает много времени.

У меня также есть опасения по поводу того, насколько хорошо хранилище данных будет обрабатывать такое количество данных и есть ли лучший способ.

Итак, мои вопросы: какой самый быстрый способ парсинга XML в App Engine, и есть ли лучший бэкэнд, который будет обрабатывать хранение нескольких сотен тысяч сущностей / записей.

1 Ответ

4 голосов
/ 23 февраля 2011

Я бы пошел с Bulk Loader , который поддерживает чтение данных из источника XML.
Что касается размера XML, Datastore вообще не будет иметь проблем с обработкой такого количества данных.

...