Предварительное заполнение хранилища данных с высокой репликацией для Google App Engine

Question

У меня следующая проблема

• У меня есть около 25 000 XML-файлов, мне нужно предварительно заполнить хранилище данных
• Я использую хранилище данных с высокой репликацией, поэтому я не могу использовать для этого массовый загрузчик

Конечно, я не могу загрузить эти файлы как часть моего WEB-INF, потому что ограничение составляет 3000 файлов.

Одним из решений, которое я могу придумать, является написание клиента, который отправляет по одному файлу за раз в мое веб-приложение, затем я анализирую его и вставляю в хранилище данных, но это поглотит всю мою ширину полосы и отнимает много времени.

Есть ли другое решение для моей проблемы?

Answer 1

Как насчет использования библиотеки mapper для обработки строк из загруженного файла? Затем вы можете предварительно обработать ваши XML-файлы в CSV-файлы, а затем загрузить их, иметь обработчик, который создает сущность для каждой строки.

http://code.google.com/p/appengine-mapreduce