Как загрузить массовые данные на серверы Google с помощью Google App Engine, работающего на Java?

Question

Я не могу понять, как загружать массовые данные на серверы Google, минуя ограничение в 10 МБ и время ожидания сеанса 30 секунд. Я хочу разработать приложение, которое будет принимать мои стандартные данные SQL и отправлять их на серверы Google.

Может показаться наивным, но ваша помощь очень важна для моего проекта.

Answer 1

В настоящее время нет собственного загрузчика Java, поэтому вам нужно использовать Python. Процесс идет так:

Для начала вам нужно скачать Python SDK и распаковать его. Затем создайте пустой каталог и в нем создайте файл с именем app.yaml, содержащий следующее:

application: yourappid
version: bulkload
runtime: python
api_version: 1

handlers:
- url: /remote_api
  script: $PYTHON_LIB/google/appengine/ext/remote_api/handler.py
  login: admin

Теперь запустите appcfg.py update yourdir из Python SDK и введите свои учетные данные при появлении запроса. appcfg загрузит новую версию вашего приложения, которая будет работать бок о бок с вашей основной версией и позволит вам выполнять массовую загрузку.

Теперь, чтобы выполнить массовую загрузку, вам нужно использовать Python Bulkloader. Следуйте инструкциям здесь . Вам нужно знать немного (очень) Python, но в основном это копирование и вставка. Когда вы закончите, вы можете запустить массовый загрузчик, как описано в статье, но добавьте аргумент «-s bulkload.latest.yourapp.appspot.com» в командной строке, например:

appcfg.py upload_data --config_file=album_loader.py --filename=album_data.csv --kind=Album -s bulkload.latest.yourapp.appspot.com <app-directory>

Наконец, чтобы загрузить данные непосредственно из базы данных SQL, а не из файла CSV, следуйте инструкциям в моем блоге здесь .

Answer 2

Я тоже хочу сделать то же самое. Итак, вот моя наивная концепция для достижения цели.

Подготовка веб-сервера

1. Создайте сервлет , который будет получать загруженные данные (например, для типа данных) XML , JSON )

   (необязательно) сохранить как Blobstore

2. Анализ данных с использованием JAXB / JSoup и / или GSON
3. Динамически интерпретировать структура данных
4. Сохраните , используя Datastore /

Подготовка клиента к загрузке

1. Используя локальный компьютер, создайте Java / C ++ / PHP скрипт, который генерирует XML / JSON файлы и сохраняет его локально
2. Создание сценария оболочки (linux) или командный файл (windows) для программной загрузки файлов с использованием cURL .

Пожалуйста, оставьте комментарий к этому, если у вас есть идея, ребята.