У меня есть файл sql3 размером 750 МБ, который я хочу загрузить в appcfg.py, программу, которая может восстановить данные appengine. Это займет вечность, чтобы загрузить там. Есть ли способ, которым я мог бы разделить его на меньшие, полностью отдельные куски, чтобы загружаться независимо?
Мне не нужно выполнять запросы к данным или поддерживать какие-либо другие отношения. Мне просто нужно скопировать список записей в мое приложение appengine.
Разработка:
Я пытаюсь восстановить файл размером 750 МБ sql3, полученный с
appcfg.py download_data --appl=myapp --url=https://myapp.appspot.com/remote_path --file=backup.sql3
Теперь я пытаюсь восстановить файл с помощью
appcfg.py upload_data --appl=restoreapp --url=https://restoreapp.appspot.com/remote_api --file=backup.sql3
Я также установил некоторые параметры, изменяющие пределы по умолчанию.
Это распечатывает некоторую начальную информацию о регистрации, повторяет параметры и т. Д. Затем в течение 45 минут ничего не происходит, за исключением того, что python занимает около 50% процессорного времени в течение продолжительности. Затем, наконец, он начинает загружаться в appengine.
Оттуда, похоже, работает. Но если в передаче произошла ошибка, мне придется снова подождать 45 минут, даже после указания базы данных прогресса. Вот почему я ищу способ разбить файл или что-то в этом роде.
FWIW, как исходное приложение, так и приложение восстановления используют Java SDK