Массовая загрузка Google App Engine - PullRequest
Новая
       24

Массовая загрузка Google App Engine

5 голосов
/ 30 апреля 2011

Я загружал данные (более 1 ГБ) из хранилища данных с помощью массовой загрузки.Внезапно мой интернет перестал работать, и процесс загрузки остановился посередине.Я хочу возобновить с того места, где это остановилось.При попытке получить следующую ошибку 

File "/Users/FYP/GoogleAppEngineLauncher.app/Contents/Resources/GoogleAppEngine-default.bundle/Contents/Resources/google_appengine/google/appengine/api/datastore_types.py", line 156, in ValidateString
    (name, value, typename(value)))
BadArgumentError: kind should be a string; received 3 (a int):
[INFO    ] [WorkerThread-2] Backing off due to errors: 1.0 seconds
[INFO    ] An error occurred. Shutting down...
[ERROR   ] Error in WorkerThread-0: kind should be a string; received 3 (a int):

Это мой код для загрузки данных 

appcfg.py download_data --config_file=bulkloader.yaml --batch_size=200 --filename=final80_2.csv 
--kind=TasksTime1 --url=http://abc.appspot.com/_ah/remote_api --rps_limit=40 
--db_filename=bulkloader-progress-20110429.141103 --result_db_filename=bulkloader-results-20110429.141103

Как решить проблему?

Ответы [ 2 ]

1 голос
/ 30 апреля 2011

Просто повторите эту же команду.По документам :

Если передача прервана, вы можете возобновить передачу с того места, где она была прервана, используя аргумент --db_filename = ....Значение - это имя файла прогресса, созданного инструментом, которое является либо именем, которое вы указали в аргументе --db_filename при запуске передачи, либо именем по умолчанию, которое включает временную метку.Предполагается, что у вас установлен sqlite3, и вы не отключили файл прогресса с параметром --db_filename = skip.

Вы указали db_filename при первом выполнении, поэтому если вы повторно запустите команду,он должен найти существующий файл и выбрать, где он остановился.

0 голосов
/ 12 мая 2011

У меня была такая же проблема: 

Error in WorkerThread-0: kind should be a string; received 3 (a int)

Удаление всех файлов * .sql3 и * .csv предотвратило возникновение этой ошибки. Очевидно, да, возобновление не работает, но если вы хотите иметь возможность массовой загрузки снова, вам придется отключить его.

Как правило, мы обычно заключаем команды массового загрузчика в функцию для предварительной очистки этих файлов.

...