Как завершить загрузку поврежденных данных на рабочий сервер Google App Engine? - PullRequest
Новая
       30

Как завершить загрузку поврежденных данных на рабочий сервер Google App Engine?

0 голосов
/ 30 марта 2010

Я загружал данные в App Engine (не dev-сервер) через класс загрузчика и удаленный API, и я выбрал квоту в середине CSV-файла. Как я могу выбрать оставшуюся часть данных для загрузки на основе логов и прогресса sqllite db?

Просматривать десятки записей, чтобы определить, какая была, а какая не была передана, не является привлекательной задачей, поэтому я ищу способ ограничить количество записей, которые мне нужно проверить.

Вот соответствующая (ИМО) часть журнала, как интерпретировать номера рабочих элементов? 

[DEBUG    2010-03-30 03:22:51,757 bulkloader.py] [Thread-2] [1041-1050] Transferred 10 entities in 3.9 seconds
[DEBUG    2010-03-30 03:22:51,757 adaptive_thread_pool.py] [Thread-2] Got work item [1071-1080]
<cut>
[DEBUG    2010-03-30 03:23:09,194 bulkloader.py] [Thread-1] [1141-1150] Transferred 10 entities in 4.6 seconds
[DEBUG    2010-03-30 03:23:09,194 adaptive_thread_pool.py] [Thread-1] Got work item [1161-1170]
<cut>
[DEBUG    2010-03-30 03:23:09,226 bulkloader.py] [Thread-3] [1151-1160] Transferred 10 entities in 4.2 seconds
[DEBUG    2010-03-30 03:23:09,226 adaptive_thread_pool.py] [Thread-3] Got work item [1171-1180]
[ERROR    2010-03-30 03:23:10,174 bulkloader.py] Retrying on non-fatal HTTP error: 503 Service Unavailable

1 Ответ

1 голос
/ 30 марта 2010

Вы можете возобновить прерванная загрузка:

Если передача прервана, вы может возобновить передачу откуда он остановился с помощью --db_filename = ... аргумент. Значение является именем файл прогресса, созданный инструментом, это либо имя, которое вы предоставили с аргументом --db_filename, когда Вы начали передачу, или по умолчанию имя, которое включает метку времени. это предполагает, что у вас установлен sqlite3, и не отключил файл прогресса с --db_filename = skip.

...