Google App Engine Bulkloader "Неожиданная смерть темы" - PullRequest
Новая
       27

Google App Engine Bulkloader "Неожиданная смерть темы"

2 голосов
/ 29 марта 2011

Я пытаюсь загрузить csv-файл со скромными размерами в движок приложений Google, используя функцию массового загрузчика, и он, похоже, умирает со следующим результатом: 

[INFO    ] Logging to bulkloader-log-20110328.181531
[INFO    ] Throttling transfers:
[INFO    ] Bandwidth: 250000 bytes/second
[INFO    ] HTTP connections: 8/second
[INFO    ] Entities inserted/fetched/modified: 20/second
[INFO    ] Batch Size: 10
[INFO    ] Opening database: bulkloader-progress-20110328.181531.sql3
[INFO    ] Connecting to notmyrealappname.appspot.com/_ah/remote_api
[INFO    ] Starting import; maximum 10 entities per post
...............................................................[INFO    ] Unexpected thread death: WorkerThread-7
[INFO    ] An error occurred. Shutting down...
.........[ERROR   ] Error in WorkerThread-7: <urlopen error [Errno -2] Name or service not known>

[INFO    ] 1740 entites total, 0 previously transferred
[INFO    ] 720 entities (472133 bytes) transferred in 32.3 seconds
[INFO    ] Some entities not successfully transferred

Он загружает около 700 из 19 тысяч записей, которые я пытаюсь загрузить, и мне интересно, почему это не удается. Я проверил файл csv на наличие ошибок, таких как дополнительные запятые, которые могли бы отбросить читателя csv python, и символы не ascii были удалены.

1 Ответ

6 голосов
/ 02 ноября 2011

Поднимается лимит партии (batch_size) и предел rps (rps_limit), я использую 1000 для размера партии и предел rps 500: 

appcfg.py upload_data --url= --application= --filename=  --email= --batch_size=1000 --rps_limit=500
...