App Engine Bulk Loader Скачать поврежденный файл данных - PullRequest
1 голос
/ 26 января 2012

Я использую Google App Engine, и у меня есть текущее хранилище данных репликации в моем текущем веб-приложении. Я пытаюсь протестировать загрузчик AE для загрузки «вида» из моего хранилища данных. Я ввожу следующий код в CMD, чтобы загрузить все объекты введенного «вида».

python appcfg.py download_data --kind=TestClass --url=http://bulkloader-testing.appspot.com/remote_api --filename=success.csv

Загрузка успешно завершена:

Microsoft Windows [Version 6.1.7600]
Copyright (c) 2009 Microsoft Corporation.  All rights reserved.

C:\Users\Jack Frost>cd..

C:\Users>cd..

C:\>cd "Program Files (x86)"

C:\Program Files (x86)>cd "Google App Engine SDK"

C:\Program Files (x86)\Google App Engine SDK>python appcfg.py download_data  --kind=TestClass --url=http://bulkloader-testing.appspot.com/remote_api --filename=success.csv
Downloading data records.
[INFO    ] Logging to bulkloader-log-20120125.155035
[INFO    ] Throttling transfers:
[INFO    ] Bandwidth: 250000 bytes/second
[INFO    ] HTTP connections: 8/second
[INFO    ] Entities inserted/fetched/modified: 20/second
[INFO    ] Batch Size: 10
[INFO    ] Opening database: bulkloader-progress-20120125.155035.sql3
[INFO    ] Opening database: bulkloader-results-20120125.155035.sql3
[INFO    ] Connecting to bulkloader-testing.appspot.com/remote_api
[INFO    ] Downloading kinds: ['TestClass']
.[INFO    ] TestClass: No descending index on __key__, performing serial download
.
[INFO    ] Have 14 entities, 0 previously transferred
[INFO    ] 14 entities (4808 bytes) transferred in 2.3 seconds

Тем не менее, когда я открываю файл .csv на моем компьютере, он открывается и становится непонятным (я открыл его как с помощью Excel, так и с помощью блокнота ... Есть идеи, что я делаю неправильно? *

Формат SQLite 3 @
ü Õ fÏÕ GGtablebulkloader_database_signaturebulkloader_database_signatureCREATE TABLE bulkloader_database_signature ( значение TEXT не равно нулю) g) tableresultresultCREATE TABLE result ( первичный ключ id BLOB, значение BLOB не нулевое, сортировка BLOB) +? indexsqlite_autoindex_result_1result ö „ö „ML‚ \ : TestClass 00000000000000001003j (js ~ массовый загрузчик-тестировщик TestClassërid * Ò… ØÌrmobile * 9786978770rname * Bulkloader Test, TestClassëŠ! GAEGamer@gmail.com gmail.com) L ‚ : TestClass 00000000000000001002j (js ~ массовый загрузчик-тестировщик TestClassêrid * Ò… ØÌrmobile * 9786978770rname * Bulkloader Test, TestClassê) L ‚ : TestClass 00000000000000001001j (js ~ массовый загрузчик-тестировщик TestClassérid * Ò… ØÌrmobile * 9786978770rname * Bulkloader Test ‚TestClassé'L‚ : TestClass 00000000000000000002j'js ~ массовый загрузчик-тестировщик TestClassrid * Ò… ØÌrmobile * 9786978770rname * Bulkloader Test ‚TestClass'L‚ : TestClass 00000000000000000001j'js ~ массовый загрузчик-тестировщик TestClassrid * Ò… ØÌrmobile * 9786978770rname * Bulkloader Test, Te

úlg "ýسŽiDú $ L: TestClass 00000000000000006001 $ L: TestClass 00000000000000005001 $ L: TestClass 00000000000000004001 $ L: TestClass 00000000000000003003 $ L: TestClass 00000000000000003002 $ L: TestClass 00000000000000003001 $ L: TestClass 00000000000000002003 $ L: TestClass 00000000000000002002 $ L: TestClass 00000000000000002001 $ L: TestClass 000000000000001003 ${ƒ} app_id: s ~ URL-адрес для проверки массового загрузчика: http://bulkloader -testing.appspot.com / remote_api вид: загрузка TestClass: неверная карта: ложный дамп: истинное восстановление: ложный progress_db: массовый загрузчик-прогресс-20120125.155035.sql3 has_header: False

„V¬T„ ML ‚\: TestClass 00000000000000001003j (js ~ массовый загрузчик-testingr TestClassërid * Ò… ØÌrmobile * 9786978770rname * Bulkloader Test !gmail.com@glass.comgmail.com) L,: TestClass 00000000000000001002j (JS ~ bulkloader-testingr TestClassêrid * Т ... ØÌrmobile * 9786978770rname * bulkloader Test, TestClassê) L,: TestClass 00000000000000001001j (JS ~ bulkloader-testingr TestClassérid * Т ... ØÌrmobile * 9786978770rname * bulkloader испытаний,TestClassé'L ‚: TestClass 00000000000000000002j'js ~ массовый загрузчик-тестировщик TestClassrid * Ò… ØÌrmobile * 9786978770rname * Bulkloader Test‚ TestClass'L ‚: TestClass'L‚: TestClass 000000000000000001j'js ~ массовый загрузчик-testr7800TestClass ¤ T¨üP ¤) L ‚: TestClass 00000000000000003002j (js ~ Bulloader-Testingr TestClassºrid * Ò… Ømrmobile * 9786978770rname * Тест Bulkloader‚ TestClassº) L :Тест Bulkloader ‚TestClass¹) L‚: TestClass 00000000000000002003j (js ~ массовый загрузчик-testr TestClassÓrid * Ò… Ø Ìrmobile * 9786978770rname * Тест Bulkloader ‚TestClassÓ) L‚: TestClass 0000000000000000000000000000000000000000000000000000000000‚TestClassÒ) L‚: TestClass 00000000000000002001j (js ~ массовый загрузчик-тестировщик TestClassСrid * Ò… Ørmobile * 9786978770rname * Bulkloader Test ‚TestClassÑ PT¨üP) L‚: TestClass 00000000000000000000000000000000000000600* Bulkloader Test ‚TestClassñ.) L‚: TestClass 00000000000000005001j (js ~ массовый загрузчик-тестировщик TestClass rid 'rid * Ò… ØÌrmobile *9786978770rname * Bulkloader Test, TestClass)) L ‚: TestClass 00000000000000004001j (js ~ массовый загрузчик-testr TestClass¡rid * Ò… ØÌrmobile * 9786978770rname * Bulkloader Test, TestClass¡) L L: TestClass00000000000000000000000000000000* Ò… ØÌrmobile * 9786978770rname * Bulkloader Test ‚TestClass»

ОБНОВЛЕНИЕ: Я предполагаю, что причина в том, что это формат SQLLite и, следовательно, может не являться истинным CSV.Завтра проверю когда приду на работу и обновлю агаиn ...

Ответы [ 2 ]

2 голосов
/ 27 января 2012

Массовый загрузчик загружается в SQLite, а не в CSV.Если вы хотите CSV, вы должны создать и настроить bulkloader.yaml: http://code.google.com/appengine/docs/python/tools/uploadingdata.html#Editing_the_Configuration_File

Указание csv в имени файла недостаточно.

0 голосов
/ 26 января 2012

Хорошо, поэтому я до сих пор не знаю, почему при просмотре файла .csv в нем присутствуют непонятные символы, НО я убедился, что содержимое файла - это то, что и должно быть.После загрузки файла .csv через оптовый загрузчик я очистил хранилище данных, а затем снова загрузил файл .csv.После повторной загрузки файла .csv все предыдущее содержимое хранилища данных было восстановлено.В результате я предполагаю, что непонятные символы происходят из-за того, что моему компьютеру не хватает какой-то конфигурации / программного обеспечения, но так как мне нужны только сами данные, а не их визуальное отображение, я перехожу:)

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...