Ошибка Apache Avro при загрузке данных Firestore, экспортированных Cloud Storage в Big Query - PullRequest
0 голосов
/ 18 октября 2019

Я не могу понять, что я делаю здесь неправильно.

Цель - экспортировать данные Firestore в Cloud Storage, а затем импортировать их в Big Query.

Я сделал следующее: экспорт бета-версии gcloud firestore gs: // [bucket] / bigQuery20191018_userprofile --collection-i ds = 'userprofile'

Из Big Query я пытаюсьдобавьте таблицу в веб-интерфейс, но получите эту ошибку:

Ошибка при чтении данных, сообщение об ошибке: Библиотеке Apache Avro не удалось проанализировать заголовок со следующей ошибкой: Неверный файл данных. Магия не соответствует: /subrange//bigstore/[bucket]/bigQuery20191018_userprofile/all_namespaces/kind_userprofile/all_namespaces_kind_userprofile.export_metadata

Я использую папку export_metadata из коллекции. Я также экспортировал другие коллекции по некоторой странной случайности, которая была специфична для коллекции, но я вижу ту же ошибку независимо от источника.

Для справки, я просто следовал

Экспорт: https://cloud.google.com/firestore/docs/manage-data/export-import

Импорт: https://cloud.google.com/bigquery/docs/loading-data-cloud-firestore

Любая помощь будет принята с благодарностью.

Спасибо.

1 Ответ

1 голос
/ 18 октября 2019

У меня было похожее, что было вызвано неправильным выбором формата файла при импорте (Avro vs. Cloud Datastore Backup). Просмотрите эту часть документации и посмотрите, решит ли она это:

Для формата файла выберите Cloud Datastore Backup. Cloud Datastore Backup - это правильный вариант для Cloud Firestore. Cloud Firestore и Cloud Datastore совместно используют формат экспорта.

...