Поддерживается ли экспорт в основной режим GCP Firestore для импорта в BQ?

Question

Я изучал возможность загрузки данных Firestore Native Mode (сбор и документы) в BQ. Но это не работает для меня.

Вопрос : Поддерживает ли Big Query импорт экстракта из экспорта Firestore Native?

Настройка : 1 коллекция с несколькими документами (без вложенных коллекций).

Шаги : - Экспорт в Cloud Bucket: https://firebase.google.com/docs/firestore/manage-data/export-import - Импорт в BQ: https://cloud.google.com/bigquery/docs/loading-data-cloud-firestore

Ошибка при загрузке в BQ : «Не содержит допустимых метаданных резервной копии»

Анализ : в ссылке упоминается, что URI должен иметь KIND_COLLECTION_ID, и этот файл должен заканчиваться [KIND_COLLECTION_ID] .export_metadata. Но ничего из этого не подходит для файла экспорта в режиме Firestore Native. Это применимо для экспорта в режиме Firestore Datastore.

• Убедитесь, что [KIND_COLLECTION_ID] указан в вашем URI облачного хранилища. Если вы укажете URI без [KIND_COLLECTION_ID], вы получите следующую ошибку: не содержит допустимых метаданных резервного копирования. (код ошибки: неверный)
• URI для вашего файла экспорта Cloud Firestore должен заканчиваться [KIND_COLLECTION_ID] .export_metadata. Например: default_namespace_kind_Book.export_metadata. В этом примере Book - это идентификатор коллекции, а default_namespace_kind_Book - это имя файла, созданное Cloud Firestore

Answer 1

Когда создается экспорт коллекций пожарных хранилищ в GCS, создается структура каталогов, которая выглядит следующим образом:

[Bucket]
  - [Date/Time]
    - [Date/Time].overall_export_metadata
    - all_namespaces
      - kind_[collection]
        - all_namespaces_kind_[collection].export_metadata

Когда импортируется экспорт в BigQuery, используйте файл:

[Bucket]/[Date/Time]/all_namespaces/kind_[collection]/all_namespaces_kind_[collection].export_metadata

В частности, если вы используете [Bucket]/[Date/Time]/[Date/Time].overall_export_metadata, вы получите ошибку, которую вы описали. См. Также примечание здесь в разделе Console> Bullet 3, которое гласит:

Примечание. Не используйте файл, заканчивающийся на total_export_metadata. Этот файл не может использоваться BigQuery.