Как проверить, завершена ли операция экспорта в GCP?

Question

Я пытаюсь создать линию данных, начиная с экспорта Firestore в путь GCS и после ее завершения, начать передачу данных и импорт в BigQuery. Экспорт Firestore из документации Google представляет процесс / задание или операцию так, как она вызывается, а затем завершается, фактически не дожидаясь завершения процесса экспорта. Есть возможность проверить с помощью утилиты gcloud. Есть ли лучший способ проверить состояние завершения и затем запустить последующие процессы?

Answer 1

Я решил опрашивать с помощью команды командной строки gcloud firestore description до тех пор, пока не появится статус «Успешно», а затем выполнить мой импорт. Пока нет лучшего способа сделать это.

Answer 2

В соответствии с официальной документацией после запуска операции экспорта или импорта Cloud Firestore назначает операции уникальный идентификатор. Вы можете раскрыть этот идентификатор с помощью команды gcloud firestore list , и с помощью этого идентификатора вы можете запустить команду gcloud firestore описать [OPERATION_NAME] ', чтобы получить информацию об операции. Этот запрос возвращает метрики 'workEstimated' и 'workCompleted'.

workEstimated: показывает приблизительное общее число байтов и документов, которые будет обработана операция.

workCompleted: показывает количество байтов и документов, обработанных на данный момент. После завершения операции значение показывает общее число байтов и документов, которые были фактически обработаны, что может быть больше, чем значение workEstimated.

Разделить workCompleted на workEstimated для приблизительного прогресса оценить. Эта оценка может быть неточной, поскольку она зависит от задержанного сбора статистики.

Кроме того, я хотел бы порекомендовать вам взглянуть на это Руководство по планированию экспорта данных , чтобы получить больше понимание того, как построить более эффективную архитектуру экспорта-импорта с использованием инструментов Google Cloud, таких как Cloud Scheduler.