Проверка успешной загрузки больших запросов через командную строку / запланированное задание

Question

Я пытаюсь запустить загрузку файла в BigQuery с помощью запланированной задачи (файл .bat), код ниже прекрасно работает для этого (выбор любого CSV и использование схемы, которая заполняет таблицу с тем же именеми затем переместить исходный файл).

Что бы я хотел сделать в этом случае, если загрузка не сможет переместить файл - любая помощь или я пытаюсь сделать что-то слишком сложное для простой командной строкивыполнение?

@ECHO Off
for %%g in (c:\Test\*.csv) do (
    bq load --source_format=CSV my_project:data.%%~ng %%g c:\Test\schema.txt
    move %%g c:\Test\archive\%%~ng.csv
)

Примечание. Перед выполнением этой операции все мои полномочия проверяются.

Answer 1

В качестве оптимальной практики вы можете вручную создать идентификатор задания для загружаемого задания. Так как после того, как bigquery запускает задание, вы можете периодически опрашивать состояние задания, чтобы проверить, является ли оно УСПЕХ / ОТКАЗ / ВЫПОЛНЕНИЕ, затем вы можете выбратьчтобы переместить csv-файл в папку архива на основе этого состояния.

Вот некоторые ссылки на документацию вокруг этого

Создание идентификатора задания программным способом

Просмотр статуса работы