Запланируйте командную строку bq в GCP с помощью Cloud Pub / Sub topic

Question

У меня есть командная строка, которую я выполняю, чтобы выбрать данные из представления и экспортировать в промежуточную таблицу в BigQuery:

bq mk --transfer_config --headless=true --project_id="XXXXXXX" --target_dataset=XXXXXX --display_name=XXXXXX --schedule='XXXXXX'  --use_legacy_sql=false --params='{"query":"SELECT * FROM xxxxxxxx","destination_table_name_template":"xxxxxx","write_disposition":"WRITE_TRUNCATE"}' --data_source=scheduled_query --service_account_name="XXXXXXX@XXXXX.iam.gserviceaccount.com"

Есть ли способ установить Cloud Pub / Sub topi c, используя командной строки?

Заранее спасибо за помощь!

Answer 1

Очевидно, что из командной строки вы не можете. Это возможно при вызове API с этим типом полезной нагрузки

{
  "notificationPubsubTopic":"projects/PROJECT/topics/TOPIC",
  "scheduleOptions": {
    "disableAutoScheduling":false,
    "startTime":"2020-01-24T10:06:12.344Z"
  }, 
  "displayName":"test",
  "dataSourceId":"scheduled_query",
  "destinationDatasetId":"DATASET",
  "emailPreferences":{"enableFailureEmail":false},
  "params": {
    "query":"SELECT 1",
    "write_disposition":"WRITE_APPEND",
    "destination_table_name_template":"test_schedule"
  },
  "schedule":"every day 10:06"
}

Answer 2

Эта проблема немного сложна и не так очевидна. Я нашел это обсуждение об этом.

Кажется, что BigQuery's CLI или API не поддерживает такого рода уведомления при создании конфигурации передачи.

Как было сказано в обсуждении:

Это означает, что мы не можем программно создавать переводы с включенными уведомлениями: (

Вы можете найти здесь * Документация 1016 * API и CLI относительно службы перевода.

Надеюсь, это поможет вам.
Если вам нужна дополнительная информация или поддержка, не стесняйтесь спрашивать меня .