Запрос INFORMATION_SCHEMA.TABLES BigQuery из потока данных приводит к ошибке

Question

Я пытаюсь выполнить запрос к INFORMATION_SCHEMA, чтобы получить метаданные о таблицах больших запросов из потока данных. Найдите код и ошибку ниже. Тот же запрос работает нормально из BQ UI

query=SELECT * EXCEPT(is_typed) FROM `dummy_dataset.INFORMATION_SCHEMA.TABLES`"

p1=p | "create1" >> beam.io.Read(beam.io.BigQuerySource(query=query, use_standard_sql=True))

"errors": [
      {
        "message": "Illegal operation on INFORMATION_SCHEMA view: dummy_dataset.INFORMATION_SCHEMA.TABLES",
        "domain": "global",
        "reason": "invalid"
      }
    ]

Answer 1

Мне удалось прочитать из представления INFORMATION_SCHEMA.TABLES из моего набора данных с помощью бегуна DataflowRunner, но я получил то же сообщение об ошибке, что и вы, когда использовал DirectRunner.Таким образом, как упоминает Elliott , вы можете сообщить об ошибке для команды BigQuery, а также для команды Dataflow .В то же время вы можете попробовать использовать DataflowRunner для чтения из этого представления.

Надеюсь, это поможет.