Cloud Dataproc для чтения представлений BigQuery с помощью BigQuery Connector

Question

Возможно ли, чтобы Cloud Dataproc читал представления BigQuery с помощью коннектора BigQuery?

Кроме того, для примеров использования укажите, где в Apache Spark (Dataproc) выполняются некоторые рабочие нагрузки, а в BigQuery выполняются некоторые рабочие нагрузки.одни и те же данные => Лучше ли хранить данные в Google Cloud Storage (GCS) в формате, закодированном в формате avro (или), лучше ли хранить данные только в BigQuery, и если возможно просто предоставить авторизованное представление в BigQuery?для доступа к Cloud Dataproc с помощью BigQuery Connector?

Answer 1

Нет, это невозможно, поскольку BigQuery Connector экспортирует таблицы BigQuery в GCS, но API BigQuery не поддерживает экспорт представлений BigQuery в данный момент:

Вы не можете запуститьзадание BigQuery, которое экспортирует данные из представления.