Как Google Spark-BigQuery-Connector использует API хранилища BigQuery? - PullRequest
Новая
       26

Как Google Spark-BigQuery-Connector использует API хранилища BigQuery?

1 голос
/ 15 марта 2020

Согласно https://cloud.google.com/dataproc/docs/concepts/connectors/bigquery коннектор использует BigQuery Storage API для чтения данных с использованием gRP C. Однако в исходном коде я не смог найти использования Storage API / gRP C здесь: https://github.com/GoogleCloudDataproc/spark-bigquery-connector/tree/master/connector/src/main/scala

Мои вопросы: 1. Может ли кто-нибудь показать мне исходный код где используется API хранилища & gpr c call? 2. Работает ли Dataset<Row> df = session.read().format("bigquery").load() через API хранилища GBQ? если нет, то как читать из GBQ в Spark, используя BigQuery Storage API?

1 Ответ

3 голосов
/ 15 марта 2020

  1. В Spark BigQuery Connector для чтения используется только API хранилища BigQuery, например, здесь .

  2. Да, Dataset<Row> df = session.read().format("bigquery").load() работает через BigQuery Storage API.

...