Можем ли мы запрашивать материализованные представления в большом запросе с помощью Spark Connector? - PullRequest
0 голосов
/ 19 июня 2020

Я пытаюсь запросить материализованные представления в большом запросе с помощью искрового коннектора в кластере datapro c. Однако это дает мне следующую ошибку: -

var df = spark.read.format("bigquery")
  .option("table", "proj1:ds1.mat_view"). 
  .option("viewsEnabled","true")
  .option("viewMaterializationProject","proj1")
  .option("viewMaterializationDataset","ds1").load()

java .lang.UnsupportedOperationException: тип таблицы proj1.ds1.mat_view в настоящее время не поддерживается: MATERIALIZED_VIEW в com.google. cloud.spark.bigquery.BigQueryRelationProvider.createRelationInternal (BigQueryRelationProvider. scala: 70) в com.google.cloud.spark.bigquery.BigQueryRelationProvider.createRelation (BigQueryRelationProvider. scala. sql .execution.datasources.DataSource.resolveRelation (DataSource. scala: 318) в организации apache .spark. sql .DataFrameReader.loadV1Source (DataFrameReader. scala: 223) в организации apache .spark. sql .DataFrameReader.load (DataFrameReader. scala: 211)
в организации apache .spark. sql .DataFrameReader.load (DataFrameReader. scala: 167)
... 49 исключено

Помогите, пожалуйста, есть ли способ сделать это?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...