Невозможно правильно прочитать представление Impala, используя Spark SQL - PullRequest
Новая
       15

Невозможно правильно прочитать представление Impala, используя Spark SQL

1 голос
/ 14 января 2020

Я пытаюсь прочитать представление Impala из программы Spark Scala, используя Spark SQL API.

Мой код такой 

val sparkSession: SparkSession = SparkSession.builder().appName("HiveLoader").master(new Sparkconf().get("spark.master", local[*]).getorCreate() 

sparkSession.conf.set("spark.sql.crossJoin.enabled", true) 

val df = sparkSession.sql("Select * from view1")

, где view1 - это представление в Impala, которое создается путем объединения двух или более таблиц Impala. Приведенный выше код не читает полное представление и не дает правильного результата. Например, счет этого представления в Impala составляет 410234, но он читает только 371 запись.

...