Как загрузить несколько таблиц улья в parralel с помощью искрового программирования - PullRequest
Новая
       5

Как загрузить несколько таблиц улья в parralel с помощью искрового программирования

0 голосов
/ 31 октября 2019

У меня есть 5 таблиц улья с огромными данными в каждой. В работе с искрой я хотел бы загружать их параллельно (не последовательно). Какие есть варианты?

Пример кода для последовательной загрузки. 

val df1 = spark.sql("SELECT * FROM hive_tbl1")
val df2 = spark.sql("SELECT * FROM hive_tbl2")
val df3 = spark.sql("SELECT * FROM hive_tbl3")
val df4 = spark.sql("SELECT * FROM hive_tbl4")
val df5 = spark.sql("SELECT * FROM hive_tbl5")
...