Spark 2.2 Структурированный потоковый поток - статическая проблема с левым внешним соединением - PullRequest
Новая
       3

Spark 2.2 Структурированный потоковый поток - статическая проблема с левым внешним соединением

0 голосов
/ 05 марта 2019

Мне кажется, что-то не хватает в Stream - Статическое соединение в Spark 2.2.

В руководстве говорится, что такое объединение возможно, но я не могу получить правильный синтаксис. Странный. Водяной знак не используется. 

val joinedDs = salesDs
  .join(customerDs, "customerId", joinType="leftOuter")

Ошибка выглядит следующим образом, но я почти уверен, что у меня есть правильные стороны: 

<console>:81: error: overloaded method value join with alternatives:
  (right: org.apache.spark.sql.Dataset[_],joinExprs: 
org.apache.spark.sql.Column,joinType: String)org.apache.spark.sql.DataFrame <and>
  (right: org.apache.spark.sql.Dataset[_],usingColumns: Seq[String],joinType: String)org.apache.spark.sql.DataFrame
 cannot be applied to (org.apache.spark.sql.Dataset[Customer], String, joinType: String)
         .join(customerDs, "customerId", joinType="left_Outer")
          ^

1 Ответ

0 голосов
/ 05 марта 2019

По какой-то причине при добавлении joinType мне также нужно было добавить Seq. 

  .join(customerDs, Seq("customerId"), "left_Outer")
...