Как я могу использовать действие .fit () в writeSetream.start () и избежать org.apache.spark.sql.AnalysisException? - PullRequest
Новая
       1

Как я могу использовать действие .fit () в writeSetream.start () и избежать org.apache.spark.sql.AnalysisException?

0 голосов
/ 15 июня 2019

У меня есть следующий код: 

dataset.writeStream().foreach(new ForeachWriter<Row>() {
           some function
        }).start().awaitTermination();

и я использовал idfModel, чтобы получить набор данных: 

        IDFModel idfModel = idf.fit(featurizedData);

Затем я получил ошибку:

org.apache.spark.sql.AnalysisException: Запросы с потоковыми источниками должен выполняться с writeStream.start () ;;

Я заметил, что во время idf.fit () он должен перейти на уровень rdd для реализации подгонки. Так как же мне добиться этого с помощью writeStream.start ()?

Я использую искру 2.3 +.

...