Мы пытаемся запустить программу искры, используя NiFi. Это базовый c образец , который мы пытались выполнить.
Мы настроили Apache -Livy сервер в 127.0.0.1:8998.
ExecutiveSparkInteractive процессор используется для запуска примера кода Spark.
val gdpDF = spark.read.json("gdp.json")
val gdpRDD = gdpDF.rdd
gdpRDD.count()
LivyController настроен для 127.0.0.1 порта 8998 и Session Type : spark.
Когда мы запускаем процессор, мы получаем следующую ошибку:
Spark Session возвратил ошибку, отправив выходной JSON объект как содержимое файла потока до отказа (после штрафования)
Мы просто хотим вывести количество строк в JSON файле. Как перенаправить его в потоковый файл?
NiFi Журнал пользователя:
2020-04-13 21: 50: 49,955 ИНФОРМАЦИЯ [NiFi Web Server-85] org. apache. nifi.web.filter.RequestLogger Попытка запроса (анонимного) GET http://localhost: 9090 / nifi-api / flow / controller / bulletins (исходный ip: 127.0.0.1)
NiFi app.log
ОШИБКА [Управляемый таймером поток-3] oanplivy.ExecuteSparkInteractive ExecuteSparkInteractive [id = 9a338053-0173-1000-fbe9-e613558ad33b] Spark Session возвратил ошибку, отправив выводить JSON объект как содержимое файла потока до отказа (после штрафования)