В настоящее время я пытаюсь использовать структурированную потоковую передачу в Scala Spark Shell. Моя проблема в том, что он постоянно пишет сообщения о прогрессе, которые я не могу скрыть. Примерно так:
[Stage 5:==================================================> (182 + 2) / 200]
Я могу писать команды в консоли и получать доступ к потоку, но эти сообщения всегда перезаписывают строки, которые я сейчас пишу. Есть ли способ отключить вывод прогресса в оболочке?
Для справки: вот как я определяю и запускаю поток в оболочке:
val streaming = spark.readStream.schema(dataSchema).option("maxFilesPerTrigger", 1).json("/user/mwilhelm/data/activity-data/")
val activityCounts = streaming.groupBy("gt").count()
val activityQuery = activityCounts.writeStream.queryName("activity_counts").format("memory").outputMode("complete").start()