Почему результаты подсчета слов не совпадают с результатами на сайте spark? - PullRequest
0 голосов
/ 31 мая 2019

Я новичок в потоковом воспроизведении и только что начал подсчет слов, как указано на официальном сайте Spark. Но почему я не получаю агрегированные результаты даже после использования «полного» режима с потоком записи?

https://spark.apache.org/docs/2.3.0/structured-streaming-programming-guide.html отсюда я выбрал код и запустил свое затмение, но оно дает результат только для одной строки.

-------------------------------------------
Time: 1559293328000 ms
-------------------------------------------
(th,4)

-------------------------------------------
Time: 1559293329000 ms
-------------------------------------------

19/05/31 11:02:09 WARN RandomBlockReplicationPolicy: Expecting 1 replicas with only 0 peer/s.
19/05/31 11:02:09 WARN BlockManager: Block input-0-1559293329600 replicated to only 0 peer(s) instead of 1 peers
-------------------------------------------
Time: 1559293330000 ms
-------------------------------------------
(th,2)
...