Мы пытаемся обработать данные, полученные из сокета pyspark (версия 2.3.2), который работает по назначению.Обработанные данные затем отправляются на серверы.Однако, когда драйвер отправляется с кодом ssc.start(); ssc.awaitTermination(), он не отправляет никакой информации на серверы после того, как завершение *1004* было перехвачено драйвером.Можно видеть, что выполнение остановлено на несколько мгновений (возможно, потому, что оно выполняет необходимые действия в кластере для остановки потокового контекста), однако после этого оно не продолжает обработку (или отправку на серверы)Ранее полученные данные.Мы добавили ssc.stop(stopSparkContext = False) после двух строк кода, но все равно.Документация не предоставляет ничего более, в то время как исходный код pyspark показывает только вызванные функции и методы.
Любая помощь высоко ценится.