Я очень новичок в PySpark.Я написал сценарий преобразования tfidf в Jupyter.Когда я запускаю его ячейка за ячейкой, то есть, например, как токенизация, удаление стоп-слов, остановка, он работает нормально, и любое действие, такое как show, collect, работает нормально.Тем не менее, при запуске всех клеток одновременно он работает правильно.Но происходит сбой при выполнении действия с
ERROR:root:Exception while sending command.
Traceback (most recent call last):
File "/home/idap_user/spark2/python/lib/py4j-0.10.7-src.zip/py4j/java_gateway.py", line 1159, in send_command
raise Py4JNetworkError("Answer from Java side is empty")
py4j.protocol.Py4JNetworkError: Answer from Java side is empty
Кроме того, требуется много времени, чтобы выдать ошибку.
Есть ли причины, по которым это происходит?Любая помощь приветствуется.Заранее спасибо.