Проблема привязки pyspark не может создать пользовательский интерфейс SPARK - PullRequest
0 голосов
/ 29 мая 2020

Я столкнулся с проблемой pyspark при запуске в локальном режиме. И сложность заключается в том, что когда я открываю cmd и запускаю pyspark, он создает сеанс, а затем, если я открываю localhost: 4040, я вижу пользовательский интерфейс. Но если я запускаю какую-то программу из pycharm, я не могу получить доступ к пользовательскому интерфейсу (localhost: 4040), также URL-адрес не создается.

И в другом случае, когда у меня открыта оболочка pyspark параллельно с программой pycharm, и если я запускаю ту же программу в pycharm, я получаю предупреждение о невозможности привязки порта 4040, поэтому пытаюсь 4041. что немного понятно. поскольку оболочка заняла порт 4040, поэтому она пытается использовать 4041. Итак, в идеале следует выделить 4041, но это не так. Поскольку в документации говорится, что он пытается получить следующий свободный номер порта 16 раз, мне его не назначили. Итак, если я увижу службы, работающие в настоящее время на моем P C, я не смогу увидеть, что ни один из них не использует эти порты.

Пожалуйста, помогите мне с этим.

1 Ответ

0 голосов
/ 29 мая 2020

Предупреждение «порт 4040 недоступен, выполняется попытка 4041» и forawrd ..., вероятно, возникает из-за того, что вы открываете много SparkContext, не закрывая их. (SparkContext # close).

Вы можете изменить порт, если хотите, с помощью параметра spark.ui.port в конфигурации.

Для вашей первой проблемы не могли бы вы предоставить журналы работающего приложения Spark? может быть, вы запускаете быструю программу, которая достаточно быстро закрывает веб-интерфейс перед входом?

...