Я запускаю процедуру предварительной обработки с помощью pyspark в локальном режиме на 12-ядерном компьютере Mac Pro. Хотя я запускаю его как локальный режим с параметром --master local [*], я подозреваю, что сетевой трафик фактически касается моего маршрутизатора, так что общая скорость сети замедляется.
Я думал о блокировке некоторых портов, используемых spark, с локальной машины через брандмауэр, но я полагаю, что может быть лучший способ справиться с этим.
Я не уверен, верна ли моя гипотеза об увеличении сетевого трафика или нет, поэтому я хотел бы услышать, что испытали другие. Если так, есть ли способ обработать это с помощью файла конфигурации?
Спасибо.