Проверка Spark SASL-шифрования для RPC

Question

Я установил для spark.authenticate.enableSaslEncryption значение true и хочу убедиться, что RPC зашифрован.

1. Я хочу проверить, включена ли эта функция. Могу ли я найти такое сообщение в журналах?
2. Если бы я хотел убедиться, что пакеты зашифрованы, я бы сделал tcpdump и проверил пакеты, чтобы убедиться, что информация не в незашифрованном виде?

Я довольно новичок в Spark, поэтому прошу прощения, если это простые вопросы.

Answer 1

В качестве первого шага, если вы добавите флаг --verbose к вашей команде spark-submit, Spark распечатает параметры конфигурации, и вы увидите:

(spark.authenticate.enableSaslEncryption, true)

Далее вы можетевключите ведение журнала DEBUG (с помощью файла log4j.properties - см. документы ) и найдите в журналах записи, в которых упоминается Sasl.

При включенном шифровании SASL вы увидите ведение журнала из классов, включая:

• SaslRpcClient
• TSaslTransport
• SparkSaslServer
• SaslRpcHandler

например:

SparkSaslServer: SASL Authorization complete, authorized set to true

SaslRpcHandler: SASL authentication successful for channel TransportClient{...}