У меня есть искровой автономный кластер с 5 узлами. Все узлы смонтированы на томе через nfs. Файлы в этом монтировании имеют определенные linux права доступа к файлу.
Когда я отправляю Spark свою работу от имени пользователя x (которая доступна на всех узлах и имеет на всех узлах одинаковый uid), тогда я хочу, чтобы искра исполнители также запускаются как пользователь x, так что задание может получать доступ только к файлам, к которым у пользователя x есть разрешения.
У меня нет Kerberos, и у меня нет HDFS.
Возможно ли это в эта настройка? Поможет ли это использовать YARN?