Я работаю над настройкой компьютеров EC2 с автономным кластером Spark, Hive, Apache Ranger.Улей интегрирован в Ranger.
Поскольку Ranger не поддерживает JDBC Spark-SQL (порт 10015), я попробовал этот проект с открытым исходным кодом https://github.com/yaooqinn/spark-authorizer для авторизации Spark.Но это не сработало, так как кажется, что он полагается на менеджер ресурсов пряжи.
Я хотел бы знать любые возможные способы получения авторизации на Spark-sql с помощью Apache Ranger.
Мы не используем никаких реализованных дистрибутивов, поэтому такие функции, как SPARK-LLAP в hortonworks, недоступны.
Я уже пробовал то, что объясняется в http://mail -архивах.apache.org/mod_mbox/ranger-user/201601.mbox/%3CCAC1CY9P7iek6U6VDwLEXvLdCNRTcJzk5UWg3sei1MuUMCGrtWA@mail.gmail.com%3E, но это не сработало в прошлом году.
* 1015это, но, кажется, еще не подобрал.
https://issues.apache.org/jira/browse/SPARK-24503 Мы используем Spark 2.3, Hive 2.3, Ranger 1.0.