Как я могу контролировать доступ к hdfs?

Question

У меня установлен HDP 2.4 на моем кластере. Допустим, у меня есть таблица (Table_1) с чувствительными столбцами. Я могу создать представление (V_Table_1), содержащее только нечувствительные данные, создать политики в Ranger и предоставить доступ к Table_1 или V_Table_1. Будет работать с помощью Билайн. Но это не будет работать, если кто-то имеет прямой доступ к hdfs или даже если кто-то использует Spark.

Есть ли способ (или лучшие практики) для контроля доступа к данным, хранящимся в формате hdf?

Будет ли работать Apache Atlas в HPD 2.6?

Answer 1

На самом деле вам не нужно создавать представления Hive. Ranger поддерживает правила безопасности на уровне столбцов, так что вы можете заблокировать столбцы для неавторизованных пользователей или даже лучше заменить значения масками (например, «Джон Доу» становится «xxxxxxxx»)

Нет способа заблокировать доступ к файлам HDFS, содержащим данные, иначе Hive не сможет их прочитать. Однако вы должны заблокировать HDFS API для не авторизованных пользователей! Таким образом, нет SSH на пограничных узлах, не предоставляется таблица ключей Kerberos и доступ к HIVE через аутентификацию KNOX и LDAP.

Answer 2

Во-первых, единственный верный способ обеспечить безопасность в Hadoop - это включить Kerberos. Затем выполните аудит всех действий HDFS в отношении ваших конфиденциальных данных.

Но это не будет работать, если кто-то имеет прямой доступ к hdfs или даже если кто-то использует Spark

Если у вас есть пользователи, выдающие себя за других через HADOOP_USER_NAME, тогда они могут иметь доступ к вещам, но списки ACL HDFS должны быть в состоянии предотвратить это.

В противном случае Ranger внедряет код в драйвер Hive (возможно, Spark) для маскировки / скрытия определенных столбцов. Если вы хотите запретить прямой доступ HDFS, вам нужно запретить SSH-доступ к серверу Hadoop или не распространять ключевые таблицы для доступа внешних клиентов для ненадежных сторон

Я не совсем уверен, что функция Атласа