Использование шифрования с Hadoop

Question

В документации Cloudera говорится, что Hadoop не поддерживает при шифровании диска .Можно ли использовать аппаратные зашифрованные жесткие диски с Hadoop?

Answer 1

eCryptfs можно использовать для шифрования каждого файла на каждом отдельном узле Hadoop.Это довольно утомительно в настройке, но это, безусловно, можно сделать.

Gazzang предлагает коммерческое решение под ключ на основе eCryptfs для защиты «больших данных» с помощью шифрованияи сотрудничает с несколькими поставщиками Hadoop и NoSQL.

Облачная платформа шифрования больших данных Gazzang помогает организациям прозрачно шифровать данные, хранящиеся в облаке или в помещениях, используя расширенное управление ключами и процессы.основанные на списках контроля доступа и помогающие удовлетворить требования безопасности и соответствия.

Полное раскрытие: я являюсь одним из авторов и текущих сопровождающих eCryptfs .Я также Главный архитектор Газзанга и ведущий разработчик.

Answer 2

Если вы смонтировали файловую систему на диске, то Hadoop может использовать диск. HDFS хранит свои данные в обычной файловой системе ОС. Hadoop не будет знать, зашифрован диск или нет, и ему все равно.

Answer 3

Hadoop напрямую не поддерживает шифрование, хотя для шифрования / дешифрования может использоваться кодек сжатия. Здесь - более подробная информация о шифровании и HDFS.

Что касается ч / б шифрования, я думаю, что Hadoop должен иметь возможность работать с ним.Как упоминал Спайк, HDFS, как и любое другое приложение Java, хранит свои данные в обычных файловых системах ОС.К вашему сведению, MapR использует Direct I / O для лучшей производительности HDFS.

Answer 4

См. Также Intel's Rhino. Еще не с открытым исходным кодом ...

https://github.com/intel-hadoop/project-rhino/ https://hadoop.intel.com/pdfs/IntelEncryptionforHadoopSolutionBrief.pdf