Шифрование PGP в хранилище озера данных U-SQL и / или Azure

Question

Не раскручивая экземпляр виртуальной машины, возможно ли добавить шифрование PGP к данным, уже находящимся в магазине Azure Lake Lake Store? Теоретически, кажется, что это должно быть возможно с зарегистрированным бинарным c # (dll) в U-SQL, но теоретически это потребует обработки файлов как больших двоичных объектов (или как текста), и я не уверен, как это можно сделать из U-SQL

Вариант использования: взять данные из озера, зашифровать их как PGP / GPG с помощью открытого ключа, а затем передать данные в местоположение ADLS для сбора внешней командой (последующий выход из ADLS).

Есть идеи?

Answer 1

Вы можете написать собственный экстрактор и выход, который может затем выполнять дешифрование / шифрование.Скорее всего, это будет выглядеть примерно так (на абстрактном уровне):

• Извлечение:

  AtomicFileProcessing=true
  d = decrypt(input.baseStream)
  for each row in d.Split do outputrow end // or whatever the right processing is
  

• Вывод:

  AtomicFileProcessing=true
  serialize rows into outputstream
  encrypt outputstream and write to output
  

Обратите внимание, что в разделе примеров на нашей странице GitHub для U-SQL есть несколько примеров, показывающих, как работать с данными на базовом уровне.

Вам может понадобитьсяне загружайте более 500 МБ данных в основную память, хотя, если можете.Поэтому было бы хорошо, если бы шифрование / дешифрование можно было выполнять потоковым способом.