Я работаю в университете, и пытаюсь заставить Spark SQL работать с зашифрованными данными.Я реализовал некоторые функции, которые позволяют шифровать / дешифровать данные.
Я хочу реализовать оператор, подобный collect (), с той разницей, что, когда результаты запроса возвращаются в Spark Client, они должны быть расшифрованы.
Итак, моя идея - выполнитьчто-то вроде:
sqlContext.sql("SELECT * FROM table1").collectDecrypted()
Во-первых, есть ли лучший способ для этого вычисления?Если нет, то как это сделать правильно?
Я думал о расширении API DataSet, используя только простую функцию, которая выполняет что-то вроде:
... {
ds.collect().flatMap( /* decrypt using my decryption function */ )
}