Java Spark - шифрование данных

Question

У меня есть библиотека Java, которая может шифровать данные.

Я хочу зашифровать определенные столбцы искрового фрейма данных с помощью этой библиотеки шифрования и отправить ее в какой-то API.

Я пыталсяforeachPartition, чтобы перебирать значения столбцов строка за строкой и шифровать их.

df.select(col).javaRDD().foreachPartition(new VoidFunction<Iterator<Row>>() {
        static final long serialVersionUID = 8L;

        @Override
        public void call(Iterator<Row> t) throws Exception {
                    while (t.hasNext()) {

            try {
                Row row = t.next();
                PIDataEncryptionProvider.encrypt(row.mkString());


            } catch (Exception e) {

            }
        }


        }
    });

Теперь мне нужно заменить существующие значения столбцов этими зашифрованными значениями в определенных столбцах, которые я дал для преобразования выбора.

Удаление существующего столбца и добавление нового столбца с тем же именем, а затем добавление зашифрованных значений во вновь добавленный столбец. Если так, то насколько эффективно мы можем это сделать?

Есть ли другой способ сделать это?