Предоставляет ли искра способ генерировать 64-битную случайную соль?

Question

Я использую Pyspark и ищу случайную криптографическую соль в качестве дополнительного столбца в моем фрейме данных.Я хочу использовать это при создании значений хэша или шифра с сохранением формата для моих данных.Существуют ли передовые практики в API-интерфейсе данных Spark для генерации криптографической соли?

Answer 1

Не уверен, что это то, что вы ищете, но вот как я это сделал:

import random
from pyspark.sql.functions import udf
from pyspark.sql.types import IntegerType

npart = 50000
def rand(n = npart):
    return random.randint(1, n)

salt = udf(rand, IntegerType())

DF.withColumn("salt", salt())