Я пытаюсь взять столбец из фрейма данных pySpark, используя карту из другого столбца, например отображать значения в фрейме данных из словаря, используя pyspark , но он выбрасывает нулевые значения для неинициализированных ключей
from pyspark.sql.functions import create_map, lit, col
mapping_expr = create_map([lit(x) for x in chain(*new_dict.items())])
df = df.withColumn("new_col", mapping_expr.getItem(col("old_col")))
однако это решение не является идеальным, поскольку оно не выдает исключение, когда нет неинициализированных значений.Это просто делает нулевые значения.Я хочу бросить исключение как можно скорее.Мне нужен эквивалент use strict; use warnings; для perl для этого случая.
Как мне установить этот код, чтобы он вызывал исключение для неинициализированного значения на этапе отображения?