Я использую API набора данных Spark для выполнения операций над JSON для извлечения определенных полей по мере необходимости. Однако, когда спецификация, которую я предоставляю, чтобы сообщить искре, какое поле извлекать, идет не так, искра выплевывает
org.apache.spark.sql.AnalysisException
Как можно обрабатывать непроверенные исключения во время выполнения в сценарии распределенной обработки, подобном этому? Я понимаю, что выполнение try-catch приведет к сортировке, но каков рекомендуемый способ справиться с таким сценарием
dataset = dataset.withColumn(current, functions.explode(dataset.col(parent + Constants.PUNCTUATION_PERIOD + child.substring(0, child.length() - 2))));