СПАРК Как получить имя столбца в случае ошибки (режим FAILFAST)? - PullRequest
Новая
       8

СПАРК Как получить имя столбца в случае ошибки (режим FAILFAST)?

0 голосов
/ 27 апреля 2020

у меня следующий код: 

 spark.read()
               .schema(REPORT_OUTPUT_SCHEMA)
                .option("header", "true")
                 .option("mode", "FAILFAST")
                .csv(filePath)
                .show();

, когда я получил следующую ошибку: 

.SparkException: Malformed records are detected in record parsing. Parse Mode: FAILFAST. Caused by: java.lang.NumberFormatException: For input string: "0.00"

невозможно определить, в каком столбце может быть эта ошибка, когда у нас есть большая схема.

Как обычно найти нужный столбец в этом случае?

...