Поймать исключения для выполненных sql в спарк

Question

У меня SQL, созданный динамически, и в нем есть несколько поврежденных строк, например, неправильное имя столбца или используется sm вместо sum .

Когда я выполняю sparksession.sql() для этой сгенерированной строки, все задание искры терпит неудачу, как и ожидалось, и я вижу все журналы, как в журналах менеджера ресурсов.

Есть ли способ для меня перехватить это исключение в блоке try catch или около того, обработать это исключение и двигаться дальше с моей логикой.

Answer 1

Пока что это работает для меня, но я не думаю, что это идеальное решение.

        try {
            return spark.sql(query);
        }catch (Exception e) {
      e.getMessage();
}

Это привело к исключению org.apache.spark.sql.AnalysisException для всех запросов синтаксиса sql, неправильных столбцов или имен таблиц. Но я не смог поймать это исключение, в частности.