Я разработал код pyspark, который состоит из нескольких этапов, таких как чтение данных из таблицы кустов, создание фреймов данных, преобразование и, наконец, вывод данных в таблицу кустов.
Я вызываю pyspark shell из своего сценария UNIX, и после успешного завершения я хочу поместить код возврата (success / Failure) в текстовый файл.
Может кто-нибудь сообщить мне, как обращаться с любымошибки в коде pyspark.Если возникает какая-либо ошибка, она помещает 1 в текстовый файл, иначе 0.
Пример: Предположим, что соединение с базой данных не корректно, следует выдать ошибку и поместить 1 в текстовый файл или любую синтаксическую ошибку или любую логическую ошибку. В основном я хочулюбая ошибка затем помещает 1 в файл или 0 в случае успешного завершения.