У меня есть работа, которая использует структурированные потоковые запросы Spark для чтения из Azure EventHub и последующей записи в Delta lake,
В настоящее время в своей работе я использую приведенный ниже код для получения сеанса.
sparksession.builder().appname({myName}).getorcreate()
всякий раз, когда моя работа начинается, я использую новый Guid в качестве моего имени. Так что в каждом новом запуске мое имя приложения отличается.
Вопрос:
Рекомендуется ли это? Или я должен использовать постоянное / одно и то же значение для имени приложения для каждого запуска задания?
В моей работе я использую контрольную точку для WriteStream, зависит ли контрольная точка от имени приложения?