Как изменить значение тайм-аута при запуске команд в QDS

Question

У меня есть команда spark-submit, которая вызывает мой python скрипт. Код работает более 36 часов, однако из-за лимита тайм-аута QDS в 36 часов моя команда завершается через 36 часов.

Может ли кто-нибудь помочь мне, как изменить значение этого параметра на 50 часов? Вот как я вызываю свой скрипт в QDS

/ usr / lib / spark / bin / spark-submit s3: ///abc.py

Answer 1

Мы не можем установить лимит времени более 36 часов. Но мы можем снять это ограничение для команд Spark. Чтобы запустить приложение Spark из Analyze / Notebooks, вам нужно сделать следующее перед запуском кластера:

Изменить конфигурацию кластера и обновить следующую конфигурацию в Had oop Изменение конфигурации

yarn.resourcemanager.app.timeout.minutes=-1

Изменить конфигурацию кластера и обновить следующую конфигурацию в замещении конфигурации Spark

spark.qubole.idle.timeout=-1 

Сообщите мне, если это поможет. Кроме того, если вы не запускаете потоковое приложение и данные, обрабатываемые / получаемые вашим приложением Spark, не являются огромными, то вы также можете захотеть сократить время выполнения вашего приложения с помощью некоторой настройки производительности (тем самым потенциально может сократить время выполнения. вашего приложения менее 36 часов), что не потребует снятия этого 36-часового ограничения в этом случае.