Запрос не отменяется на экономичном сервере Spark с инкрементным сбором по истечении времени ожидания сеанса - PullRequest
0 голосов
/ 25 мая 2020

Когда я запускаю запрос на SparkThriftServer с параметром incrementalCollect, установленным на true, я мог видеть, что запрос не отменяется, когда пользователь завершает свое соединение. Кроме того, RDD, созданные в этом запросе, никогда не удаляются.

Даже пользовательский сеанс никогда не завершается даже после завершения работы клиента beeline. Для тайм-аута сеанса я добавил следующую конфигурацию

hive.server2.idle.session.timeout=60000
hive.server2.session.check.interval=60000
hive.server2.idle.session.check.operation=true

Спасибо за помощь

...