Как установить livy.server.session.timeout на кластере EMR Boostrap?

Question

Я создаю кластер EMR и использую ноутбук Jupyter для запуска некоторых задач. Мои задачи умирают примерно через 1 час выполнения, и ошибка:

An error was encountered:
Invalid status code '400' from https://xxx.xx.x.xxx:18888/sessions/0/statements/20 with error payload: "requirement failed: Session isn't active."

Насколько я понимаю, это связано с конфигурацией Livy livy.server.session.timeout, но я не знаю, как я могу установить его в загрузочном кластере (мне нужно сделать это в загрузочном кластере, потому что кластер создается с нет доступа по ssh)

Заранее большое спасибо

Answer 1

Другой способ сделать это, если вы не хотите воссоздавать кластер, это: перейдите к /etc/livy/conf/livy.conf и установите для свойства livy.server.session.timeout желаемое значение. После этого запустите sudo restart livy-server, чтобы применить конфигурацию.

Answer 2

В EMR livy-conf - это классификация свойств для файла livy.conf Ливия, поэтому при создании кластера EMR выберите advanced options с Livy в качестве приложения, выбранного для установки, передайте эту конфигурацию EMR в Enter Configuration поле.

[{'classification': 'livy-conf','Properties': {'livy.server.session.timeout':'5h'}}]

• В EMR двоичный файл Livy находится по адресу /etc/livy/, поэтому файл конфигурации находится по адресу /etc/livy/conf/livy.conf

Чтобы проверить это,

• Создание кластера EMR с известной конфигурацией ec2 key-pair, Livy и выше
• Используя ec2 key-pair, войти в главный узел EC2, связанный с кластером ssh -i some-ec2-key-pair.pem hadoop@ec2-00-00-00-0.ca-region-n.compute.amazonaws.com
• Перейдите к /etc/livy/conf, vim livy.conf и посмотрите обновленное значение livy.server.session.timeout