Я использую поток воздуха для отправки нескольких часовых заданий зажигания в EMR. За один час я могу получить до 30 искр.
EMR - это 1 главный узел и 4 основных узла, все c4.4xlarge.
My spark отправляет данные с использованием мастер-пряжи и клиента в режиме развертывания.
Каждый час несколько пакетов с воздушными потоками будут sh попадать в EMR и отправлять свои задания на искру. Большинство заданий небольшие и выполняются в течение нескольких минут, за исключением нескольких, которые занимают 10-15 минут.
Я обнаружил повторяющуюся ошибку, зарегистрированную воздушным потоком, и как только одна задача ее получила, она падает вниз. для остальных из них:
airflow.exceptions.AirflowException: SSH operator error: No existing session
Это означает, что поток воздуха не смог s sh в кластер. Я даже пытался s sh через мой компьютер, и он просто зависает. Возможно ли, что выполняется слишком много искровых задач? Я бы так не думал, потому что мой кластер довольно большой для тех работ, которые мне нужно выполнять.