AirflowException: ошибка оператора SSH: нет доступных методов аутентификации - PullRequest
Новая
       14

AirflowException: ошибка оператора SSH: нет доступных методов аутентификации

1 голос
/ 26 марта 2019

Я уже некоторое время использую Apache Airflow, и из-за сценария использования мне нужно переписать SparkSubmitOperator в SSHOperator. Мой поток воздуха установлен на AWS EMR, и подача искры должна происходить на той же EMR. Но оператор терпит неудачу с - AirflowException: ошибка оператора SSH: методы аутентификации недоступны

Я использую значение по умолчанию ssh_conn_id = ssh_default и пытался передать как ssh_hook , но, похоже, ничего не работает

даг-файл 


hook = SSHHook(ssh_conn_id='ssh_default')

spark_submit = """
spark-submit ....
"""

process = SSHOperator(
        task_id='execute_pySpark',
        ssh_hook=hook,
        command=spark_submit,
        do_xcom_push=True
    )

воздушный поток 


Conn Id:   ssh_default
Conn Type: SSH
Host:      localhost

Любое понимание приветствуется. Заранее спасибо!

1 Ответ

0 голосов
/ 26 марта 2019

Сконфигурируйте ваше соединение SSH в соответствии с данными, указанными в https://airflow.readthedocs.io/en/1.10.2/howto/manage-connections.html?highlight=SSHOperator#ssh

Добавьте username и password, если они есть.Поле Host должно содержать IP-адрес вашей удаленной виртуальной машины, если только Spark Master не находится на localhost.

...