получение ошибки при использовании оператора livybatch в Airflow, сбой DAG - PullRequest
0 голосов
/ 05 августа 2020
• 1000 *

Я получаю эту ошибку: Getting Error in Airflow UI - "No module named 'airflow_livy'".

```    
    from datetime import datetime, timedelta
    from airflow_livy.batch import LivyBatchOperator
    from airflow.contrib.operators.spark_submit_operator import SparkSubmitOperator
    from airflow.models import DAG
    
    default_args = {
        'owner': 'airflow',
        'start-date': datetime(2020, 8, 4),
        'retires': 0,
        'catchup': False,
        'retry-delay': timedelta(minutes=5),
    }
    
    
    
    
    dag_config: DAG = DAG(
        'Airflow7', description='Hello world example', schedule_interval='0 12 * * *',
        start_date=datetime(2020, 8, 4), catchup=False)
    
    
    
    
    livy_Operator_SubmitTask = LivyBatchOperator(
        task_id='spark-submit_job_livy',
        class_name='Class name ',
        file='File path of my jar',
        arguments=['Test'],
        verify_in='spark',
        dag=dag_config
    )
    
    
    
    livy_Operator_SubmitTask```
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...