Есть ли способ отправить данные из Postgres в Redshift с помощью Apache Airflow? - PullRequest
Новая
       74

Есть ли способ отправить данные из Postgres в Redshift с помощью Apache Airflow?

0 голосов
/ 11 октября 2019

После ETL данных из Postgres я хочу добавить их в Redshift. Однако единственный способ, который я нашел, - это добавить его в s3, а затем отправить в Redshift из s3. 

s3_to_redshift = 

    S3ToRedshiftOperator(task_id='{0}_to_Redshift'.format(table['name']),
                                  redshift_conn_id=REDSHIFT_CONN_ID,
                                   redshift_schema=REDSHIFT_SCHEMA_NAME,
                                              table=table,
                                              s3_conn_id=S3_CONN_ID,
                                              s3_bucket=S3_BUCKET,
                                              s3_key=S3_KEY,
                                              origin_schema=ORIGIN_SCHEMA,
                                              copy_params=COPY_PARAMS,
                                              schema_location=SCHEMA_LOCATION,
                                              load_type=table['load_type'],
                                              dag=dag)

Можем ли мы отправить это непосредственно в Redshift?

...