Как экспортировать данные из красного смещения в s3 с использованием воздушного потока? - PullRequest
0 голосов
/ 02 января 2019

Я выполняю запрос, который выбирает данные из красного смещения и вставляет их в корзину s3. Соединение красного смещения правильное, потому что я печатаю печать (hook.get_records (sql_one)) и работает, но когда я запускаю поток воздуха [dag], используя UNLOAD, он застревает. Кто-нибудь знает, что я здесь делаю не так? Спасибо

redshift = PostgresHook('redshift_creds')
S3Hook for credentials
sql_one = """
SELECT * FROM (SELECT * FROM mytable LIMIT 10);
    """
query = """
            UNLOAD ('{select_query}')
            TO 's3://{s3_bucket}/{s3_key}'
            CREDENTIALS
            'aws_access_key_id={access_key};aws_secret_access_key=   {secret_key}'
            REGION AS 'region_type'
            DELIMITER AS ',';
            """.format(select_query=sql_one,
                        s3_bucket='bucket_name',
                        s3_key='redshift_data.csv',
                        access_key=credentials.access_key,
                        secret_key=credentials.secret_key)

redshift.run(query)
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...