Как перенести активность кустов в AWS в Google Cloud или Google Cloud Composer - PullRequest
Новая
       18

Как перенести активность кустов в AWS в Google Cloud или Google Cloud Composer

0 голосов
/ 13 мая 2019

Я работаю над проектом, в котором нам нужно перенести приложение aws в облако Google. Я работаю над конвейером aws, который также использует активность кустов.Я планирую выполнять запросы кустов в облачном компоновщике, пожалуйста, сообщите мне, как я могу это сделать или есть какой-нибудь другой лучший способ выполнить такую ​​задачу.Ниже приведен скрипт sql hive, который выполняется еженедельно с помощью конвейера данных aws ::1001* 

DROP TABLE IF EXISTS s3_tro_raw;
CREATE EXTERNAL TABLE s3_tro_raw (
  user_id STRING,
  category STRING
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '|'
LOCATION 's3://redshift/tro/raw/28598220/'
TBLPROPERTIES ("serialization.null.format"="");

DROP TABLE IF EXISTS s3_tro_processed;
CREATE EXTERNAL TABLE s3_tro_processed (
  user_id STRING,
  segments STRING
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '|'
LOCATION 's3://redshift/tro/processed/28598220/'
TBLPROPERTIES ("serialization.null.format"="");

INSERT OVERWRITE TABLE s3_tro_processed
SELECT
  user_id, CONCAT_WS(',', COLLECT_SET(category))
FROM s3_tro_raw
GROUP BY user_id;
...