У меня есть базовое c AWS Задание склеивания, которое читает из корзины S3 с несколькими папками:
S3://mybucket/table1
S3://mybucket/table2
S3://mybucket/table3
и так далее. Все файлы в этих папках имеют одинаковый формат, и я хочу, чтобы они были вставлены в разные таблицы красного смещения в одной и той же базе данных (таблица1, таблица2, таблица3). Кажется, есть способ автоматически сделать это из корзины S3 в корзину S3, но я не могу найти документацию о том, как сделать это для S3 в Redshift, это вообще возможно?
Код У меня на данный момент есть только базовый c Код шаблона клея, сгенерированный для этой работы, а partition_0 содержит строковое представление имени папки:
import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job
args = getResolvedOptions(sys.argv, ['TempDir','JOB_NAME'])
sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args['JOB_NAME'], args)
datasource0 = glueContext.create_dynamic_frame.from_catalog(database = "test", table_name = "all_data_bucket", transformation_ctx = "datasource0")
applymapping1 = ApplyMapping.apply(frame = datasource0, mappings = [("dataField1", "string", "dataField1", "string"), ("partition_0", "string", "partition_0", "string")], transformation_ctx = "applymapping1")
resolvechoice2 = ResolveChoice.apply(frame = applymapping1, choice = "make_cols", transformation_ctx = "resolvechoice2")
dropnullfields3 = DropNullFields.apply(frame = resolvechoice2, transformation_ctx = "dropnullfields3")
datasink4 = glueContext.write_dynamic_frame.from_jdbc_conf(frame = dropnullfields3, catalog_connection = "REDSHIFT", connection_options = {"dbtable": "all_data_table", "database": "dev"}, redshift_tmp_dir = args["TempDir"], transformation_ctx = "datasink4")
job.commit()