Pyspark с AWS Glue объединяет отношение 1-N в массив JSON - PullRequest
Новая
       25

Pyspark с AWS Glue объединяет отношение 1-N в массив JSON

0 голосов
/ 17 октября 2019

Не знаю, как можно объединить отношения 1-N в AWS Glue и экспортировать файл JSON, например: 

{"id": 123, "name": "John Doe", "profiles": [ {"id": 1111, "channel": "twitter"}, {"id": 2222, "channel": "twitter"}, {"id": 3333, "channel": "instagram"} ]}
{"id": 345, "name": "Test", "profiles": []}

Массив JSON профилей должен быть создан с использованием других таблиц. Также я хотел бы добавить столбец канала.

3 таблицы, которые есть в каталоге данных AWS Glue:

person_json 

{"id": 123,"nanme": "John Doe"}
{"id": 345,"nanme": "Test"}

instagram_json 

{"id": 3333, "person_id": 123}
{"id": 3333, "person_id": null}

twitter_json 

{"id": 1111, "person_id": 123}
{"id": 2222, "person_id": 123}

У меня есть такой скрипт: 

import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from pyspark.sql.functions import lit
from awsglue.context import GlueContext
from awsglue.job import Job

glueContext = GlueContext(SparkContext.getOrCreate())

# catalog: database and table names
db_name = "test_database"
tbl_person = "person_json"
tbl_instagram = "instagram_json"
tbl_twitter = "twitter_json"

# Create dynamic frames from the source tables
person = glueContext.create_dynamic_frame.from_catalog(database=db_name, table_name=tbl_person)
instagram = glueContext.create_dynamic_frame.from_catalog(database=db_name, table_name=tbl_instagram)
twitter = glueContext.create_dynamic_frame.from_catalog(database=db_name, table_name=tbl_twitter)

# Join the frames
joined_instagram = Join.apply(person, instagram, 'id', 'person_id').drop_fields(['person_id'])
joined_all = Join.apply(joined_instagram, twitter, 'id', 'person_id').drop_fields(['person_id'])

# Writing output to S3
output_s3_path = "s3://xxx/xxx/person.json"
output = joined_all.toDF().repartition(1)
output.write.mode("overwrite").json(output_s3_path)

Как изменить скрипт, чтобы получить желаемый результат?

Спасибо

...