Pyspark код с функцией Spigot не работает в AWS Клей - PullRequest
Новая
       18

Pyspark код с функцией Spigot не работает в AWS Клей

0 голосов
/ 28 апреля 2020

Я новичок в AWS Клей. Согласно документации AWS Glue, функция Spigot поможет вам записывать примеры записей из динамического кадра в каталог S3. Но когда я запускаю это, он не создает никаких файлов в этом каталоге S3. Любые входы о том, где я делаю неправильно. Ниже приведен тестовый код. 

import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job

## @params: [JOB_NAME]
args = getResolvedOptions(sys.argv, ['JOB_NAME'])

sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args['JOB_NAME'], args)

datasource0 = glueContext.create_dynamic_frame.from_catalog(database = "amssurveydb", table_name = "amssurvey", transformation_ctx = "datasource0")

split1 = SplitRows.apply(datasource0, {"count": {">": 50}}, "split11", "split12", transformation_ctx ="split1")## @type: SplitRows

selFromCol1 = SelectFromCollection.apply(dfc = split1, key = "split11", transformation_ctx = "selFromCol1")

selFromCol2 = SelectFromCollection.apply(dfc = split1, key = "split12", transformation_ctx = "selFromCol2")

spigot1 = Spigot.apply(frame = selFromCol1, path = "s3://asgqatestautomation3/SourceFiles/spigot1Op", options = {"topk":5},transformation_ctx ="spigot1")



job.commit()
...