конвертировать датафрейм в список строк pyspark glue

Question

Как я могу преобразовать мой фрейм данных df в список строк?

Код

df = glueContext.create_dynamic_frame_from_options(
    connection_type = "s3",
    connection_options = {"paths": ["s3://data/tmp1/file.csv"]},
    format = "csv",
)
df = df.toDF()
list = df.values.tolist()

Ошибка

dataframe has no attribute values

Answer 1

ИМХО, вы можете использовать toPandas(),

df = glueContext.create_dynamic_frame_from_options(
    connection_type="s3", 
    connection_options={"paths": ["s3://data/tmp1/file.csv"]}, 
    format="csv")

df = df.toPandas()
liste = df.values.tolist()

Answer 2

В клею вы можете использовать метод DyanamicFrame.map () (https://docs.aws.amazon.com/glue/latest/dg/aws-glue-api-crawler-pyspark-extensions-dynamic-frame.html#aws -glue-api-crawler-pyspark-extensions-dynamici c -frame-map )

df.map(to_list)
def to_list(rec):
       rec["list"] = [rec["col1"], rec["col2"] ]
       del rec["col1"]
       del rec["col2"]