Перебор по AWS Glue DynamicFrame

Question

Я довольно новичок в AWS Glue и все еще пытаюсь выяснить, я пытался найти в Google следующее, но не могу найти ответ ...

Кто-нибудь знает, как перебиратьDynamicFrame в скрипте задания AWS Glue?

Например, я пытаюсь сделать следующее:

datasource0 = glueContext.create_dynamic_frame.from_catalog(
                        database = "...", 
                        table_name = "...", 
                        transformation_ctx = "datasource0")

for r in datasource0:
    print(r)

Но получаю следующую ошибку:

'DynamicFrame' object is not iterable
Traceback (most recent call last):
TypeError: 'DynamicFrame' object is not iterable

Answer 1

Преобразуйте DynamicFrame в Glue в DataFrame Spark и используйте функцию foreach для итерации строк:

def f(row):
   print(row.name)

...

datasource0.toDF().foreach(f)