Как получить значение поля из клея DynamicFrame по имени

Question

В Spark DataFrame вы можете обратиться к значению столбца в схеме, используя его имя, например, df['personId'] - но этот способ не работает с DynamicFrame Glue.Есть ли аналогичный способ, без преобразования DynamicFrame в DataFrame, напрямую обращаться к значениям столбцов по имени?

Answer 1

Вы можете использовать select_fields, см. https://docs.aws.amazon.com/glue/latest/dg/aws-glue-api-crawler-pyspark-transforms-SelectFields.html.

В вашем случае это будет df.select_fields("personId").В зависимости от того, что вы хотите сделать, вы можете сохранить его как новый динамический фрейм или просто посмотреть на данные.

new_frame = df.select_fields("personId")
new_frame.show()