Разбор схемы динамического фрейма данных в AWS Glue - PullRequest
0 голосов
/ 10 декабря 2018

У меня есть динамический фрейм данных в клее AWS, который я создал, используя приведенный ниже фрагмент кода.

val rawDynamicDataFrame = glueContext.getCatalogSource(
    database = rawDBName, 
    tableName = rawTableName, 
    redshiftTmpDir = "", 
    transformationContext = "rawDynamicDataFrame"
).getDynamicFrame()

Чтобы получить схему вышеупомянутого динамического фрейма, я использовал следующий фрагмент кода:

val x = rawDynamicDataFrame.schema

Теперь x имеет тип com.amazonaws.services.glue.schema.Schema.Как я могу разобрать объект схемы?

1 Ответ

0 голосов
/ 19 декабря 2018

Чтобы проверить, существует ли поле в схеме, используйте containsField(fieldPath):

if (rawDynamicDataFrame.schema.containsField("app_name")) {
    // do something
}
...