Как удалить записи об ошибках из динамического фрейма данных в клею AWS? - PullRequest
Новая
       77

Как удалить записи об ошибках из динамического фрейма данных в клею AWS?

0 голосов
/ 19 ноября 2018

У меня есть динамический фрейм данных, который содержит записи об ошибках. Пожалуйста, найдите код ниже. 

val rawDataFrame = glueContext.getCatalogSource(database = rawDBName, tableName = rawTBLName).getDynamicFrame();
    println(s"RAW_DF-----count: ${rawDataFrame.count} errors: ${rawDataFrame.errorsCount}")

Приведенный выше оператор печати печатается, как показано ниже. 

RAW_DF-----count: 168456 errors: 4

Мне нужно создать динамический фрейм данных, который содержит только 168456 записей, и мне нужно устранить 4 записи об ошибках. Пожалуйста, помогите.

1 Ответ

0 голосов
/ 20 ноября 2018

Записи об ошибках не преобразуются в DataFrame Spark, поэтому попробуйте преобразовать ваш DynamicFrame в df и обратно: 

val noErrorsDyf = DynamicFrame(rawDataFrame.toDF(), glueContext)
...