Я преобразую склеивающий динамический кадр c в спарк-фрейм данных, чтобы выполнить несколько этл. Кадр Dynami c содержит все данные, когда я запускаю команду toDF. Etl работает успешно, но когда я конвертирую обратно с использованием fromDF, я обнаруживаю, что два моих столбца потеряли все свои данные Эти два столбца - те, через которые я добавил, соединяет несколько шагов прежде. Любые идеи, что может быть причиной этого?
Вот раздел, в котором я теряю данные в -
prep_for_df = applymapping4.coalesce(1)
df = prep_for_df.toDF()
mean_age = df.select(mean(df['age'])).collect()
null_age = mean_age[0][0]
df2 = df.na.fill(null_age,['age'])
dyframe = DynamicFrame.fromDF(df2, glueContext, "dyframe")
ОБНОВЛЕНИЕ- это был тип данных, который я установил для этих двух столбцов, который вызвал проблему , Как только я их поменял, все заработало как положено.