Имя столбца не отображается должным образом. При удалении столбца возникла проблема.
dataFrame
.groupBy("custId","custOrder")
.agg(collect_list(struct(col(TRANSIT_CHANNEL), col(TRANSIT_DATETIME_KEY)).as("transits")))
dataFrame.toJSON.show(false)
Это показывает следующее:
collect_list(named_struct(NamePlaceholder(), transit_channel, NamePlaceholder(), transit_datetime) AS `transits`) instead like "transits" as column name
Так что dataFrame.drop("transits") не сработало.