У меня есть спарк-таблица, df, которая служит архивом доходов с течением времени, перерабатывается каждый день. Он имеет следующую схему:
|-- Date: date (nullable = true)
|-- 2018-09-10: double (nullable = true)
|-- 2018-09-17: double (nullable = true)
|-- 2018-09-24: double (nullable = true)
|-- 2018-09-25: double (nullable = true)
|-- 2018-09-26: double (nullable = true)
|-- 2018-09-27: double (nullable = true)
|-- 2018-09-28: double (nullable = true)
...
В настоящее время в таблице около 500 столбцов, каждый день добавляется новый столбец, представляющий исторический доход, распознанный с течением времени.
Я хочу таблица должна иметь следующую схему:
|-- Revenue Recognized Date: date (nullable = true)
|-- Processed Date: date (nullable = true)
|-- Revenue: double (nullable = true)
Какой может быть лучший способ преобразовать первую таблицу, чтобы иметь схему во второй? Мне пока не очень повезло с функцией unpivot ().