Несколько левых объединений в кадре данных Spark с одной и той же таблицей без уникальной ошибки столбца - PullRequest
0 голосов
/ 11 октября 2019

У меня есть основной фрейм данных - seasonsDF, соединенный слева с Key-Value DF - listvaluesDF, несколько раз

val seasonFinal1DF = seasonsDF.join(paletteDF, seasonsDF("Palette") === paletteDF("id"), "left_outer")
                              .join(flextypeDF, seasonsDF("flextype") === listvaluesDF("key"), "left_outer")
                              .join(listvaluesDF, seasonsDF("Year") === listvaluesDF("key"), "left_outer")
                              .join(listvaluesDF, seasonsDF("Set Week") === listvaluesDF("key"), "left_outer")

Теперь, когда я пытаюсь получить доступ к Final - seasonFinal1DF, его выбрасывание Имена столбцовв каждой таблице должно быть уникальным. Имя столбца 'id' в таблице 'SeasonLeft' указывается более одного раза.

Есть ли способ, которым я могу присвоить псевдониму последние столбцы одного и того же DF, к которому присоединяются несколько раз?

Предложения, пожалуйста

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...