Spark Dataframe Выберите, используя Python список столбцов - PullRequest
0 голосов
/ 06 апреля 2020

У меня есть Python список столбцов

col_list = [name, age, address.city, address.street, address.zipcode, address.state], который я использую в Pyspark select.

df = df.select(*[col(c) for c in col_list]).alias(c.replace('.', '_'))

Приведенный выше оператор создает плоский фрейм данных с именами столбцов - name , возраст, город, улица, почтовый индекс, штат, но мне нужны имена столбцов, такие как - address_city, address_street, address_zipcode, address_state.

Любые предложения.

1 Ответ

0 голосов
/ 06 апреля 2020

До,

df = df.select(*[F.col(c).alias(c.replace('.', '_')) for c in col_list])
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...