Как подавать новые столбцы каждый раз в цикле на фрейм данных искры?

Question

У меня есть задача прочитать каждый столбец таблицы Cassandra в информационный кадр, чтобы выполнить некоторые операции.Здесь я хочу передать данные, например, если в таблице есть 5 столбцов, которые я хочу: -

1. первый столбец в первой итерации
2. первый и второй столбец во второй итерации, чтобытот же самый кадр данных и аналогично.

Мне нужен общий код.Кто-нибудь пробовал подобное с этим?Пожалуйста, помогите мне с примером.

Answer 1

Вы можете извлечь имена из схемы dataframe, а затем получить доступ к этому конкретному столбцу и использовать его так, как хотите.

names = df.schema.names
columns = []
for name in names:
      columns.append(name)
      //df[columns]  use it the way you want

Answer 2

Это будет работать:

df2 = pd.DataFrame()
for i in range(len(df.columns)):
    df2 = df2.append(df.iloc[:,0:i+1],sort = True)

Поскольку повторяется одно и то же имя столбца, очевидно, что df не будет иметь одно и то же имя столбца дважды и, следовательно, будет продолжать добавлять строки