Если у меня есть около 3000 переменных в кадре данных спарк, как мне создать 3 кадра данных по 1000 переменных в каждом

Question

У меня большой массив данных из 3000 переменных.Я хотел бы разделить это на 3 кадра данных по 1000, 1000, 1000 переменных в каждом из них.Что я пытался сделать, так это составить 3 списка из 1000, 1000 и 1000 имен переменных.Но я не знаю, как выбрать только те 1000 переменных, используя список.

Answer 1

Вы можете использовать df.select(), как показано ниже:

first_df = df.select(df.columns[:1000])
second_df = df.select(df.columns[1000:2000])
third_df = df.select(df.columns[2000:3000])

Надеюсь, это поможет:)