Pyspark dataframe с максимальным пределом столбца или строки

Question

У меня есть блокнот pyspark, созданный в блоках данных. У меня есть датафрейм, к которому мне нужно динамически добавлять столбцы, и в настоящее время количество столбцов равно 186. Когда я достигаю строки python до длины 10000, я не вижу цветовых кодировок для None, Lit и т. Д. И моей записной книжки. ячейка не может распознать объявления withcolumn после того, как размер строки достигнет 10000.

Есть ли ограничение на размер строки в python? Если так, есть ли лучший способ добавить эти многочисленные столбцы в фрейм данных, используя список?

Спасибо

Yuva

Answer 1

Да, есть предел для выбора нет. столбцов данных в кадрах данных. Вы можете выбрать все столбцы, используя список. Как это -

df = prv_df.withColumn(******something*********)

cols = ['column_1'
       ,'column_2'
       ,
       ,
       ,
       ,'column_n']

new_df = df.select(cols)

Я думаю, что это решит вашу проблему.