Невозможно выбрать более 255 столбцов в Pyspark DataFrame

Question

Я пытаюсь выбрать 500 столбцов в DysFrame Pyspark. Получение ошибки как «SyntaxError: более 255 аргументов»

Df2 = Df\
  .select("col1","col2","col3",...............,"col500")

Опробованный ниже подход также, бит не работает.

cols = ["col1","col2","col3",...............,"col500"]
Df2 = Df\
     .select(cols)

Оба подхода работают для менее чем 255 столбцов.

Примечание : моя версия Python - 3,6

Пожалуйста, сообщите мне. Спасибо.

Answer 1

После разговора с Писсаллом ниже приведены два возможных решения.

Дело 1.

cols = ["col1","col2","col3",...............,"col500"]
Df2 = Df\
 .select(cols)

Дело 2.

df.createOrReplaceTempView("df"); 
spark.sql("SELECT col1, col2, ..., col500 FROM df")