У меня есть файл без заголовка.
Итак, в свою очередь, фрейм данных, который я создал, получил заголовки по умолчанию (0,1,2,3)
Например, следующий фрейм данных: df = pd.DataFrame(np.random.randint(0,100,size=(15, 4)))
И затем я конвертирую этот pandas df в искровой: spdf = spark.createDataFrame(df)
Таким образом, этот фрейм данных также имеет те же имена столбцов (0, 1,2,3)
После этого я использую для создания таблицы (записывая df) spdf.write.saveAsTable('default.testX')
Теперь эта таблица, testX имеет заголовки 0,1,2,3 Как показано Describe testX
Но когда я выполняю Select 1 from testX
, я не могу получить доступ к столбцу, и вместо этого печатается «1» для количества строк, которые у меня есть.
Как я могу сообщить системе, что я пытаюсь получить доступ к столбцам.