Доступ к таблице в Databricks с числовым именем столбца - PullRequest
1 голос
/ 18 июня 2020

У меня есть файл без заголовка.

Итак, в свою очередь, фрейм данных, который я создал, получил заголовки по умолчанию (0,1,2,3)

Например, следующий фрейм данных: df = pd.DataFrame(np.random.randint(0,100,size=(15, 4)))

И затем я конвертирую этот pandas df в искровой: spdf = spark.createDataFrame(df)

Таким образом, этот фрейм данных также имеет те же имена столбцов (0, 1,2,3)

После этого я использую для создания таблицы (записывая df) spdf.write.saveAsTable('default.testX')

Теперь эта таблица, testX имеет заголовки 0,1,2,3 Как показано Describe testX

Но когда я выполняю Select 1 from testX, я не могу получить доступ к столбцу, и вместо этого печатается «1» для количества строк, которые у меня есть.

Как я могу сообщить системе, что я пытаюсь получить доступ к столбцам.

Ответы [ 2 ]

1 голос
/ 19 июня 2020

Получил ответ,

   select `0`, `1` from testx  

Это перенос столбцов в символ

0 голосов
/ 18 июня 2020
df = pd.DataFrame(np.random.randint(0,100,size=(15, 4)),columns =[ 'col1', 'col2','col3', 'col4'])
spdf = spark.createDataFrame(df)
spdf.show()

Используйте имена столбцов для получения необходимых данных

...