Чтение значений строк в DataBricks Notebook - PullRequest
0 голосов
/ 04 марта 2019

У меня есть записная книжка Python Databricks для чтения конфигураций ADL из файла JSON в DBFS.Я в состоянии прочитать файл нормально, и сгенерированный DF показывает значения со схемой ниже.

testJsonData:pyspark.sql.dataframe.DataFrame

clientId:string
oauth2Credential:string
oauth2RefreshUrl:string
providerType:string

У меня проблемы с чтением определенного значения строки.Я получаю объект строки, но не дает мне значение строки.

testJsonData.select('clientId').collect()
Out[65]: [Row(clientId='6xxxx08vvvvvvvvv7f')]

Цените любые указатели, помогающие с этим.

1 Ответ

0 голосов
/ 04 марта 2019

Надеюсь, что это помогает кому-то, имеющему подобную проблему, я прочитал значения конфигурации следующим образом

   configlist = testJsonData.select("*").collect()
   dataProviderType = configlist[0].providerType
   dataClientId = configlist[0].clientId
   dataOAuthCredential = configlist[0].oauth2Credential
   dataOAuthUrl = configlist[0].outh2RefreshUrl
...