данные API Foursquare извлекают из блоков данных

Question

Я использую следующую команду для извлечения данных из API Foursquare, который работает нормально. Как я могу записать вывод json в виде таблицы в кирпичи данных? Я не могу использовать функции отображения / отображения при выводе данных.

import json, requests
url = 'https://api.foursquare.com/v2/venues/explore'

params = dict(
  client_id='CLIENT_ID',
  client_secret='CLIENT_SECRET',
  v='20180323',
  ll='40.7243,-74.0018',
  query='coffee',
  limit=1
)
resp = requests.get(url=url, params=params)
data = json.loads(resp.text)

Answer 1

Вы можете прочитать и записать полученные данные следующим образом:

df = spark.read.json(resp.text)
location = 'dbfs:/tmp/test.json'
df.write.json(location)

, а затем создать таблицу, используя созданный файл:

spark.sql(f'''
CREATE TABLE IF NOT EXISTS foursquare
USING JSON 
LOCATION "{location}"
''')