Как сохранить данные из https://docs.google.com/spreadsheets/ с помощью gspread (например, если у вас есть лучший метод, сообщите нам), чтобы перенести его в clickhouse database (я использую dag from airflow для управления etl)?
Ответы в документации не очень понятны для новичков, есть ли пошаговые инструкции?
Просто получите данные в консоли Python - могу, но вот как их сохранить, учитывая, что вам нужно будет извлекать данные периодически один раз в день (прерывистость - это просто работа воздушного потока - я знаю, как)
У меня есть предположение, что вам нужно подключиться к clickhouse, это будет поток данных из файла, который генерирует сценарий Python на воздушном потоке один раз в день, и в дальнейшем отправляется в Clickhouse по https. У вас есть пошаговое руководство для этого?
Или какая технология лучше всего подходит для этой цели?
На самом деле мой код выглядит так (я думаю, сначала научитесь, как получить его в локали, а затем обернуть его воздушным потоком dag, чтобы автоматизировать запуск скрипта)
import gspread
from oauth2client.service_account import ServiceAccountCredentials
import pprint
scope = ['https://spreadsheets.google.com/feeds']
creds = ServiceAccountCredentials.from_json_keyfile_name('client_secret.json',scope)
client = gspread.authorize(creds)
sheet = client.open('Data base').sheet4
result = sheet.get_all_records()
print(result)
#in advance I apologize to the elders for the question from a novice