Облачный поток данных Google (Python): функция для объединения нескольких файлов

Question

Я новичок в облаке Google и знаю python, чтобы написать несколько скриптов, в настоящее время изучаю функции облака и BiqQuery.

мой вопрос: Мне нужно объединить большой CSV-файл с несколькими поискамифайлы и замены значений из файлов поиска.

узнал, что поток данных может использоваться для создания ETL, но не знает, как написать код на Python.

Не могли бы вы поделиться своими идеями.Ценю вашу помощь.

Answer 1

Вместо того, чтобы объединять данные в python, я предлагаю вам отдельно извлечь и загрузить данные CSV и поиска.Затем выполните запрос BigQuery, который объединяет данные и записывает результат в постоянную таблицу .Затем вы можете удалить отдельно импортируемые данные.