Загрузка ETL из облачного хранилища Google в biquery

Question

Я хочу загружать данные из сотен CSV-файлов в облачное хранилище Google и ежедневно добавлять их в одну таблицу на Bigquery, используя облачный поток данных (предпочтительно с использованием Python SDK).Подскажите, пожалуйста, как я могу это сделать?

Спасибо

Answer 1

Мы можем сделать это и через Python.Пожалуйста, найдите приведенный ниже фрагмент кода.

def format_output_json(element):
    """
    :param element: is the row data in the csv
    :return: a dictionary with key as column name and value as real data in a row of the csv.

    :row_indices: I have hard-coded here, but can get it at the run time.
    """
    row_indices = ['time_stamp', 'product_name', 'units_sold', 'retail_price']
    row_data = element.split(',')
    dict1 = dict()
    for i in range(len(row_data)):
        dict1[row_indices[i]] = row_data[i]

    return [dict1]