Я хочу написать одну небольшую утилиту Python, которая будет загружать данные из файлов 2 типов (скажем, один «SourceA», другой - «SourceB»), присутствующих в корзине GCS.Оба CSV-файла имеют столбцы с одинаковыми номерами, именами и порядками, поэтому моя таблица больших запросов будет иметь одинаковые столбцы.Мое требование состоит в том, чтобы добавить еще один столбец в таблицу bq как «Источник», который сообщит нам, какая конкретная строка из какого файла (из SourceA или SourceB).
В python для загрузки данных из файла CSV в таблицу bq, Я использую следующую команду -
bq load --replace --skip_leading_rows=1 `<tablePath>` <filepath>
Как я могу сделать что-то, как мы делаем в SQL -
insert into tableName(col1,col2,col3,...coln) as select col1,col2,...coln-1,"SourceA" from table2;