Загрузить CSV в BQ через командную строку

Question

Я пытался загрузить CSV-файл в BigQuery с помощью этой команды, и я получаю сообщение об ошибке. Мой CSV-файл выглядит следующим образом, мой файл имеет всего 40 строк, включая заголовок. Я получаю ту же ошибку при попытке загрузить CSV-файл с помощью консоли gui

header 1,header 2,Header 3,Header 4,Header 5,Header 6,header 7,Header 8,header 9,Header 10 
Justine,Mobile,Address,Location,2020-01-26,1,0,11,3,1

С этой командной строкой:

bq load --allow_jagged_rows=1 --skip_leading_rows=1 --source_format=CSV  datasetId.mytableid /home/username/file.csv

И я получил эту ошибку

Upload complete.
Waiting on bqjob_r421ecc680c644b1b_0000016fdb99efe1_1 ... (1s) Current status: DONE   
BigQuery error in load operation: Error processing job 'my-project-id:bqjob_r4212fs8997c644b1b_000db99efe1_1': Error while reading data, error message: CSV table encountered too many errors,
giving up. Rows: 1; errors: 1. Please look into the errors[] collection for more details.
Failure details:
- Error while reading data, error message: Error detected while
parsing row starting at position: 309. Error: Bad character (ASCII
0) encountered.

Answer 1

Я использовал csvkit для очистки моего файла, и после этого я смог успешно загрузить его в bigquery

Answer 2

bq load --source_format=CSV project_id:dataset.tablename /PATH_TO_FILE/airports.csv IATA:STRING,AIRPORT:STRING,CITY:STRING,STATE:STRING,COUNTRY:STRING,LATITUDE:FLOAT64,LONGITUDE:FLOAT64

Я просто удалил первую строку (заголовок) из CVS, так как уже упоминал схему и тип данных в команде. Затем я запускаю приведенную выше команду, и она создала для меня таблицу