Загрузка данных CSV в Big Query через API

Question

Я пытаюсь загрузить файл CSV в большую базу данных запросов, однако получаю следующее сообщение.

RuntimeError: [{'reason': 'invalid', 'location': 'kid=70943:mkey=customer_encrypt_cns/file-00000000', 'message': 'Error while reading data, error message: CSV table encountered too many errors, giving up. Rows: 1; errors: 1. Please look into the error stream for more details.'}, {'reason': 'invalid', 'location': 'kid=70943:mkey=customer_encrypt_cns/file-00000000', 'message': 'Error while reading data, error message: CSV table references column position 1, but line starting at position:0 contains only 1 columns.'}]

Данные в csv соответствуют схеме, и в качестве теста я загружаю только 5 строк по 8 столбцов, например,

2018-02-02  x   0.1 2.4 0   0   0.88    0.4
2018-02-03  y   0.1 3   0   0   0.87    0.21
2018-02-04  z   0.1 2.8 0   0   0.86    0.21
2018-02-05  a   0.1 2.4 0   0   0.91    0.21
2018-02-06  b   0.1 1.9 0   0   1.00    0.4

Почему говорится, что у меня есть только 1 столбец?

Answer 1

Это говорит о том, что у вас есть 1 столбец, потому что ваши данные не отформатированы / не проанализированы в правильный файл CSV, так как нет четкого разделителя полей.Я правильно отформатировал данные, чтобы разделить их табуляцией, и смог загрузить их в BigQuery, что позволило мне получить 5 строк по 8 столбцов.

Вот данные, которые используются:

2018-02-06  x   0.1 2.4 0   0   0.88    0.4
2018-02-03  y   0.1 3   0   0   0.87    0.21
2018-02-04  z   0.1 2.8 0   0   0.86    0.21
2018-02-05  a   0.1 2.4 0   0   0.91    0.21
2018-02-06  b   0.1 1.9 0   0   1.00    0.4

Answer 2

Можете ли вы предоставить тело запроса?

Похоже, BigQuery не может проанализировать файл с предоставленными параметрами.Что касается вашего файла, вы должны указать опцию «fieldDelimiter»: «\ t».Вы можете просмотреть документацию BigQuery API для подробностей.

BigQuery также поддерживает автоопределение схемы для полей, разделенных запятыми (,), конвейером (|) и табуляцией (\ t).