Как разрешить CSV To BigQuery Ошибка загрузки

Question

Столкнулся с ошибкой ниже при загрузке файла CSV в таблицу BQ. Не сталкивался с этой проблемой, когда мы загружали файлы размером ТБ

'Ошибка при чтении данных, сообщение об ошибке: параметры, установленные для чтения CSV, не позволяют BigQuery разбивать файлы для параллельного чтения, и по крайней мере один из файлов превышает максимально допустимый размер, когда файлы не могут быть разделены. Размер: 7561850767. Максимально допустимый размер: 4294967296. '

Answer 1

Предел для сжатых файлов составляет 4 ГБ.

Если ваш файл не сжат, вы должны проверить, есть ли в файле символы двойной кавычки ("). Несоответствующие символы двойной кавычки может привести к появлению большого поля (более 4 ГБ), которое невозможно разделить.

Вы можете попробовать загрузить файл из командной строки, используя что-то вроде:

bq --project_id <project_id> load --source_format=CSV --autodetect  --quote $(echo -en '\000') <dataset.table> <path_to_source>

Идея состоит в том, чтобы отключить звук кавычка по умолчанию - двойные кавычки (").

Пожалуйста, обратитесь к документации CLI для точной команды.