Проблемы с загрузкой одного столбца CSV в BigQuery с разделенными столбцами

Question

Я пытаюсь загрузить набор данных в bigquery, чтобы я мог запросить данные. В настоящее время набор данных находится в формате CSV со всеми данными для каждой строки в одном столбце, разделенными запятыми. Я хочу разбить данные на столбцы, используя запятую в качестве разделителя.

При попытке загрузки с использованием схемы автоопределения были обнаружены 10 столбцов, но они называются «string_0, string_1, string_2 et c». 'и строки все еще содержат все данные в первом столбце.

При попытке загрузки путем ручного ввода схемы я получаю следующие ошибки:

CSV table encountered too many errors, giving up. Rows: 1; errors: 1.

CSV table references column position 9, but line starting at position:117 contains only 1 columns.

В обоих случаях я устанавливаю пропущенные строки заголовка = 1

Вот изображение набора данных.

Любая помощь будет очень признательна!

Answer 1

Я вижу здесь три возможных причины ошибки, которую вы совершаете:

• Исходные данные CSV-файл структурная проблема - файл не соответствует RF C 4180 предварительные условия спецификации, то есть используемые нетипичные разрывы строк (разделители строк);
• таблица приемников Bigquery несоответствие схемы - то есть отсутствует выделенный столбец для определенных входных данных ;
• Bigquery несоответствие типов схемы - анализ столбца таблицы, которому принадлежит тип, который отличается от входного.

Также можно найти особенности для Bigquery автоопределение метод схемы, загрузка данных в формате CSV, который может помочь вам решить вышеупомянутую проблему.